Elasticsearch İle Twitter Analizi Bölüm-2 Tweet Analizi

Merhaba, ilk makalemizde twitter analizi için altyapı kurulumlarını ve twitter’dan data almak için gerekli API başvurularını yapmış tüm sistemlerimizi çalışır hale getirmiştik.

Bu makalede ise artık analizlere başlıyacağız. İlk olarak yapmak istediğimiz şey twitter’a sorgu göndererek içinde istediğimiz kelimerin geçtiği tweet’leri analiz etmek.

Aşağıda topolojimizi görmekteyiz. Bu makalede ilk olarak tweet analizi yapacağımız için aşağıda numaralandırmış yolu takip edeceğiz.

Sıralarsak:

• Logstage içersinde yazağımız filtre ile twttier API’ını kullanarak tweetleri alacağız.
  
• Alınan verileri Elasticsearch veri tabanında depolayacağız.
  
• Kibana ile görselleştireceğiz.

İlk olarak logstash konfigürasyon path’i altına twitter.conf isminde bir dosya oluşturuyorum.

Not: Eğer siz Bitnami gibi hazır bir altyapı kullanmıyorsanız logstash konfig dosyalarının path’i /etc altında olacaktır.

Aşağıdaki kodu bu dosya içerisine yapıştırıyorum.

input {
  twitter {
    consumer_key => "" - #API bilgilerimi yazıyorum
    consumer_secret => "" - #API bilgilerimi yazıyorum
    oauth_token => "" - #API bilgilerimi yazıyorum
    oauth_token_secret => "" - #API bilgilerimi yazıyorum
    keywords => ["COVID-19"] - #Twitter üzerinde sorgulama yapmak istediğim kelimeyi yazıyorum
    ignore_retweets => true
    full_tweet => true
  }
}

filter {
}

output{
  elasticsearch {
    hosts => ["127.0.0.1:9200"]
    index => "twitter-%{+YYYY.MM.dd}"
  }
}

Aşağıdaki komut ile logstash’i resetliyorum

sudo /opt/bitnami/ctlscript.sh restart logstash

Son olarak kibana üzerinde gelen veriyi indexleyip sonrasında da görsel hale getiriyorum. Aşağıda görüldüğü gibi anlık olarak twitter üzerinde içerisindeki “covid” geçen tüm tweet’ler görselleştirilmiş durumda.

Evet bu makaleyi burada bitirirken serinin son makalesinde twitter üzerinde duygusal analiz yapacağız.

Keyifli okumalar.