Merhaba, günümüzde “Big Data” çok konuşuluyor. Herkes elindeki veriyi saklamak, korumak ve en önemlisi de veriyi işlemek, analiz etmek istiyor. Siz büyük veri (big data)’a sahip olabilirsiniz ancak bu veriyi doğru analiz edemezseniz, elinizde binlerce 0 ve 1 den oluşan dijital bir yığından başka bir şey olmayacaktır.
Özel sektör olsun devlet kuruluşları olsun tüm çevreler çeşitli kaynaklardan aldıkları verileri analiz ederek yatırımlarını buna göre planlıyor. Firmalar artık “Nöro Marketing” üzerine çok fazla yatırım yapmakta, doğru ürün doğru müşteri anlayışı ile sosyal medya veya diğer büyük veri kaynaklarından aldıkları verileri analiz ederek üretim, satış ve pazarlama stratejilerini buna göre planlamakta.
Devlet kuruluşları farklı sistemden aldıkları verileri analiz ederek yaptıkları veya yapacakları yaptırımlar için kör atış yapmayıp artık nokta atış yapabilir hale geldiler. Son olarak Dünya’da siyasetçilerin özellikle sosyal medya analizleri ile seçim kampanyalarını yönettikleri ve rakiplerine ciddi avantaj sağladıklarını hep birlikte gördük. İşte büyük veri yani big data bu kadar önemli ve hayatımızın bir parçası artık.
Bu makale serisinin konusu aslında Dünya’daki en büyük big data veri kaynaklarından biri olan Twitter. Bu dev sosyal medya platformu üzerinden günde yüzlerce kullanıcı tweet atıyor ve anlık olarak büyük veri akışı bulunmakta. Twitter günümüzde artık gündemi belirliyor. Dünya’daki dengeleri değiştiriyor, bir günde hero iken bir günde zero olabiliyorsunuz. Bir bakıyorsunuz Elon Musk attığı bir tweet ile milyon dolarlar el değiştiriyor, Siyasetçiler, kulüp başkanları koltuklarında oluyor, futbolcular transfer ediliyor, devlet sırları ifşa oluyor Dünya adete buradaki manipülasyon ve algılar ile yönlendiriliyor.
Lafı fazla uzatmadan hemen konumuza dönüp bu makale serisinde takip edeceğimiz ajandamıza bakalım.
Ajanda
- Twitter analizi için elasticsearch altyapısının kurulması
- Twitter API başvuru adımları
- Twitter analizi için elasticsearch üzerinde gerekli ayarların yapılması
- Twitter analizinin yapılıp görselleştirilmesi
- Twitter üzerinde duygusal analiz yapılması ve görselleştirilmesi
Topoloji
İlk olarak topolojimize bakıyoruz. Yukardaki yapıyı açıklarsak:
- Analiz yapacağımız kaynak twitter
- Twitter’dan verileri almak için twitter API’ını kullanacağız.
- İlk olarak twitter üzerinde sorgu yaparak verileri toplayıp analiz edeceğiz ve sonrasında görselleştirme yapacağız.
- İkinci olarak yine tweet’leri toplayıp duygusal analiz yapacağız yani atılan tweetleri “olumlu“, “olumsuz” ve “normal” olarak kategori yapıp görselleştireceğiz.
Twitter Analizi İçin Altyapının Kurulumu
ELK Stack Platormunu Hazırlama
İlk olarak yapımızın merkezinde verilerimizi toplayacağımız ve analiz edeceğimiz ELK Stack var. Ben AWS üzerinde kurulu halde gelen Bitnami’nin virtual appliance’ını kullandım. Dilerseniz local ortamınıza ELK Stack kurup kullanabilirsiniz.
aws konsola login oldum ve “EC2” servisini seçtim sonrasında “Launch instances” diyerek vm oluşturmaya başladım.
Arama kısmına elk yazdım
“ELK Certified by Bitnami” seçtim
t3.xlarge bir vm seçtim 4 core, 16 gb ram’i ve 5Git internet çıkısı bulunmakta. Buradaki kaynak seçimi tamamen size kalmış ne kadar veri işlemek istiyorsanız o kadar çok alan ve sistem kaynağına ihtiyacınız olacak.
Bir kaç tıklama sonunda kolayca ELK yapım hazır hale geliyor. Aşağıda görüldüğü gibi sistem çalışır durumda.
Twitter API Başvurusu ve API Alımı
Twitter’dan verileri almak için API kullanmamız gerekiyor. Bunun için öncelikle twitter’a başvuru yapıp, twitter datasının nerede kullanacağınızı belirtmeniz ve twitter’ı ikna etmeniz gerekiyor. Eğer başvurunuz red yerse aynı hesap ile bir daha başvuru yapamıyorsunuz buda önemli bir nokta.
Twitter, API hizmetini ücretli ve ücretsiz veriyor. Bunlar kendi içerisinde aylık sorgu sayısı, account activity, full archive / sandbox API özelliklerine göre değişiyor. Tabi ücretsiz olarakta API sahibi olabilirisiniz. Bunun için Akademik olarak veya diğer bir kaç seçeneği kullanarak başvurmak ve API’ın nerede kullanacağınızı anlatmak daha sonra sizden istenen okul, fakülte daha önce yazdığınız akademik makale örneklerinide göndermeniz gerekiyor.
Ben akamdemik başvuru yapacağım. İlk olarak https://developer.twitter.com/en adresine gidip, twitter hesabım ile login oluyor ve başvuruya başlıyorum.
Akademik başvuru yapacağım için “Academic” ile devam ediyorum.
Kendinize uygun seçimi yaparak devam edin. Ben “Student” ile devam ediyorum.
İstenen bilgileri giriyorum.
İşte başvurunun en önemli noktasına geldik. Buradaki alanlara geçerli nedenler yazmanız gerekiyor. Yazdığınız gerekçeler twitter’ı ikna edebilmeli yoksa red yer ve bir daha başvuru yapma şansınız kalmaz.
API başvuru gerekçelerini yazdıktan sonra ilerliyorum.
Bu işlemlerin ardından twitter ile mail üzerinden iletişime devam ediyorsunuz. Sizden bir çok belge bunların arasında üniversite ve fakülte bilgileri, üniversite’de isminiz olduğu bir sayfanın linki, daha önce yazdığınız bir akademik makalenin linki mesela Google Scholar’da yayınlamış bir makale gibi gibi bir çok şey. Bunların sonunda bir değerlendirme yapılıyor ve tarafınıza bir cevap maili geliyor. Bu ya olumlu yada olumsuz oluyor.
Aşağıda görüldüğü gibi başvurum olumlu sonuçlandı ve API’ı almayı başardım.
Evet artık twitter analizi için her şey hazır. Bu makale serisinin ilk makalesinde analiz için platform ve twitter API başvurusunu inceledik. İkinci makalede analiz tarafına geçeceğiz ve twitter verileri üzerinde analizlerimize başlıyacağız.
Sağlıcakla kalın, keyifli okumalar.