Google, yapay zeka dünyasındaki rekabeti kızıştıracak yeni bir model olan Gemini-Exp-1114’ü tanıttı. Chatbot Arena tarafından test edilen bu deneysel model, OpenAI’nin en güncel GPT-4o-latest modeline karşı etkileyici sonuçlar elde etti. Gemini-Exp-1114, yaratıcılık, matematik ve çok aşamalı sorgularda en iyi performansı sergileyerek yapay zeka liderlik tablolarında bir numaraya yerleşti.
Chatbot Arena Sonuçları Açıklandı!
Gemini-Exp-1114 modeli, 6.000’den fazla topluluk oyu ile değerlendirildi ve genel Arena puanı 1301’den 1344’e yükseldi. İşte öne çıkan başarılar:
- Matematik, yaratıcı yazma, daha uzun sorgular ve talimat takibi kategorilerinde birinci sırada yer ald.
- Çoklu dönüşlü konuşmalar ve zor sorular kategorilerinde üstünlük sağladı.
- Kodlama kategorisinde üçüncü sırada yer alırken, OpenAI’nin o1-preview modeli bu alanda lider olmayı başardı.
Google Gemini’nin Güçlü Yönleri
- MATH ve HiddenMath testlerinde yüzde 20 iyileştirme sağladı.
- Görsel işleme ve kod kullanımı alanlarında yüzde 2-7 oranında daha iyi sonuçlar elde etti.
- Yanıtların genel yararlılığı ve doğruluğu artırıldı.
- Varsayılan yanıt uzunluğu, önceki modellere göre yüzde 5-20 oranında daha kısa hale getirildi.
OpenAI Ve ChatGPT Karşılaştırma Sonuçları
- GPT-4o-latest modeline karşı yüzde 50 kazanma oranı,
- OpenAI o1-preview modeline karşı yüzde 56 üstünlük,
- Claude-3.5-Sonnet modeline karşı yüzde 62 başarı
Google’ın bu yeni modeli, yapay zeka dünyasında liderliği ele geçirmeyi hedefliyor. Özellikle matematiksel problemler, yaratıcı içerik oluşturma ve karmaşık talimatları izleme gibi alanlarda yüksek performansıyla dikkat çekiyor. Gemini-Exp-1114 modeli şu anda Google AI Studio üzerinden deneme için kullanılabilir. Yakında API ile de erişime açılması bekleniyor.