GitHub, Copilot AI modelinin, geliştiricilerin yazdığı kodun işlevsel, okunabilir, güvenilir ve daha kısa olduğunu iddia etti. Ancak, yazılım geliştirici Dan Cîmpianu, bu iddiaların istatistiksel açıdan yeterince titiz bir şekilde yapılmadığını savunuyor.
GitHub, geçtiğimiz ay yaptığı bir araştırma ile Copilot kullanan geliştiricilerin, testleri geçme oranının %56 daha fazla olduğunu belirtti. Ayrıca, Copilot kullananların, hata içermeyen kod satırlarının %13,6 daha fazla olduğunu ve yazdıkları kodun daha okunabilir olduğunu iddia etti. Ancak, Cîmpianu bu bulgulara şüpheyle yaklaşıyor.
Dan Cîmpianu, GitHub’ın yaptığı çalışmanın eksiklerini vurguladı. Özellikle, Copilot ile yazılan kodların hata oranlarının daha düşük olduğu iddiasının yanıltıcı olduğunu belirtti. GitHub, “Copilot kullanan geliştiriciler, her hata için 18,2 satır kod yazarken, Copilot kullanmayanlar 16 satır yazdı” dedi. Cîmpianu, bu farkın yalnızca iki satır olduğunu ve bunun gerçek hata düzeltmesi değil, kodlama tarzı sorunları veya linter uyarıları olduğunu savunuyor.
Ayrıca, GitHub’ın sunduğu daha okunabilir, güvenilir, bakımı kolay kod iddialarının da subjektif olduğunu ve kullanılan metriklerin net olmadığına dikkat çekti. Cîmpianu, bu tür değerlendirmelerin her zaman kişisel görüşlere dayandığını vurguladı.
GitHub’ın çalışmasında, Copilot kullanan geliştiricilerin yazdığı kodların daha fazla test geçirdiği ve daha kaliteli olduğu iddia ediliyor. Ancak, Cîmpianu, verilen örneğin çok basit olduğunu ve Copilot’ın eğitiminde kullanılan verilerle çakışabileceğini belirtiyor. Ayrıca, bu çalışmada kod incelemelerini yapan kişilerin, kodu yazan geliştiriciler olmasının sonuçları nasıl etkileyebileceğini sorguluyor.
Başka araştırmalar da Copilot ve diğer yapay zekâ tabanlı kodlama araçlarının kod kalitesine olan etkisini inceliyor. 2023 yılında yapılan bir araştırma, Copilot’ın bazı kod hatalarını ürettiğini ve bunların giderilmesinin zaman alıcı olabileceğini ortaya koydu. Bununla birlikte, AI araçlarının doğru kodu üretme oranı %90 civarında olsa da hataların tamamen yok olmadığı vurgulandı.
Copilot, geliştiricilere yardımcı olmak için güçlü bir araç olabilir. Ancak Cîmpianu’ya göre, bir geliştirici AI kullanarak iyi kod yazamıyorsa, bu durumda AI’yi kullanmamalıdır. Bu bakış açısı, yazılımla ilgili diğer yaratıcı alanlara benzer şekilde, AI’nin kullanımı konusunda önemli bir tartışma başlatıyor.
