Dünyanın ilk yapay zeka yazılım mühendisi başarısız oldu
Cognition AI tarafından geliştirilen ve Devin olarak isimlendirilen dünyanın birinci “yapay zeka yazılım mühendisi” görünüşe nazaran işini yapmakta hayli makus. Yapılan son değerlendirmeler, bu yeni jenerasyon aracın vaat edilen potansiyelden çok uzak olduğunu ortaya koyuyor. Testlerde Devin’in, kendisine verilen vazifelerin sırf yüzde 15’ini muvaffakiyetle tamamladığı görüldü.
BEKLENTİLER BÜYÜKTÜ
Donanımhaber’de yer alan detaylarda aktardığına nazaran 2024 yılının başlarında Cognition AI tarafından tanıtılan Devin, yazılım mühendislerine yardımcı olmayı amaçlayan bir otomasyon aracı olarak geliştirildi. Aralık 2024’te aylık 500 dolarlık abonelik fiyatıyla genel kullanıma sunulan Devin’in, uygulama geliştirme ve yanılgı giderme üzere vazifeleri baştan sona otonom bir biçimde gerçekleştirebildiği argüman edildi. Araç, Slack üzerinden komut alıyor ve Docker tabanlı bir çalışma ortamında terminal, tarayıcı, kod düzenleyici ve planlayıcı üzere araçlarla çalışıyor.
Cognition AI’nin açıklamasına nazaran Devin; API entegrasyonu, kod incelemeleri, altyapı idaresi üzere misyonları yerine getirebiliyor. Hatta DoorDash üzerinden yemek siparişi verebilecek kadar “kişisel asistan” fonksiyonu gördüğü de belirtiliyor. Bunlar, başlı başına çok büyük bir olay ve argüman.
Bu ortada Devin, bir “bileşik yapay zeka sistemi”, yani OpenAI’nı GPT-4o’sunu içeren ve vakit içinde gelişmesi beklenebilecek bir dizi temel yapay zeka modeline dayanıyor. Teorik olarak onların yapabildikleri her şeyi yapması bekleniyor.
SONUÇLAR HAYAL KIRIKLIĞI OLDU
Saygın bir AI araştırma ve geliştirme laboratuvarı olan Answer.AI’dan üç data bilimcisi Hamel Husain, Isaac Flath ve Johno Whitaker, bu tezleri test etmek için bir dizi denemeler gerçekleştirdi. Devin ile test edilen 20 misyondan yalnızca üçü muvaffakiyetle tamamlanabildi. Devin’in tamamladığı vazifeler ortasında Notion veritabanından Google Sheets’e data aktarma ve gezegen hareketlerini takip edebilen bir uygulama geliştirme bulunuyor. Fakat daha karmaşık vazifelerde Devin, teknik çıkmazlara saplandı yahut yanılgılı tahliller üretti.
Araştırmacılar, Devin’in temel pürüzleri fark edemediğini ve uygulanabilir olmayan tahlilleri zorlamaya devam ettiğini belirtti. Örneğin, Devin’den birden fazla uygulamayı Railway platformuna dağıtması istendiğinde, bu platformun bu türlü bir özelliği desteklemediğini anlamadı. Günlerce tahlil arayarak vakit kaybetti ve hayali özellikler “uydurdu.” Araştırmacılar, Devin’in arayüzünün kullanıcı dostu olduğunu ve birtakım vazifelerde umut verici sonuçlar verdiğini kabul etseler de, aracın sağlam olmaktan uzak olduğunu vurguladı: “Daha da telaş verici olan, hangi misyonların başarılı olacağını varsayım edemememizdi. Birinci başarılarımıza emsal vazifeler bile karmaşık, vakit alıcı yollarla başarısız oluyordu.”
