Dünyanın ilk yapay zeka yazılım mühendisi başarısız oldu
Cognition AI tarafından geliştirilen ve Devin olarak isimlendirilen dünyanın birinci “yapay zeka yazılım mühendisi” görünüşe nazaran işini yapmakta epeyce makus. Yapılan son değerlendirmeler, bu yeni kuşak aracın vaat edilen potansiyelden çok uzak olduğunu ortaya koyuyor. Testlerde Devin’in, kendisine verilen vazifelerin sadece yüzde 15’ini muvaffakiyetle tamamladığı görüldü.
BEKLENTİLER BÜYÜKTÜ
Donanımhaber’de yer alan detaylarda aktardığına nazaran 2024 yılının başlarında Cognition AI tarafından tanıtılan Devin, yazılım mühendislerine yardımcı olmayı amaçlayan bir otomasyon aracı olarak geliştirildi. Aralık 2024’te aylık 500 dolarlık abonelik fiyatıyla genel kullanıma sunulan Devin’in, uygulama geliştirme ve yanılgı giderme üzere misyonları baştan sona otonom bir halde gerçekleştirebildiği sav edildi. Araç, Slack üzerinden komut alıyor ve Docker tabanlı bir çalışma ortamında terminal, tarayıcı, kod düzenleyici ve planlayıcı üzere araçlarla çalışıyor.
Cognition AI’nin açıklamasına nazaran Devin; API entegrasyonu, kod incelemeleri, altyapı idaresi üzere vazifeleri yerine getirebiliyor. Hatta DoorDash üzerinden yemek siparişi verebilecek kadar “kişisel asistan” fonksiyonu gördüğü de belirtiliyor. Bunlar, başlı başına çok büyük bir olay ve tez.
Bu ortada Devin, bir “bileşik yapay zeka sistemi”, yani OpenAI’nı GPT-4o’sunu içeren ve vakit içinde gelişmesi beklenebilecek bir dizi temel yapay zeka modeline dayanıyor. Teorik olarak onların yapabildikleri her şeyi yapması bekleniyor.
SONUÇLAR HAYAL KIRIKLIĞI OLDU
Saygın bir AI araştırma ve geliştirme laboratuvarı olan Answer.AI’dan üç data bilimcisi Hamel Husain, Isaac Flath ve Johno Whitaker, bu argümanları test etmek için bir dizi denemeler gerçekleştirdi. Devin ile test edilen 20 vazifeden yalnızca üçü muvaffakiyetle tamamlanabildi. Devin’in tamamladığı misyonlar ortasında Notion veritabanından Google Sheets’e data aktarma ve gezegen hareketlerini takip edebilen bir uygulama geliştirme bulunuyor. Lakin daha karmaşık misyonlarda Devin, teknik çıkmazlara saplandı yahut yanlışlı tahliller üretti.
Araştırmacılar, Devin’in temel mahzurları fark edemediğini ve uygulanabilir olmayan tahlilleri zorlamaya devam ettiğini belirtti. Örneğin, Devin’den birden fazla uygulamayı Railway platformuna dağıtması istendiğinde, bu platformun bu türlü bir özelliği desteklemediğini anlamadı. Günlerce tahlil arayarak vakit kaybetti ve hayali özellikler “uydurdu.” Araştırmacılar, Devin’in arayüzünün kullanıcı dostu olduğunu ve kimi vazifelerde umut verici sonuçlar verdiğini kabul etseler de, aracın emniyetli olmaktan uzak olduğunu vurguladı: “Daha da kaygı verici olan, hangi vazifelerin başarılı olacağını varsayım edemememizdi. Birinci başarılarımıza emsal vazifeler bile karmaşık, vakit alıcı yollarla başarısız oluyordu.”
