Yapay zekâ dil modeli GPT-3’ün performansının üniversite öğrencileriyle benzer olduğu belirlendi. Deneyi yürüten araştırmacılar, teknolojinin insan muhakemesini mi taklit ettiği yoksa yeni bir tür bilişsel süreç mi kullandığını anlamak istiyor.
Popüler yapay zekâ dil modeli GPT-3 üzerinde yapılan bir deney sonucunda analojik problem çözme kabiliyetinin sadece insanlara özel kalmayacağı öngörülüyor.
Californiya Üniversitesi (UCLA) psikologları tarafından yapılan araştırma, GPT-3’ün zeka testlerinde ve Skolastik Değerlendirme Testi (SAT) gibi standartlaştırılmış testlerde üniversite mezunları kadar iyi performans gösterdiğini kanıtladı.
GPT-3 İNSANI MI TAKLİT EDİYOR?
Nature Human Behavior’da yayınlanan çalışmada makalenin yazarları, çalışmanın şu soruyu gündeme getirdiğini yazıyor: GPT-3, devasa dil eğitimi veri setinin bir yan ürünü olarak insan muhakemesini mi taklit ediyor yoksa temelde yeni bir tür bilişsel süreç mi kullanıyor?
GPT-3’ün (sahibi OpenAI tarafından korunan) iç işleyişine erişim olmadığı takdirde UCLA bilim insanları GPT-3’ün muhakeme yeteneklerinin nasıl çalıştığını kesin olarak söyleyemiyorlar. Ayrıca popüler yapay zeka aracı GPT-3, bazı muhakeme görevlerinde beklenenden çok daha iyi performans göstermesine rağmen; başarısız olduğu durumlar da oluyor.
TAM OLARAK GELİŞMİŞ DEĞİL
UCLA’da psikoloji alanında doktora sonrası araştırmacı ve çalışmanın ilk yazarı olan Taylor Webb, “Sonuçlarımız ne kadar etkileyici olursa olsun, bu sistemin önemli sınırlamaları olduğunu vurgulamak önemlidir. Analojik akıl yürütme yapabilir, ancak fiziksel bir görevi çözmek için araçlar kullanmak gibi insanlar için çok kolay olan şeyleri yapamaz. Ona bu tür problemler verdiğimizde (bazılarını çocukların hızla çözebileceği) önerdiği şeyler saçmaydı” dedi.
Webb ve meslektaşları, GPT-3’ün sorunları çözme becerisini, deneğin karmaşık bir şekil düzenlemesinde bir sonraki görüntüyü tahmin etmesini isteyen Raven’ın Progresif Matrisleri olarak bilinen bir testten esinlenerek test ettiler. GPT-3’ün şekilleri “görmesini” sağlamak için Webb, görüntüleri GPT-3’ün işleyebileceği bir metin biçimine dönüştürdü; bu yaklaşım aynı zamanda yapay zekanın bu sorularla daha önce hiç karşılaşmayacağını da garanti ediyordu.
Araştırmacılar 40 UCLA lisans öğrencisinden aynı problemleri çözmelerini istedi. Çalışmanın yazarı UCLA psikoloji profesörü Hongjing Lu, “Şaşırtıcı bir şekilde, GPT-3 sadece insanlar kadar iyi değil, aynı zamanda benzer hatalar da yaptı” dedi. İnsan deneklerin sorun çözme becerisinde ortalama puanı olan yüzde 60 iken GPT-3, problemlerin yüzde 80’ini doğru bir şekilde çözdü.
KELİME GRUPLARI EŞLEŞTİRMEDE GPT-3 ORTALAMASI YÜKSEK
Araştırmacılar ayrıca GPT-3’ü internette hiç yayınlanmadığını düşündükleri birçok SAT benzetme sorularını çözmeye yönlendirdi. Sorular, kullanıcılardan aynı türden ilişkileri paylaşan kelime çiftlerini seçmelerini istedi. Örneğin, “‘Aşk’, ‘nefret etmektir’, çünkü ‘zengin’ hangi kelimeye karşılık gelir?” probleminde “fakir” yanıtı verilmeli.
GPT-3’ün puanlarını, üniversite adaylarının SAT sonuçlarıyla karşılaştırdılar ve yapay zekanın insanlar için ortalama puandan daha iyi performans gösterdiğini buldular.
FİZİKSEL SORUNLARI ÇÖZMEDE BAŞARILI DEĞİL
Araştırmacılar, GPT-3’ün şimdiye kadar fiziksel alanı anlama gerektiren sorunları çözemediğini söyledi. Örneğin, sakız toplarını bir kâseden diğerine aktarmak için kullanabileceği birkaç aletin, örneğin bir karton tüp, makas ve bant, kullanması önerildiğinde GPT-3 tuhaf çözümler buldu.
BİR İNSAN GİBİ DÜŞÜNÜYOR OLABİLİR
UCLA bilim insanları, dil öğrenme modellerinin aslında insanlar gibi “düşünmeye” başlayıp başlamadığını veya yalnızca insan düşüncesini taklit eden tamamen farklı bir şey yapıp yapmadığını keşfetmek istiyor.
Holyoak, “GPT-3 bir tür insan gibi düşünüyor olabilir. Fakat öte yandan, insanlar tüm interneti yutarak öğrenmediler, bu yüzden eğitim yöntemi tamamen farklı. Bunu gerçekten insanların yaptığı gibi mi yapıyor, yoksa yepyeni bir şey mi, bilmek istiyoruz. Gerçek yapay zeka kendi başına harika olurdu” dedi.
