GPT-4 Yararsız, Abartılı Bir Felaket mi?

Kural olarak, henüz var olmayan bir şeyi abartmak, var olan bir şeyi abartmaktan çok daha kolaydır. OpenAI’nin GPT-4 dil modeli—çok beklenen; henüz yayınlanmadı – son aylarda kontrolsüz, akıl almaz spekülasyonların konusu oldu. Çevrimiçi olarak geniş çapta dolaşan bir gönderi, olağanüstü gücünü kanıtlıyor gibi görünüyor. Bir resim, GPT-3’ü ve onun “175 milyar parametresini” temsil eden küçük bir noktayı göstermektedir. Yanında 100 trilyon parametre ile GPT-4’ü temsil eden çok çok daha büyük bir daire var. Yeni model, bir müjdeci tweet attı, “ChatGPT’yi bir oyuncak gibi gösterecek.” “Kemer bağlamak,” tweet attı bir diğer.

Bu yutturmaca ile ilgili bir sorun, gerçeklere dayalı olarak yanlış olmasıdır. 100 trilyon parametreli söylenti nereden çıkarsa çıksın, OpenAI’nin CEO’su Sam Altman bunun “tamamen saçmalık” olduğunu söyledi. Diğer bir sorun da, AI araştırmasının geleceği için daha derin ve nihayetinde çok daha önemli bir soruyu atlaması. Örnekte ima edilen (ya da en azından insanların onu yorumlamış göründüğü şekilde), daha fazla parametrenin -yani, modelin çıktısına ince ayar yapmak için öğrenme sürecinde ayarlanabilen daha fazla düğmenin- varsayımıdır. her zaman daha fazla zekaya yol açar. Giderek daha fazla veri ağzına tıkıştırıldıkça teknoloji sonsuza kadar gelişmeye devam edecek mi? AI söz konusu olduğunda, boyut ne kadar önemli?

Bu, uzmanlar arasında yoğun bir tartışma konusu olarak ortaya çıkıyor. Bir tarafta sözde ölçeklendirme maksimalistleri var. Çalışmaları yapay zeka ve bilişsel bilime odaklanan Columbia Üniversitesi filozofu Raphaël Millière, bu terimi, hızlanmanın dönüştürücü potansiyeli konusunda en fazla yükselen grubu ifade etmek için icat etti. Temel fikirleri, mevcut teknolojilerin yapısının gerçek zekaya sahip yapay zeka (bundan ne anlıyorsanız onu yorumlayın) üretmek için yeterli olacağıdır; bu noktada gerekli olan tek şey, parametre sayısını çoğaltarak ve daha fazla veriyi kürekleyerek bu yapıyı büyütmek. DeepMind’in araştırma direktörü Nando de Freitas, geçen yıl şu pozisyonu özetledi: tweet attı, “Artık her şey ölçekle ilgili! Oyun bitti!” (Kafa karıştırıcı bir şekilde, modellerin gelişmesi gerektiğini düşündüğü diğer birkaç yolu sıralamaya devam etti; DeepMind, de Freitas’ı bir röportaj için uygun hale getirmeyi reddetti.)

Okuyun: ChatGPT düşündüğünüzden daha aptal

Bir modeli basitçe şişirmenin ona temelde yeni yetenekler kazandıracağı fikri ilk bakışta saçma görünebilir ve Millière’in bana söylediğine göre birkaç yıl önce bile uzmanlar bu konuda hemen hemen hemfikirdi. “Bu bir zamanlar belki gülünç ya da en azından çılgınca iyimser olarak kabul edilebilecek bir görüştü” dedi. “Overton penceresi, AI araştırmacıları arasında değişti.” Ve sebepsiz değil: Yapay zeka araştırmacıları, ölçeklemenin yalnızca dil modellerinin halihazırda sahip olduğu yetenekleri geliştirmekle kalmayıp, örneğin konuşmaları daha doğal hale getirmekle kalmayıp, aynı zamanda, görünüşte hiçbir yerde yoktan yenilerinin kilidini açtığını keşfetti. Büyük boyutlu modeller birdenbire üç basamaklı aritmetik yapma, mantık hatalarını tespit etme, lise mikroekonomisini anlama ve Farsça okuma becerisi kazandı. Austin’deki Texas Üniversitesi’nde bir bilgisayar bilimcisi ve Makine Öğreniminin Temelleri Enstitüsü’nün eş direktörü Alex Dimakis, GPT-3’ün tüm yollarını gördükten sonra “çok daha fazla bir ölçeklendirme maksimalisti” olduğunu söyledi. önceki modelleri geride bıraktı. Millière, “Birinin buna nasıl bakacağını ve Tamam, eğer durum buysa, belki sonsuza kadar ölçeklendirmeye devam edebiliriz ve insan düzeyinde zekaya giden yolda kalan tüm engelleri kaldırabiliriz” diye düşünebileceğini görebiliyorum.

Sempatisi, tartışmada karşı tarafa aittir. Ölçeklendirme şüpheci kampındakiler için maksimalist duruş, büyülü düşünmedir. İlk itirazları pratiktir: Bir dil modeli ne kadar büyürse, onu eğitmek için o kadar fazla veriye ihtiyaç duyulur ve istediğimize yakın bir şey elde etmeden çok önce, modele beslenebilecek yüksek kaliteli, yayınlanmış metinlerimiz tükenebilir. maksimalistler tasavvur eder. Bunun anlamı, Alberta Üniversitesi bilgisayar bilimcisi Rich Sutton’ın bana söylediğine göre, dil modelleri yalnızca “zayıf bir şekilde ölçeklenebilir”. (Hesaplama gücü de sınırlayıcı bir faktör haline gelebilir, ancak çoğu araştırmacı bu olasılığı daha az endişe verici bulmaktadır.)

Okuyun: AI her şeyi okuduğunda ne olur?

Modele beslenebilecek daha fazla malzeme çıkarmanın yolları olabilir. YouTube’daki tüm videoları yazıya dökebilir, ofis çalışanlarının tuş vuruşlarını kaydedebilir veya günlük konuşmaları kaydedebilir ve bunları yazıya dönüştürebiliriz. Ancak şüpheciler, o zaman bile, şu anda kullanımda olan büyük dil modellerinin hala sorunlarla dolu olacağını söylüyor. Sürekli bir şeyler uydururlar. Sağduyulu muhakeme ile mücadele ediyorlar. Onları eğitmek neredeyse tamamen önceden yapılır, insanların ve diğer hayvanların yaşadıkça öğren psikolojisi gibi bir şey değildir, bu da modellerin önemli bir şekilde güncellenmesini zorlaştırır. Ölçeklendirmenin bu sorunları çözeceğini varsaymak için özel bir neden yoktur. New York Üniversitesi’nde bilgisayar bilimi profesörü olan Ernest Davis, “Neredeyse umulduğu kadar gelişmedi,” dedi. “Herhangi bir uygulanabilir ölçeklendirmenin sizi oraya götüreceği benim için hiç de net değil.” Bu konuda, tamamen dil tabanlı bir yapay zekanın insan zekası gibi bir şeyi yeniden üretebileceği bile net değil. Konuşmak ve düşünmek aynı şey değildir ve ilkinde ustalaşmak ikincisinde ustalaşmayı hiçbir şekilde garanti etmez. Belki de insan düzeyindeki zeka, görsel verileri veya işitsel verileri veya hatta örneğin bir robotik vücut aracılığıyla dünyanın kendisiyle fiziksel etkileşimi gerektirir.

Okuyun: Konuşmak ve düşünmek arasındaki fark

Millière, bunların ikna edici argümanlar olmasına rağmen, ölçeklendirme maksimalizminin AI şüphecileri için bir saman adam haline geldiğini söyledi. Bazı uzmanlar, ölçeklendirmenin gücüne daha ölçülü bir inanç ifade ettiler. Örneğin Sutton, mevcut modellerle ilgili sorunları çözmek için yeni modellerin gerekli olacağını, ancak aynı zamanda bu yeni modellerin insan düzeyinde zeka elde etmek için önceki modellerden daha da ölçeklenebilir olması gerektiğini savundu. Aslında, alanda görece az sayıda araştırmacı daha aşırı bir pozisyona katılıyor. Doğal dil işleme topluluğuyla ilgili bir ankette, veri bilimcileri, araştırmacıların, “ölçeklendirmenin hemen hemen her önemli sorunu çözdüğü” görüşü için meslektaşları arasındaki desteği büyük ölçüde abarttıklarını keşfettiler. Ortalama olarak, meslektaşlarının neredeyse yarısının bu görüşe katıldığını tahmin ettiler; aslında sadece yüzde 17’si yaptı. Ölçeklendirmenin gücüne olan kalıcı bir inanç, hiçbir şekilde hakim olan dogma değildir, ancak bazı nedenlerden dolayı uzmanlar öyle olduğunu düşünüyor.

Bu şekilde, ölçeklendirme tartışması daha geniş AI söylemini temsil eder. Aşırı vokaller çoğunluğu bastırmış gibi hissettiriyor. Ya ChatGPT dünyamızı tamamen yeniden şekillendirecek ya da yüceltilmiş bir tost makinesi. Arttırıcılar 100 kanıtlık aldatmacalarını satıyorlar, aleyhte olanlar kurşuni bir karamsarlıkla yanıt veriyor ve geri kalanımız sessizce ortada bir yerde oturup bu garip yeni dünyayı anlamlandırmaya çalışıyoruz.