OpenAI, GPT-4.5’in perde arkasındaki gelişmeleri anlattı

Videoda, GPT-4.5 projesinin aslında bir ürün lansmanı duyurusu olmadığı, bunun yerine modelin arkasındaki yoğun araştırma ve geliştirme sürecini aydınlatmayı amaçladığı vurgulandı. GPT-4.5’in GPT-4’ten yaklaşık 10 kat daha “akıllı” olması hedefiyle yola çıkılan projenin, yaklaşık iki yıl önce başladığı belirtildi. Ön eğitim (pre-training) ML lideri Alex, Sistem Mimarisi Şefi Amin Chian ve Veri Verimliliği/Algoritmalar uzmanı Dan gibi kilit isimler, süreci kendi perspektiflerinden anlattılar.

Devasa Ölçek ve Sistem Zorlukları

Ekip, on binlerce, hatta yüz binlerce GPU’yu içeren devasa bilgi işlem kümeleriyle çalışmanın getirdiği benzersiz zorluklara dikkat çekti.

Amin Chian, bu ölçekte karşılaşılan sorunların, küçük ölçeklerde nadiren görülen ancak büyük ölçekte “felaket” boyutuna ulaşabilen altyapı arızaları (donanım, ağ yapısı, hızlandırıcılar) olduğunu belirtti.

Chian, “Öyle hatalar gözlemliyoruz ki, eminim donanım sağlayıcıları bile bu kadar büyük bir örneklem havuzunda bunları görmemiştir,” dedi.

Sistemin sürekli çalışır durumda tutulması, özellikle yeni nesil ve henüz tam olarak test edilmemiş donanımlarla çalışırken büyük bir operasyonel yük getirdi.

Ekip, GPT-4.5 eğitimi sırasında, başlangıçta beklenenden çok daha yüksek hata oranlarıyla karşılaştıklarını ve sorunları çalışma devam ederken çözmek zorunda kaldıklarını ifade etti.

Hatta bir noktada, haftalarca süren ve farklı semptomlar gösteren birçok hatanın kaynağının, temel bir PyTorch fonksiyonundaki (torch.sum) nadir tetiklenen bir hata olduğu anlaşıldı. Bu tür beklenmedik ve kök nedeni zor bulunan hatalar, projenin zaman çizelgesini önemli ölçüde etkiledi.

Veri Verimliliği: Yeni Darboğaz

Konuşmacılar, yapay zeka eğitiminde önemli bir paradigma değişimine işaret ettiler: Hesaplama gücünün ötesinde, artık “veri”nin kendisi bir darboğaz haline geliyor.

Dan, Transformer mimarisinin veriyi verimli bir şekilde işlediğini ancak veriden çıkarılabilecek “derin içgörü” miktarının bir sınırı olduğunu belirtti.

Hesaplama gücü artmaya devam ederken kullanılabilir yüksek kaliteli veri miktarının aynı hızda artmaması, “veri verimliliği”ni ön plana çıkarıyor.

Bu durum, aynı miktarda veriden daha fazla şey öğrenmek için yeni algoritmik yenilikleri zorunlu kılıyor. Alex, “GPT-4’e kadar büyük ölçüde hesaplama kısıtlı bir ortamdaydık. Ancak GPT-4.5 ile birlikte, verinin bazı yönleri açısından çok daha fazla veri kısıtlı bir rejime girdik,” dedi.

Ölçekleme Yasaları ve İşbirliği

Ekip, ön eğitim sürecinin temel taşlarından birinin “ölçekleme yasaları” (scaling laws) olduğunu, yani modelin performansının belirli girdilerle (hesaplama, veri boyutu vb.) tahmin edilebilir bir şekilde arttığını belirtti. Ancak bu tahminlerden sapmalar yaşanabildiğini ve bu sapmaların nedenlerini anlamanın kritik olduğunu vurguladılar. GPT-4.5’in başarısı, bu yasaların hala geçerli olduğunu bir kez daha teyit etti.

Projenin başarısındaki bir diğer kritik faktörün, Makine Öğrenmesi (ML) ve Sistem ekipleri arasındaki sıkı işbirliği (“co-design”) olduğu belirtildi. Modelin mimarisi ve sistem altyapısı, birbirlerinin gereksinimlerini karşılayacak şekilde, eğitim başlamadan aylar önce birlikte tasarlandı.

Gelecek ve Öğrenilenler

Araştırmacılar, GPT-4.5’ten elde edilen bilgi birikimi ve geliştirilen sistemler sayesinde, bugün GPT-4 seviyesinde bir modeli çok daha küçük bir ekiple (yaklaşık 5-10 kişi) yeniden eğitmenin mümkün olduğunu ifade ettiler.

Gelecekteki 10x veya 100x ölçek artışları için ise daha iyi hata toleransı sistemlerine ve özellikle veri verimliliğini artıracak algoritmalara ihtiyaç duyulacağı belirtildi.

Sonuç olarak OpenAI’nin paylaştığı bu içgörüler, en gelişmiş yapay zeka modellerini eğitmenin sadece muazzam hesaplama gücü gerektirmediğini, aynı zamanda karmaşık sistem mühendisliği, öngörülemeyen zorluklarla başa çıkma, sürekli adaptasyon ve ML ile sistemler arasında derin bir işbirliği gerektiren, çok yönlü ve son derece meşakkatli bir süreç olduğunu gözler önüne seriyor.

Şirket, bu devasa deneyimin, yapay zeka yeteneklerinin sınırlarını zorlamaya devam ederken kritik dersler sağladığını vurguladı.