İçeriğe atla
Kenara itilen kâğıt bir yılanın yanından hızla geçen gümüş roket, sunucu rafları, kronometre ve devre kartı parçalarından oluşan kâğıt kolaj

Google, saniyede 6 milyon sorguya yanıt veren yapay zekâ sunum motoru XSE'yi açık kaynak yaptı, Python'ı devreden çıkarıyor

Google, Arama, Reklamlar ve YouTube Shorts gibi hizmetlerinde saniyede 6 milyondan fazla sorguyu işleyen XLA Serving Engine'i, kısaca XSE'yi açık kaynak olarak yayımladı. Python'da eğitilen modelleri doğrudan yerel koda derleyerek C++ ile çalıştıran motor, şirketin testlerinde en iyi Python sunucusundan iki ile beş kat daha hızlı çıktı.

Mert A.ohafalan editörüYayın · 2 dk okuma
Kenara itilen kâğıt bir yılanın yanından hızla geçen gümüş roket, sunucu rafları, kronometre ve devre kartı parçalarından oluşan kâğıt kolaj

Google'ın makine öğrenmesi çalışmalarındaki yaklaşımı kısaca "Python'da eğit, C++ ile sun" olarak özetlenebilir. The Register'ın aktardığına göre şirket, bu yaklaşımın önemli bir parçası olan XLA Serving Engine'i, kısaca XSE'yi açık kaynak olarak yayımladı.

Python, veri bilimciler için kullanımı kolay bir dil. Ancak Python yorumlayıcısını sunum hattında tutmak ek yük ve dağıtım sorunları yaratabiliyor. Sektörün desteklediği OpenXLA projesi, makine öğrenmesi hesaplamalarını farklı işlemciler için yerel koda derleyen araçlar sunuyor. XSE de bu yapının açık kaynak yapılan son bileşeni oldu.

İLGİLİBen Affleck Python bildiğini ve oyunlar için kod yazdığını açıkladı→

Büyük dil modelleri için değil

XSE, büyük ölçekli dil modeli çıkarımı için değil, Google'da sayıca çok olan daha küçük ve belirli görevlere odaklı modeller için tasarlandı. Büyük dil modelleri için vLLM ya da SGLang gibi araçlar daha uygun.

Google'ın ürün yönetimi direktörü Nathan Beach, "Şu anda ilgiyi en çok büyük dil modellerinin sunumu çekiyor, ancak üretimdeki çıkarımın önemli bir kısmı hâlâ sıralama, öneri, gömme ve görüntü modellerinden oluşuyor. Bunlar genellikle çok yüksek saniye başına sorgu sayısına ve sıkı gecikme bütçelerine sahip kısa isteklerdir" diye yazdı.

Dörtte bir bellekle beş kata kadar hız

XSE, Google'da YouTube Shorts, Google Ads ve Arama gibi hizmetlerde saniyede 6 milyondan fazla sorguyu işliyor. Bu modeller sonuçları sıralıyor, video öneriyor ve kullanıcılar çoğu zaman fark etmeden anlık kararlar veriyor. Her isteği bir Python yorumlayıcısının işlemesi bu noktada ciddi bir darboğaz yaratırdı. Google'ın kısa isteklerle yaptığı testlerde XSE, şirketin en iyi optimize edilmiş Python sunucusunun iki ile beş katı verim sağladı ve bunu dörtte bir bellekle yaptı.

Bu yapıda yapay zekâ geliştiricileri model kodunu Python'da, Google'ın JAX kütüphanesini kullanarak yazıyor. Google, PyTorch kullanıcılarının da modellerini TPU'larda C++ ile sunulmak üzere dışa aktarabilmesi için TorchTPU entegrasyonu planlıyor. Bir dışa aktarma aracı, modelin hesaplamalarını taşınabilir bir ara gösterim olan StableHLO biçiminde, eğitilmiş ağırlıklarıyla birlikte "XLA SavedModel" olarak paketliyor. C++ sunum çalışma ortamı ise XLA'yı kullanarak bu hesaplamaları hedef donanım için yerel koda derliyor. Bu süreçte Python yorumlayıcısı hiç devreye girmiyor.

İLGİLİGoogle, Chrome'da saldırılarda kullanılan bu yılki sekizinci sıfırıncı gün açığını yamaladı→

XLA SavedModel'ler GPU'larda ve işlemcilerde çalışabiliyor. Google, XLA ekosistemini geliştirmek için hem Arm hem de Intel ile iş birliği yaptı. Ancak şirketin asıl hedefi, modellerin kendi TPU hızlandırıcılarında çalıştırılması.

Python'ın yavaşlığı makine öğrenmesi topluluğu için sorun olmaya devam ediyor. XSE dışında da Python kodundan olabildiğince hızlı kurtulmaya dayanan başka yaklaşımlar var. PyTorch, LibTorch adlı yerel bir C++ çalışma ortamı sunarken, Microsoft ve ortakları da Python bağlantılarına sahip açık bir grafik biçimini destekleyen ONNX Runtime'ı geliştiriyor.

Bu yazı hakkında ifade bırakın

OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.

İlginizi çekebilir