İçeriğe atla
Kâğıt kolaj illüstrasyon: kapağı açılmış eski bir oyun konsolunun içinde yeşil devre kartı, konsoldan yükselen kâğıt sohbet balonları, önde bir oyun kumandası ve bir sarımsak başı, arkada ekranında metin satırları olan eski bir televizyon.

13 yıllık PS4 yerel yapay zekâ sohbet robotuna dönüştü

Bir geliştiricinin açık kaynak projesi Garlic LLM, jailbreak yapılmış bir PlayStation 4'te 9 milyar parametreli Qwen3.5-9B modelini internet bağlantısı olmadan saniyede 31 ila 39 token hızla çalıştırıyor. Uygulama 2013'ten kalma ekran kartıyla sürücüleri atlayarak doğrudan konuşuyor ve yedi dilde sesli sohbet de sunuyor.

Ece T.ohafalan editörüYayın · 2 dk okuma
Kâğıt kolaj illüstrasyon: kapağı açılmış eski bir oyun konsolunun içinde yeşil devre kartı, konsoldan yükselen kâğıt sohbet balonları, önde bir oyun kumandası ve bir sarımsak başı, arkada ekranında metin satırları olan eski bir televizyon.

PlayStation 4 çıkalı 13 yıl oldu, ancak konsol hâlâ şaşırtmaya devam ediyor. Tom's Hardware'in aktardığına göre geliştirici Leonardo Alegría'nın açık kaynak projesi Garlic LLM, jailbreak yapılmış bir PS4'ün Alibaba'nın 9 milyar parametreli Qwen3.5-9B modelini internet bağlantısı olmadan çalıştırmasını sağlıyor. Model, konsolun 2013'ten kalma ekran kartında saniyede 31 ila 39 token hıza ulaşıyor.

Sesli sohbet ve dikte

Proje, adını ekran kartının doğrudan okuduğu bellek türünden alıyor. Bu belleğin kardeşinin adı da "Onion", yani soğan. Garlic LLM, istismar edilmiş konsollar için geliştirilen ev yapımı yazılım aracı GoldHEN'in kurulu olduğu PS4'lerde çalışıyor. Ücretsiz uygulama Hugging Face'te tek bir 5,66 GB'lık paket olarak sunuluyor ve konsolun paket yükleyicisiyle kuruluyor. Geliştirici uygulamayı 11.52 sürümlü yazılıma sahip standart ve Slim PS4'lerde test etti.

Uygulama sesli sohbet de yapabiliyor. Chatterbox ses modeli yedi dilde sesli yanıt verirken sohbet modeli bu modda saniyede yaklaşık 22 token hızla çalışıyor. Kumandada bir tuşa basılı tutulduğunda ise Nvidia'nın 25 Avrupa dilini destekleyen Parakeet modeli dikte alıyor.

9 milyar parametre 8 GB belleğe nasıl sığdı

PS5'te benzer bir proje, yaygın yerel yapay zekâ programı llama.cpp'yi açık kaynak bir ekran kartı sürücüsü üzerinden çalıştırıyor. PS4'te ev yapımı yazılımlar için böyle bir sürücü katmanı yok. Garlic LLM bu yüzden ekran kartıyla doğrudan konuşuyor. Normalde bir ekran kartı sürücüsünün oluşturduğu düşük seviyeli komutları uygulamanın kendisi hazırlıyor.

Asıl soru, işlemci ile ekran kartının paylaştığı 8 GB belleğe 9 milyar parametreli bir modelin nasıl sığdığı. Parametre başına 8 bit kullanılsa en az 9 GB gerekirdi. Çözüm, ağırlıkların büyük kısmını 4 bite, en büyük iki matrisi ise yaklaşık 3,5 bite sıkıştırmak oldu. Böylece model yaklaşık 4,5 GiB'a indi. Ses ve dikte modelleriyle birlikte toplam boyut 5,62 GB'a ulaşıyor.

300 tokenlik yanıt dokuz saniyede

Hızın sırrı ise Qwen3.5'in iki token ilerisini tahmin edip tam modelin doğrulamasına dayanan çoklu token tahmini özelliği. Kod yazarken hız saniyede 43 tokene kadar çıkıyor. Ortalama hızla 300 tokenlik bir yanıt dokuz saniyeden kısa sürede tamamlanıyor. PS4 Pro henüz test edilmedi, PS5 ise desteklenmiyor. Uygulamanın kendisi bir istismar içermiyor, ancak GoldHEN kurulumu kullanıcının kendi sorumluluğunda. Sıra dışı donanımlarda yapay zekâ çalıştıran projeler sık sık gündeme geliyor, kısa süre önce de yörüngedeki bir ESA uydusu sesli komutla Doom'u çalıştırmıştı.

Bu yazı hakkında ifade bırakın

OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.

İlginizi çekebilir