PlayStation 4 çıkalı 13 yıl oldu, ancak konsol hâlâ şaşırtmaya devam ediyor. Tom's Hardware'in aktardığına göre geliştirici Leonardo Alegría'nın açık kaynak projesi Garlic LLM, jailbreak yapılmış bir PS4'ün Alibaba'nın 9 milyar parametreli Qwen3.5-9B modelini internet bağlantısı olmadan çalıştırmasını sağlıyor. Model, konsolun 2013'ten kalma ekran kartında saniyede 31 ila 39 token hıza ulaşıyor.
Sesli sohbet ve dikte
Proje, adını ekran kartının doğrudan okuduğu bellek türünden alıyor. Bu belleğin kardeşinin adı da "Onion", yani soğan. Garlic LLM, istismar edilmiş konsollar için geliştirilen ev yapımı yazılım aracı GoldHEN'in kurulu olduğu PS4'lerde çalışıyor. Ücretsiz uygulama Hugging Face'te tek bir 5,66 GB'lık paket olarak sunuluyor ve konsolun paket yükleyicisiyle kuruluyor. Geliştirici uygulamayı 11.52 sürümlü yazılıma sahip standart ve Slim PS4'lerde test etti.
Uygulama sesli sohbet de yapabiliyor. Chatterbox ses modeli yedi dilde sesli yanıt verirken sohbet modeli bu modda saniyede yaklaşık 22 token hızla çalışıyor. Kumandada bir tuşa basılı tutulduğunda ise Nvidia'nın 25 Avrupa dilini destekleyen Parakeet modeli dikte alıyor.
9 milyar parametre 8 GB belleğe nasıl sığdı
PS5'te benzer bir proje, yaygın yerel yapay zekâ programı llama.cpp'yi açık kaynak bir ekran kartı sürücüsü üzerinden çalıştırıyor. PS4'te ev yapımı yazılımlar için böyle bir sürücü katmanı yok. Garlic LLM bu yüzden ekran kartıyla doğrudan konuşuyor. Normalde bir ekran kartı sürücüsünün oluşturduğu düşük seviyeli komutları uygulamanın kendisi hazırlıyor.
Asıl soru, işlemci ile ekran kartının paylaştığı 8 GB belleğe 9 milyar parametreli bir modelin nasıl sığdığı. Parametre başına 8 bit kullanılsa en az 9 GB gerekirdi. Çözüm, ağırlıkların büyük kısmını 4 bite, en büyük iki matrisi ise yaklaşık 3,5 bite sıkıştırmak oldu. Böylece model yaklaşık 4,5 GiB'a indi. Ses ve dikte modelleriyle birlikte toplam boyut 5,62 GB'a ulaşıyor.
300 tokenlik yanıt dokuz saniyede
Hızın sırrı ise Qwen3.5'in iki token ilerisini tahmin edip tam modelin doğrulamasına dayanan çoklu token tahmini özelliği. Kod yazarken hız saniyede 43 tokene kadar çıkıyor. Ortalama hızla 300 tokenlik bir yanıt dokuz saniyeden kısa sürede tamamlanıyor. PS4 Pro henüz test edilmedi, PS5 ise desteklenmiyor. Uygulamanın kendisi bir istismar içermiyor, ancak GoldHEN kurulumu kullanıcının kendi sorumluluğunda. Sıra dışı donanımlarda yapay zekâ çalıştıran projeler sık sık gündeme geliyor, kısa süre önce de yörüngedeki bir ESA uydusu sesli komutla Doom'u çalıştırmıştı.
Bu yazı hakkında ifade bırakın
OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.
İlginizi çekebilir
Framework'ün koltuk klavyesi 99 dolara ön siparişte
Onarılabilir dizüstüleriyle tanınan Framework, dokunmatik yüzeyli kablosuz klavyesini 99 dolara ön siparişe açtı. Klavy…
Android Time Machine eski Android'leri tarayıcıya getirdi
Ücretsiz ve açık kaynak Android Time Machine projesi, Android 2.1 Eclair'den 7.1.2 Nougat'a kadar sekiz eski sürümü tar…
Sony'nin DualSense askılı monitörü vazgeçilen PC planlarının izi
Sony'nin 349 dolarlık 27 inçlik PlayStation monitörü, ekranın arkasından aşağı inen ve DualSense kumandayı hem tutan he…

MongoDB analitik veritabanı Firebolt'u satın aldıYazılım
Canva'ya üretken yapay zekâyı kapatma düğmesi geldiYapay zekâ
Xbox kullanıcıların arka planını GTA 6 reklamına çevirdiOyun
Burun damlası yaşlı farelerin hafızasını gençleştirdiGenel
Google'ın uzaydaki yapay zekâ sunucularını Blue Origin taşıyacakTeknoloji
Wolf Alice ve Disclosure Boardmasters 2027'nin manşetindeMüzik



