Yapay zekâ meraklıları, dev dil modellerini evde çalıştırmanın yeni bir yolunu buldu. Tom's Hardware'in aktardığına göre bir Reddit kullanıcısı, Moonshot AI'ın 2,8 trilyon parametreli Kimi K3 modelini üretimi durdurulmuş ikinci nesil Intel Optane PMem 200 bellekler üzerinde çalıştırdı. Sistemde ekran kartı yerine 40 çekirdekli 3. nesil bir Xeon Scalable işlemci kullanıldı.
Ucuz ama çok yavaş
Kimi K3 aslında evde kullanım için tasarlanmış bir model değil. Moonshot AI modeli çalıştırmak için veri merkezi çıkarım motorlarını öneriyor ve topluluğun hazırladığı en küçük sıkıştırılmış sürüm bile en az 610 GB RAM gerektiriyor. İkinci el Optane bellekler, bu kapasiteye evde ulaşmanın az sayıdaki yollarından biri. DRAM fiyatlarının fırladığı bu dönemde kullanıcı, Optane'ın eşdeğer RAM'in çok küçük bir kısmına mal olduğunu söylüyor.
Ancak performans oldukça düşük. Sistem 1 bitlik sıkıştırmayla saniyede yalnızca 0,85 token üretiyor, 3 bitlik sıkıştırmada bu hız 0,75 token'a iniyor. Bir yorumcu 50 bin token'lık bir işin bu hızda yaklaşık 13 saat süreceğini hesapladı, bir başkası ise gece boyunca çalışan toplu işler için hızın o kadar önemli olmadığını hatırlattı.
"Bellek soğutması şart"
Projenin en dikkat çekici uyarısı ısıyla ilgili. Uzun süreli çıkarım sırasında Optane modülleri "aşırı ısınıyor" ve yanlarındaki DRAM'i tehlikeye atabiliyor. Kullanıcı, belleklere doğrultulmuş 2 adet 12 watt'lık üfleyici fanla sıcaklığı kontrol altına aldı ve aktif bellek soğutmasının "zorunlu" sayılması gerektiğini söylüyor.
Intel'in teknik değerlerine göre her Optane modülü 12 ya da 15 watt harcıyor ve saniyede 2,4 ile 2,7 metrelik bir hava akışıyla soğutulmalı. Modüller 83 derecede yavaşlıyor, 85 derecede ise kendini kapatıyor. 4 modüllü bir sistemde bu, RAM'in hemen yanında 60 watt'a kadar ısı demek.
Daha önce 1 trilyonluk model çalışmıştı
Bu proje, başka bir kullanıcının bu yılın başında birinci nesil Optane ile yaptığı denemenin devamı. O sistem, 1 trilyon parametreli Kimi K2.5 modelini RTX 3060 ekran kartının da yardımıyla saniyede yaklaşık 4 token hızında çalıştırmıştı. Yeni sistemin sahibi, performans ayarlarını henüz yapmadığını, ileride ekran kartı ekleyip modelin bir kısmını daha hızlı DRAM'e taşıyacağını söylüyor.
Bu yazı hakkında ifade bırakın
OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.
İlginizi çekebilir
Moonshot Kimi modellerini kodlamadan bilime yöneltiyor
Çinli yapay zekâ girişimi Moonshot AI, kodlamada getirinin azaldığını düşünerek Kimi dil modellerinin odağını biyoloji,…
Bir avukat, müvekkil dosyaları buluta gitmesin diye 8 ikinci el Nvidia V100 ile kendi yapay zekâ sunucusunu kurdu
Reddit'te paylaşım yapan bir avukat, 2018 yapımı sekiz ikinci el Nvidia Tesla V100 veri merkezi kartıyla kurduğu sunucu…
Canva'ya üretken yapay zekâyı kapatma düğmesi geldi
Tasarım platformu Canva, kullanıcıların üretken yapay zekâ özelliklerini tek bir ayarla kapatmasına izin veriyor. Kulla…

MongoDB analitik veritabanı Firebolt'u satın aldıYazılım
Canva'ya üretken yapay zekâyı kapatma düğmesi geldiYapay zekâ
Xbox kullanıcıların arka planını GTA 6 reklamına çevirdiOyun
Burun damlası yaşlı farelerin hafızasını gençleştirdiGenel
Google'ın uzaydaki yapay zekâ sunucularını Blue Origin taşıyacakTeknoloji
Wolf Alice ve Disclosure Boardmasters 2027'nin manşetindeMüzik


