Müvekkil dosyalarını bulut tabanlı yapay zekâ hizmetlerine göndermek istemeyen bir avukat, sorunu kendi donanımıyla çözdü. Tom's Hardware'in aktardığına göre Reddit'te paylaşım yapan avukat, 2018 yapımı sekiz ikinci el Nvidia Tesla V100 veri merkezi ekran kartıyla dosyaların ofisten hiç çıkmamasını sağlayan özel bir yapay zekâ sunucusu kurdu.
Sistem, dörder kartlık iki SXM2 NVLink kartı, dört PEX anahtar kartı ve çok sayıda SlimSAS kablodan oluşuyor. Her biri 32 GB HBM2 belleğe sahip sekiz kart, toplamda 256 GB'lık hızlı bir bellek havuzu sunuyor. Avukat bu sayede açık kaynaklı DeepSeek V4.1 Flash modelini, modelin tüm "uzman" katmanları ekran kartı belleğinde olacak şekilde çalıştırabiliyor. Dört kartlık kartların her biri satın alındığı dönemde yaklaşık 2.400 dolara mal olmuştu.
Her gün dava dosyası okuyor
Sunucu şu anda dava dosyalarının ilk elden incelenmesinde her gün kullanılıyor. Bir klasördeki kayıtları okuyup olgu, tarih ve rakamları çıkarıyor, bunları özetliyor ve rutin yazışmaların ilk taslağını hazırlıyor. Avukat, "Gerçek bir incelemeden geçmeden hiçbir şey kapıdan çıkmıyor" diyor. Sistem, dosyaların buluta ya da öncü yapay zekâ modellerine gönderilemediği davalarda gizliliği de koruyor.
Performans, bu boyuttaki bir model için oldukça iyi. Kod üretiminde hız saniyede 215 token'a kadar çıkarken, sunucunun asıl amacı olan hukuki metinlerde saniyede 118 token'a ulaşıyor. Model 524 bin token'a kadar bağlamı kabul edebiliyor, ancak 128 bin token'lık uzun bir belgede ilk yanıtın gelmesi yaklaşık bir dakika sürüyor.
Yanık konnektör ve bellek hataları
Kurulum sorunsuz geçmedi. Sistem iki kez ölümcül bir PCIe hatasıyla kendini yeniden başlattı. Avukat, kartların saat hızlarını sınırlayıp güç konnektöründe yanık izi olan bir kartı çıkardıktan sonra sorunun ortadan kalktığını söylüyor ve "Konnektörlerinizi kontrol edin millet" uyarısında bulunuyor. Her kart şu anda 300 watt'lık kapasitesinin yarısı olan 150 watt ile sınırlandırılmış durumda. Sistem belleğinde görülen düzeltilemeyen hatalar da bellek hızı düşürülünce ortadan kalktı.
Avukata göre mevcut yapay zekâ iş akışlarının yüzde 50 ila 60'ı artık bu sunucuda çalışabiliyor. Sistem, API fiyatlarına kıyasla tasarruf sağlıyor gibi görünse de daha hızlı değil. Tom's Hardware, ikinci el V100 kartlarının fiyatının da yükseldiğini hatırlatıyor. Paylaşımdaki kart başına yaklaşık 400 dolarlık fiyat, eBay'de şimdiden 900 dolar civarına çıkmış durumda. Avukat şimdilik bunun daha çok bir hobi olduğunu, ama gelecekte bir iş fikrine dönüşebileceğini söylüyor.
Bu yazı hakkında ifade bırakın
OHA!falan’ı takip edinGünün haberleri, kısa videolar ve özetler her gün sosyal medyada.
İlginizi çekebilir
Google'ın Yapay Zekâ Modu'na gizli sohbet geldi
Google, aramadaki sohbet arayüzü Yapay Zekâ Modu'na arama geçmişine kaydedilmeyen geçici sohbetler ekledi. Geçici sohbe…
Proton'un gizlilik odaklı yapay zekâsı Lumo masaüstüne geldi
Proton, ChatGPT ve Claude'a gizlilik odaklı bir alternatif olarak sunduğu yapay zekâ uygulaması Lumo'nun Windows, macOS…
Gemini'de sohbet geçmişi ile yapay zekâ eğitimi ayrılıyor
Google, Gemini uygulamasında sohbet geçmişini saklama ayarını yapay zekâ eğitimine katkı ayarından ayıran yeni gizlilik…

The Cardigans İngiltere'de dört konser verecekMüzik
MongoDB analitik veritabanı Firebolt'u satın aldıYazılım
Canva'ya üretken yapay zekâyı kapatma düğmesi geldiYapay zekâ
Xbox kullanıcıların arka planını GTA 6 reklamına çevirdiOyun
Burun damlası yaşlı farelerin hafızasını gençleştirdiGenel
Google'ın uzaydaki yapay zekâ sunucularını Blue Origin taşıyacakTeknoloji



