Nvidia, üç yeni açık ağırlıklı Nemotron 3.5 modelini duyurdu

Yapay zekâ çiplerinin lider üreticisi Nvidia, model tarafında da iddiasını büyütüyor. Şirket, farklı donanımlarda çalışabilen ve yapay zekâ ajanlarına odaklanan üç yeni açık ağırlıklı modelini duyurdu. Nvidia Nemotron 3.5 ailesinde Nemotron 3.5 Super VL, Nemotron 3.5 Bolt 74B-A9B 24GB ve Nemotron 3.5 Bolt E4B 4GB modelleri yer alıyor. Şirket ilk iki modeli kullanıma sunarken, en küçük model olan Bolt E4B'nin yayın tarihini 23 Ekim olarak açıkladı.

Nvidia Nemotron 3.5 ailesinde neler var?

Ailenin en büyük üyesi Nemotron 3.5 Super VL, 120 milyar parametreye sahip. Nvidia, modeli özellikle birden fazla aşamadan oluşan görevleri yürüten yapay zekâ ajanları için geliştirdiğini belirtiyor. Şirketin açıklamasına göre Super VL, bazı görevleri üst düzey rakip modellerden daha hızlı tamamlayabiliyor. Ancak bu hız karşılaştırmalarının hangi test koşullarında yapıldığı, bağımsız değerlendirmelerde belirleyici olacak.

Super VL yalnızca bulutta değil, desteklenen yerel sistemlerde de çalıştırılabiliyor. Nvidia, modelin DGX Spark, DGX Station, RTX PRO ve uyumlu RTX ekran kartlarına sahip bilgisayarlarda kullanılabildiğini bildiriyor. Yerel çalıştırma seçeneği, kurumların verilerini dışarı çıkarmadan kendi sistemlerinde yapay zekâ uygulamaları geliştirmesine imkân tanıyor.

İkinci model Nemotron 3.5 Bolt 74B-A9B, daha sınırlı donanımla yapay zekâ ajanlarını çalıştırmayı hedefliyor. RTX ve DGX Spark sistemleri için geliştirilen model, yerleşik 2 bit kuantizasyon sayesinde 24 GB belleğe sığacak şekilde tasarlandı. Kuantizasyon, model ağırlıklarının daha az bellek kullanacak biçimde temsil edilmesini sağlayan bir teknik. Nvidia, Bolt 74B-A9B'nin gündelik ajan görevlerini diğer uygulamalarla eş zamanlı yürütebildiğini belirtiyor.

4 GB'lık model 23 Ekim'de geliyor

Ailenin en küçük üyesi Nemotron 3.5 Bolt E4B 4GB, düşük bellek gereksinimiyle öne çıkıyor. Nvidia, modeli GeForce RTX, Jetson ve RTX/DGX Spark platformları için geliştiriyor. Dört gigabaytlık bellek hedefiyle hazırlanan model, özellikle sohbet tabanlı ajanlar ve gömülü yapay zekâ arayüzleri için tasarlanıyor. Jetson platformunun robotik ve uç cihazlarda kullanıldığı düşünüldüğünde, bu model yapay zekânın daha küçük cihazlara taşınması açısından önem taşıyor.

Açık ağırlıklı modeller, geliştiricilerin modeli indirip kendi ihtiyaçlarına göre uyarlamasına olanak tanıyor. Bu yaklaşım, kapalı modellere bağımlı olmak istemeyen kurumlar ve araştırmacılar için cazip bir seçenek sunuyor. Gerçek performansın ise kullanılan donanıma, aynı anda çalışan diğer uygulamalara ve görevin niteliğine göre değişebileceği belirtiliyor.

Nemotron modellerine ilişkin teknik belgeler ve indirme bağlantıları Nvidia'nın geliştirici sayfasında yer alıyor.

Görsel: Will Buckner / Wikimedia Commons, CC BY 2.0