GPU VRAM Hesaplayıcı: LLM ve Render İçin Kaç GB GPU Belleği Gerekir?

Bir dil modelini kendi altyapısında çalıştırmak isteyen ekiplerin ilk sorusu aynıdır: bu model kaç GB GPU belleğine sığar? GPU VRAM hesaplayıcı, seçilen model, ağırlık hassasiyeti, bağlam uzunluğu ve eşzamanlı istek sayısına göre gereken belleği hesaplar ve sonucu yaygın GPU kartlarına böler. LLM VRAM hesaplama için kullanılan formül sayfanın devamında açıkça anlatılıyor; böylece sonuç kara kutu değil, kontrol edilebilir bir tahmindir.

Hesaplama tamamen tarayıcıda yapılır, girilen bilgiler hiçbir sunucuya gönderilmez.

GPU VRAM nasıl hesaplanır?

Bir dil modelinin çıkarım (inference) sırasında kullandığı GPU belleği üç parçadan oluşur: model ağırlıkları, KV önbelleği ve çalışma payı. Ağırlıklar parametre sayısı ile parametre başına bayt sayısının çarpımıdır; KV önbelleği ise bağlam uzunluğu ve eşzamanlı istek sayısıyla doğrusal büyür.

• Ağırlıklar: parametre sayısı × parametre başına bayt. FP16/BF16’da 2 bayt, FP8/INT8’de 1 bayt, 4 bit nicemlemede (GPTQ, AWQ) yaklaşık 0,5 bayt.
• KV önbelleği: 2 (anahtar ve değer) × katman sayısı × KV head sayısı × head boyutu × 2 bayt × token sayısı × eşzamanlı istek.
• Çalışma payı: CUDA bağlamı, geçici tamponlar ve bellek parçalanması için toplamın yaklaşık %10’u.

Hesaplayıcı model listesindeki katman, KV head ve head boyutu değerlerini modellerin yayımlanmış yapılandırmalarından alır. Listede olmayan bir model için “Özel model” seçilip bu değerler elle girilebilir; değerler modelin config.json dosyasındaki num_hidden_layers, num_key_value_heads ve head_dim alanlarında bulunur.

Örnek: popüler modeller kaç GB VRAM ister?

Aşağıdaki tablo, hesaplayıcının kendi formülüyle tek istek ve 8.192 token bağlam için hesaplanmıştır. 70B bir model FP16’da yaklaşık 158 GB, 4 bit nicemlemeyle yaklaşık 42 GB belleğe ihtiyaç duyar.

Model	Token başına KV	FP16 / BF16	FP8 / INT8	INT4
Mistral 7B	128 KB	17,0 GB	9,1 GB	5,1 GB
Llama 3.1 8B	128 KB	18,8 GB	10,0 GB	5,6 GB
Qwen2.5 14B	192 KB	34,1 GB	17,9 GB	9,9 GB
Qwen2.5 32B	256 KB	73,9 GB	38,1 GB	20,2 GB
Llama 3.1 70B	320 KB	158,3 GB	80,6 GB	41,8 GB
Llama 3.1 405B	504 KB	895,7 GB	450,2 GB	227,4 GB

Tablodaki değerler tek kullanıcı içindir. Aynı 8B model sekiz eşzamanlı istekle ve 8.192 token bağlamla çalıştığında FP16 ihtiyacı 18,8 GB’tan 27 GB’a çıkar; artış tamamen KV önbelleğinden gelir. Bu yüzden canlı bir sohbet hizmeti planlanırken model boyutu kadar beklenen eşzamanlı kullanıcı sayısı da hesaba katılmalıdır.

Bağlam uzunluğu ve eşzamanlı istek neden bu kadar etkili?

KV önbelleği her token için sabit bir bellek ayırır ve bu bellek bağlam boyunca birikir. Llama 3.1 70B’de token başına 320 KB tutulur; 131.072 token’lık tam bağlamda tek bir istek yalnız KV için yaklaşık 43 GB ister. Uzun belge özetleme veya kod tabanı analizi gibi işlerde asıl darboğaz çoğu zaman ağırlıklar değil bu önbellektir.

Yeni nesil modellerin çoğu Grouped-Query Attention (GQA) kullanır; KV head sayısı dikkat head sayısından az olduğu için önbellek eski mimarilere göre birkaç kat küçülür. vLLM gibi sunucu çatıları ayrıca önbelleği sayfalara bölerek israfı azaltır (vLLM belgeleri). Hesaplayıcı bu kazanımları hesaba katmaz, en kötü durum ihtiyacını gösterir; planlama için güvenli taraf budur.

İnce ayar (fine-tuning) için ne kadar VRAM gerekir?

Tam ince ayar, çıkarımdan çok daha fazla bellek ister. Karışık hassasiyetli eğitimde AdamW optimizer ile parametre başına yaklaşık 18 bayt gerekir: ağırlıklar için 6, optimizer durumları için 8, gradyanlar için 4 bayt (Hugging Face, Model training anatomy). Bu hesapla 70B bir modelin tam ince ayarı, aktivasyonlar hariç 1,3 TB’ın üzerinde bellek ister ve ancak çok sayıda GPU’ya dağıtılarak yapılabilir.

LoRA ve QLoRA bu tabloyu değiştirir. LoRA’da ana ağırlıklar dondurulur, yalnız küçük adaptör matrisleri eğitilir; QLoRA’da ana ağırlıklar ayrıca 4 bite nicemlenir. 70B bir model QLoRA ile 8.192 token bağlamda yaklaşık 50 GB’a iner; tek bir 80 GB kart üzerinde çalışabilir. Hesaplayıcıdaki LoRA/QLoRA modu adaptör, optimizer ve aktivasyonlar için ağırlıkların %20’si kadar kaba bir pay ekler; gerçek değer batch boyutu ve aktivasyon kontrol noktasına göre değişir.

Hangi GPU kartı hangi işe uygun?

Kart seçimi bellek kadar bant genişliği ve kartlar arası bağlantıyla da ilgilidir. Hesaplayıcı sonucu dört bellek sınıfına böler:

• 24 GB (RTX 4090, L4): 7-8B modellerin FP16 çıkarımı, 14B modellerin 4 bit çıkarımı, küçük LoRA işleri ve render.
• 48 GB (L40S, RTX 6000 Ada): 32B modellerin FP8/INT4 çıkarımı, orta ölçekli QLoRA, yoğun render ve görüntü üretimi.
• 80 GB (A100, H100): 70B modellerin FP8 çıkarımı, büyük QLoRA işleri, çoklu kartla 70B FP16 servis.
• 141 GB (H200): 70B modellerin tek kartta FP8 ve uzun bağlamlı çıkarımı, büyük modellerin daha az kartla servisi.

Çoklu GPU kurulumlarında model katmanları kartlara bölünür (tensor veya pipeline paralelliği). Bu durumda kartlar arası NVLink bağlantısı PCIe’ye göre belirgin hız farkı yaratır; teklif aşamasında yalnız toplam bellek değil, kartların aynı sunucuda nasıl bağlandığı da netleştirilmelidir.

Hesaplamada sık yapılan hatalar

1. Yalnız ağırlıklara bakmak: 8B bir model 16 GB’a sığıyor gibi görünür, fakat eşzamanlı kullanıcılar ve uzun bağlamla KV önbelleği bu sınırı kolayca aşar.
2. Kartın tamamını kullanılabilir saymak: sürücü, CUDA bağlamı ve parçalanma nedeniyle kart belleğinin bir kısmı her zaman doludur; hesaplayıcı kart başına %95 kullanılabilir bellek varsayar.
3. Nicemlemenin kaliteyi etkilediğini göz ardı etmek: 4 bit modeller belleği dörtte bire indirir, fakat bazı görevlerde doğrulukta ölçülebilir kayıp olabilir; üretime geçmeden aynı test setiyle karşılaştırma yapılmalıdır.
4. Eğitim ile çıkarımı aynı kartta planlamak: ince ayar işi sürerken aynı kartta canlı servis vermek iki işi de yavaşlatır.

MAV Cloud’da GPU sunucu: destek ve güvence

Eğitim ya da çıkarım işini durduran kritik bir arıza, MAV Cloud’un hizmet seviyesi sözleşmesinde kritik öncelikte ele alınır; bu öncelik için ilk müdahale hedefi 15 dakikadır.

Model ağırlıkları ve eğitim verisi çoğu zaman kurumun en hassas varlıklarıdır. MAV Cloud’un bilgi güvenliği yönetim sistemi ISO/IEC 27001, gizlilik bilgi yönetim sistemi ISO/IEC 27701 belgelidir (sertifikalarımız). GPU sunucu seçenekleri ve kiralama süreci GPU sunucu kiralama sayfasında, GPU ile CPU sunucu arasındaki temel farklar ise GPU sunucu nedir rehberinde anlatılıyor.

Sıkça Sorulan Sorular

70B bir dil modeli için kaç GB VRAM gerekir?

Llama 3.1 70B, tek istek ve 8.192 token bağlamla FP16’da yaklaşık 158 GB, FP8’de yaklaşık 81 GB, 4 bit nicemlemeyle yaklaşık 42 GB ister. Eşzamanlı istek arttıkça KV önbelleği nedeniyle ihtiyaç büyür.

Hesaplayıcının sonucu ne kadar doğru?

Sonuç planlama için güvenli tarafta kalan bir tahmindir. Kullanılan çatı, batch boyutu, sayfalı KV önbelleği ve aktivasyon kontrol noktası gerçek değeri birkaç GB değiştirebilir.

Render ve görüntü üretimi için de kullanılabilir mi?

Hesaplayıcı dil modelleri için tasarlanmıştır. Render işlerinde bellek ihtiyacı sahnenin doku ve geometri boyutuna bağlıdır; genel bir başlangıç noktası olarak 24 GB ve 48 GB sınıfı kartlar kullanılır.

Girilen bilgiler bir yere kaydediliyor mu?

Hayır. Hesaplama tarayıcıda yapılır, seçimler sunucuya gönderilmez.

Model seçimi henüz netleşmediyse hesaplayıcıdaki değerler farklı senaryoları karşılaştırmak için kullanılabilir. Yapılandırma belliyse, sonuç ekranındaki teklif bağlantısı en hızlı yoldur.