مدیر فنی
راهنمای خرید کارت گرافیک سرور برای هوش مصنوعی؛ از L4 تا H200 NVL
کارت‌های گرافیک دیتاسنتر با کارت‌های گیمینگ تفاوت اساسی دارند: خنک‌کنندگی پسیو، حافظه‌ی ECC، پشتیبانی از مجازی‌سازی GPU و درایورهای سازمانی. در این راهنما معیارهای انتخاب کارت گرافیک سرور برای هوش مصنوعی را مرور می‌کنیم.
مهم‌ترین معیار: حافظه‌ی GPU
برای اجرای یک مدل زبانی، وزن‌های مدل باید در حافظه‌ی GPU جا شوند. به‌طور تقریبی هر یک میلیارد پارامتر در دقت FP16 حدود ۲ گیگابایت حافظه نیاز دارد؛ بنابراین یک مدل ۷۰ میلیاردی حدود ۱۴۰ گیگابایت حافظه (به‌اضافه‌ی کش) می‌خواهد. کوانتیزه کردن به ۸ یا ۴ بیت این نیاز را به نصف یا یک‌چهارم کاهش می‌دهد.
دسته‌بندی GPUهای دیتاسنتر
| کلاس | نمونه | کاربرد |
|---|---|---|
| استنتاج کم‌مصرف | NVIDIA L4، A2 | ویدیو، استنتاج سبک، Edge |
| استنتاج و گرافیک | L40S، RTX PRO 6000، A40 | استنتاج LLM متوسط، رندرینگ، VDI |
| آموزش و LLM (PCIe) | H100 NVL، H200 NVL | Fine-tuning و استنتاج مدل‌های بزرگ |
| آموزش در مقیاس (SXM) | H200 SXM، B200، B300 | آموزش مدل‌های پایه در سرورهای HGX |
| AMD | Instinct MI300X، MI325X | LLM با حافظه‌ی بسیار زیاد |
PCIe یا SXM؟
کارت‌های PCIe در سرورهای استاندارد مانند DL380a Gen12 نصب می‌شوند. نسخه‌های SXM و OAM روی بردهای مخصوص (HGX) نصب شده و با NVLink پهنای باند بسیار بیشتری بین GPUها دارند؛ این نسخه‌ها فقط در سرورهای مخصوص هوش مصنوعی قابل استفاده‌اند.
سرور مناسب برای هر GPU
- GPUهای تک‌پهنا (L4): تقریباً همه‌ی سرورهای نسل ۱۰ به بعد، از جمله DL320 Gen12 GPU.
- GPUهای دوپهنا (L40S، H100 NVL): DL380a Gen11 و DL380a Gen12.
- پلتفرم Grace Hopper: DL384 Gen12.
پاور، خنک‌کنندگی و برق رک
یک GPU دوپهنا ممکن است ۳۰۰ تا ۶۰۰ وات مصرف کند. سرور ۸ GPU می‌تواند بیش از ۵ کیلووات برق بکشد؛ پیش از خرید، ظرفیت PDU و خنک‌کنندگی رک را بررسی کنید.
نرم‌افزار و لایسنس
برای مجازی‌سازی GPU (vGPU) به لایسنس NVIDIA AI Enterprise یا vGPU نیاز است. برای اجرای مستقیم مدل‌ها، فریم‌ورک‌هایی مانند vLLM و TensorRT-LLM روی لینوکس پیشنهاد می‌شوند.
برای مشاهده‌ی همه‌ی کارت‌ها به کارت گرافیک سرور مراجعه کنید و برای مقایسه‌ی دقیق‌تر مقاله‌ی مقایسه H200، H100 و B200 را بخوانید.
سوالات متداول
آیا کارت گرافیک گیمینگ در سرور قابل استفاده است؟
از نظر فنی برخی مدل‌ها نصب می‌شوند اما خنک‌کنندگی و پشتیبانی آن‌ها برای سرور مناسب نیست.
برای مدل ۷۰ میلیاردی چه GPUای لازم است؟
دو کارت H100 NVL یا یک H200 NVL با کوانتیزه‌سازی ۸ بیتی گزینه‌های رایج هستند.
آیا L40S برای آموزش مناسب است؟
برای Fine-tuning مدل‌های کوچک و متوسط مناسب است اما برای آموزش مدل‌های بزرگ H100/H200 بهترند.
نظرات کاربران