راهنمای خرید سرور هوش مصنوعی و سرور GPU؛ از انتخاب GPU تا پیکربندی HPE

راهنمای خرید تجهیزات 30 آبان 1405 ساعت 05:04 مدیر فنی زمان تقریبی مطالعه: 9 دقیقه

راهنمای خرید سرور هوش مصنوعی و سرور GPU؛ از انتخاب GPU تا پیکربندی HPE

خرید سرور هوش مصنوعی یکی از پرهزینه‌ترین و حساس‌ترین تصمیم‌های زیرساختی امروز است. سروری که برای اجرای مدل‌های زبانی، بینایی ماشین یا تحلیل داده خریداری می‌شود، اگر درست پیکربندی نشود یا حافظه‌ی GPU کافی ندارد یا پول زیادی صرف توانی می‌شود که هرگز استفاده نمی‌شود. در این راهنما مراحل انتخاب سرور GPU را از تعریف بار کاری تا انتخاب GPU، پردازنده، رم، ذخیره‌سازی، شبکه و پاور توضیح می‌دهیم و گزینه‌های HPE ProLiant و سرورهای GPU موجود در بازار ایران را مقایسه می‌کنیم.

قدم اول: بار کاری هوش مصنوعی را مشخص کنید

سه نوع بار کاری اصلی وجود دارد که هر کدام سخت‌افزار متفاوتی می‌خواهند:

  • استنتاج (Inference): اجرای مدل آموزش‌دیده برای پاسخ به کاربران؛ مانند چت‌بات سازمانی، تشخیص تصویر یا تبدیل گفتار به متن. بیشترین نیاز، حافظه‌ی GPU کافی برای جا دادن مدل و تأخیر کم است.
  • تنظیم دقیق (Fine-tuning): آموزش مجدد یک مدل آماده روی داده‌های سازمان. به حافظه‌ی GPU بیشتر و معمولاً چند GPU نیاز دارد.
  • آموزش از صفر (Training): سنگین‌ترین بار کاری که به خوشه‌ای از GPUهای قدرتمند با شبکه‌ی پرسرعت بین سرورها نیاز دارد و برای بیشتر سازمان‌های ایرانی ضروری نیست.

برای بیشتر کسب‌وکارها، استنتاج و تنظیم دقیق مدل‌های متن‌باز هدف اصلی است و همین موضوع بودجه را واقع‌بینانه‌تر می‌کند.

قدم دوم: حافظه‌ی GPU لازم را محاسبه کنید

مهم‌ترین عدد در انتخاب سرور هوش مصنوعی، حافظه‌ی GPU (VRAM) است. یک قاعده‌ی سرانگشتی ساده: هر میلیارد پارامتر در دقت FP16 حدود ۲ گیگابایت، در دقت ۸ بیتی حدود ۱ گیگابایت و در دقت ۴ بیتی حدود نیم گیگابایت حافظه نیاز دارد؛ به این عدد حدود ۲۰ درصد برای کش و سربار اضافه کنید.

اندازه‌ی مدل FP16 (تقریبی) ۴ بیتی (تقریبی) گزینه‌ی GPU پیشنهادی
۷ تا ۸ میلیارد پارامتر ۱۶ تا ۲۰ گیگابایت ۵ تا ۶ گیگابایت یک L4 یا A10 (۲۴GB)
۱۳ تا ۱۴ میلیارد ۳۰ تا ۳۴ گیگابایت ۹ تا ۱۰ گیگابایت یک L40S یا L40 (۴۸GB)
۳۰ تا ۳۴ میلیارد ۷۰ تا ۸۰ گیگابایت ۲۰ تا ۲۴ گیگابایت دو L40S یا یک H100 NVL
۷۰ میلیارد حدود ۱۴۰ تا ۱۶۰ گیگابایت ۴۰ تا ۴۵ گیگابایت H200 NVL یا چند GPU ۴۸ گیگابایتی

جزئیات بیشتر درباره‌ی پیکربندی مدل‌های زبانی را در پیکربندی سرور LLM داخلی با HPE Gen12 بخوانید.

قدم سوم: GPU مناسب را انتخاب کنید

پس از تعیین حافظه‌ی لازم، GPU را بر اساس کارایی، مصرف برق و بودجه انتخاب کنید. L4 کم‌مصرف و تک‌عرض است و برای استنتاج مدل‌های کوچک و پردازش ویدیو ایده‌آل است. L40S با ۴۸ گیگابایت حافظه، انتخاب پرطرفدار برای هوش مصنوعی مولد و ترکیب استنتاج و رندر است. H100 NVL و H200 با حافظه‌ی HBM و پهنای باند بسیار بالا برای مدل‌های بزرگ و تنظیم دقیق به کار می‌روند. مقایسه‌ی کامل این کارت‌ها را در مقایسه NVIDIA H200، H100 و B200 و راهنمای کلی را در راهنمای خرید GPU دیتاسنتر ببینید. اگر سرور HP فعلی خود را با GPU ارتقا می‌دهید، راهنمای خرید کارت گرافیک سرور HP و سازگاری GPU را بخوانید.

قدم چهارم: پلتفرم سرور را انتخاب کنید

سرور ظرفیت GPU مناسب برای
HPE DL360 Gen11 / Gen12 تا ۳ GPU تک‌عرض L4 استنتاج سبک، ویدیو، VDI در فضای کم
HPE DL380 Gen11 / Gen12 تا ۳ GPU دوعرض یا ۸ تک‌عرض شروع پروژه‌ی هوش مصنوعی، استنتاج مدل‌های متوسط
HPE DL380a Gen11 تا ۴ GPU دوعرض هوش مصنوعی مولد و تنظیم دقیق
HPE DL380a Gen12 تا ۱۰ GPU دوعرض (L40S، H100 NVL، H200) یا ۸ RTX PRO 6000 مدل‌های بزرگ و سرویس‌دهی به کاربران زیاد
سرورهای GPU سوپرمیکرو و سیستم‌های DGX ۸ GPU و بیشتر آموزش و پروژه‌های تحقیقاتی سنگین

برای بیشتر سازمان‌ها، شروع با یک DL380 Gen11 یا Gen12 با یک یا دو GPU دوعرض منطقی‌ترین مسیر است؛ اگر نیاز رشد کرد، سرورهای اختصاصی مانند DL380a در نظر گرفته می‌شوند. جزئیات این مدل را در سرور هوش مصنوعی HPE DL380a Gen11 و Gen12 و مقایسه با سوپرمیکرو را در مقایسه سوپرمیکرو و HPE ProLiant بخوانید.

قدم پنجم: پردازنده، رم، ذخیره‌سازی و شبکه

پردازنده و رم

در سرور هوش مصنوعی، پردازنده باید آن‌قدر قوی باشد که GPU را منتظر داده نگذارد و خطوط PCIe کافی فراهم کند. قاعده‌ی رایج این است که رم سیستم دست‌کم برابر یا دو برابر مجموع حافظه‌ی GPUها باشد تا بارگذاری مدل و پیش‌پردازش داده‌ها روان انجام شود. پردازنده‌های Xeon 6 در Gen12 و Xeon Scalable نسل ۴ و ۵ در Gen11 هر دو از PCIe Gen5 پشتیبانی می‌کنند؛ انتخاب پردازنده را در مقایسه پردازنده‌های Xeon 6 ببینید.

ذخیره‌سازی

مدل‌ها و دیتاست‌ها باید سریع بارگذاری شوند؛ از درایوهای NVMe برای داده‌های فعال استفاده کنید و برای آرشیو دیتاست‌ها ذخیره‌سازی پرظرفیت جداگانه در نظر بگیرید.

شبکه

برای سرویس‌دهی به کاربران، کارت شبکه‌ی ۲۵ گیگابیت کافی است؛ اما اگر چند سرور GPU را برای آموزش به هم متصل می‌کنید، شبکه‌ی ۱۰۰ گیگابیت یا InfiniBand لازم است. توضیحات را در InfiniBand؛ ستون فقرات پردازش‌های سنگین بخوانید.

پاور و خنک‌سازی

هر GPU دوعرض پرقدرت چند صد وات مصرف دارد؛ پاورهای ۱۸۰۰ تا ۲۲۰۰ وات، برق پایدار، UPS با ظرفیت کافی و تهویه‌ی قوی اتاق سرور را از ابتدا در بودجه ببینید.

اشتباهات رایج در خرید سرور هوش مصنوعی

  • تمرکز بر قدرت محاسباتی به جای حافظه‌ی GPU: مدلی که در حافظه جا نشود، روی سریع‌ترین GPU هم اجرا نمی‌شود.
  • خرید سرور بدون پشتیبانی رسمی GPU: نصب کارت دوعرض در سروری که کیت GPU و پاور کافی ندارد، به گرمای بیش از حد و خاموشی می‌انجامد.
  • استفاده از کارت‌های گیمینگ برای کار ۲۴ ساعته: دوام، خنک‌سازی و پشتیبانی نرم‌افزاری مناسب دیتاسنتر را ندارند.
  • نادیده گرفتن زیرساخت برق و سرمایش: هزینه‌ی برق و تهویه‌ی سرورهای GPU قابل توجه است.
  • خرید بیش از نیاز: برای پروژه‌ی آزمایشی، از یک سرور با یک یا دو GPU شروع کنید و پس از اثبات ارزش، توسعه دهید.

چک‌لیست خرید سرور GPU

  1. نوع بار کاری (استنتاج، تنظیم دقیق یا آموزش) و مدل‌های هدف را مشخص کنید.
  2. حافظه‌ی GPU لازم را با قاعده‌ی پارامتر × دقت محاسبه کنید.
  3. تعداد کاربران هم‌زمان و تأخیر قابل قبول را تعیین کنید.
  4. GPU و پلتفرم سرور (DL380، DL380a یا سرور GPU اختصاصی) را انتخاب کنید.
  5. رم سیستم، درایوهای NVMe و کارت شبکه را متناسب پیکربندی کنید.
  6. پاور، UPS و ظرفیت سرمایش اتاق سرور را بررسی کنید.
  7. گارانتی و امکان ارتقای آینده را در نظر بگیرید.

سوالات متداول

برای اجرای یک چت‌بات سازمانی چه سروری لازم است؟

برای مدل‌های ۷ تا ۱۴ میلیارد پارامتری، یک DL380 Gen11 یا Gen12 با یک GPU ۲۴ یا ۴۸ گیگابایتی معمولاً کافی است. برای مدل‌های ۷۰ میلیاردی به GPUهای با حافظه‌ی بیشتر یا چند GPU نیاز دارید.

سرور هوش مصنوعی استوک بخریم یا نو؟

سرورهای استوک تست‌شده مانند DL380 Gen10 با GPUهای T4 یا A10 برای استنتاج سبک اقتصادی‌اند؛ برای مدل‌های جدید و پرحجم، نسل‌های Gen11 و Gen12 با PCIe Gen5 توصیه می‌شوند.

آیا یک سرور GPU برای چند کاربر کافی است؟

بله، با نرم‌افزارهای سرویس‌دهی مدل، یک GPU می‌تواند درخواست‌های چندین کاربر را هم‌زمان پاسخ دهد؛ تعداد دقیق به اندازه‌ی مدل و طول پاسخ‌ها بستگی دارد.

قیمت سرور هوش مصنوعی چقدر است؟

قیمت عمدتاً به نوع و تعداد GPU بستگی دارد و با نرخ ارز تغییر می‌کند. قیمت روز را در فروشگاه ایران اینفرا ببینید یا برای پیکربندی دلخواه استعلام بگیرید.

خرید سرور هوش مصنوعی از ایران اینفرا

ایران اینفرا سرورهای GPU و هوش مصنوعی را با پیکربندی متناسب با پروژه‌ی شما، تست کامل و گارانتی عرضه می‌کند؛ از سرور HPE DL380a Gen11 تا NVIDIA DGX A100. همه‌ی گزینه‌ها را در دسته‌ی سرورهای GPU و کارت‌ها را در کارت گرافیک سرور ببینید. مدل یا کاربرد هدف خود را با کارشناسان ما در میان بگذارید تا پیکربندی بهینه پیشنهاد دهند و استعلام قیمت بگیرید.

تاکنون نظری ثبت نشده است.