سرور هوش مصنوعی برای اجرای مدلهای زبانی (LLM) بهصورت محلی؛ کانفیگ پیشنهادی با HPE DL380 Gen12 و DL380a
بسیاری از سازمانهای ایرانی میخواهند از مدلهای زبانی بزرگ (LLM) برای چتبات داخلی، جستجوی هوشمند در اسناد، خلاصهسازی و برنامهنویسی استفاده کنند؛ اما نمیخواهند دادههای محرمانهشان به سرویسهای خارجی ارسال شود یا به دسترسی ناپایدار به APIهای خارجی وابسته باشند. راهحل، اجرای مدل روی سرور خود سازمان (On-Premise) است. در این راهنما یاد میگیرید چقدر حافظهی GPU لازم دارید و با HPE ProLiant DL380 Gen12 و DL380a Gen12 چه کانفیگی بسازید.
چرا هوش مصنوعی را روی سرور خودمان اجرا کنیم؟
- محرمانگی داده: اسناد مالی، قراردادها و اطلاعات مشتریان از شبکهی سازمان خارج نمیشوند.
- استقلال از سرویس خارجی: بدون نگرانی از تحریم، محدودیت دسترسی یا تغییر قیمت API.
- هزینهی قابلپیشبینی: بعد از خرید سختافزار، هزینه به ازای هر درخواست تقریباً صفر است.
- شخصیسازی: امکان اتصال مدل به اسناد داخلی (RAG) و حتی آموزش تکمیلی (Fine-tuning) روی دادههای سازمان.
مهمترین سؤال: چقدر حافظهی GPU لازم است؟
در اجرای LLM، گلوگاه اصلی معمولاً حافظهی GPU (VRAM) است، نه قدرت پردازش. یک قاعدهی سرانگشتی برای وزنهای مدل:
- دقت FP16/BF16: حدود ۲ گیگابایت به ازای هر میلیارد پارامتر
- کوانتیزه ۸ بیتی: حدود ۱ گیگابایت به ازای هر میلیارد پارامتر
- کوانتیزه ۴ بیتی: حدود ۰.۵ تا ۰.۶ گیگابایت به ازای هر میلیارد پارامتر
به این عدد ۲۰ تا ۳۰ درصد برای KV Cache (حافظهی متن گفتگو) اضافه کنید؛ با افزایش کاربران همزمان و طول متن، این سهم بیشتر هم میشود.
| اندازه مدل | FP16 | ۸ بیتی | ۴ بیتی |
|---|---|---|---|
| ۷ تا ۸ میلیارد پارامتر | حدود ۱۶ گیگابایت | حدود ۸ گیگابایت | حدود ۵ گیگابایت |
| ۱۴ میلیارد پارامتر | حدود ۲۸ گیگابایت | حدود ۱۴ گیگابایت | حدود ۸ گیگابایت |
| ۳۲ میلیارد پارامتر | حدود ۶۴ گیگابایت | حدود ۳۲ گیگابایت | حدود ۱۸ گیگابایت |
| ۷۰ میلیارد پارامتر | حدود ۱۴۰ گیگابایت | حدود ۷۰ گیگابایت | حدود ۴۰ گیگابایت |
(اعداد فقط برای وزنهای مدل و تقریبی هستند.)
GPUهای رایج برای سرور هوش مصنوعی
| GPU | حافظه | فرمفکتور | مناسب برای |
|---|---|---|---|
| NVIDIA L4 | ۲۴ گیگابایت | تکعرضه، کممصرف (۷۲ وات) | مدلهای کوچک، استنتاج کممصرف، پردازش ویدیو |
| NVIDIA L40S | ۴۸ گیگابایت | دوعرضه | مدلهای متوسط، استنتاج چندکاربره |
| NVIDIA RTX PRO 6000 Blackwell Server Edition | ۹۶ گیگابایت | دوعرضه | مدلهای ۷۰ میلیاردی کوانتیزه روی یک کارت |
| NVIDIA H100 NVL | ۹۴ گیگابایت | دوعرضه | استنتاج سنگین و آموزش |
| NVIDIA H200 NVL | ۱۴۱ گیگابایت | دوعرضه | مدلهای بزرگ و آموزش تکمیلی |
مقایسهی کامل GPUهای دیتاسنتری را در راهنمای خرید کارت گرافیک سرور برای هوش مصنوعی و مقایسه H200، H100 و B200 بخوانید.
DL380 Gen12 یا DL380a Gen12؟
DL380 Gen12 یک سرور ۲U همهکاره است که تا ۸ GPU تکعرضه (مثل L4) یا ۳ GPU دوعرضه (مثل L40S، H100 NVL یا RTX PRO 6000) را پشتیبانی میکند. برای شروع پروژهی هوش مصنوعی در کنار سایر کاربردهای سازمان، انتخابی منعطف و اقتصادی است.
DL380a Gen12 یک سرور ۴U مخصوص GPU است که برای چندین GPU دوعرضه، جریان هوای قوی و پاورهای اضافه برای GPU طراحی شده است. اگر هدف شما سرویسدهی به تعداد زیادی کاربر یا آموزش مدل است، DL380a انتخاب درست است. معرفی کامل: سرور هوش مصنوعی HPE DL380a.
سه کانفیگ پیشنهادی
۱. پایلوت و چتبات داخلی (مدلهای ۷ تا ۱۴ میلیاردی، تا حدود ۲۰ کاربر)
- سرور: DL380 Gen12
- پردازنده: یک Xeon 6 با ۱۶ تا ۲۴ هسته
- رم: ۲۵۶ گیگابایت DDR5
- GPU: دو L4 یا یک L40S
- ذخیرهسازی: ۲ تا ۴ NVMe برای مدلها و پایگاه دادهی برداری
- پاور: 2 × 1600W
۲. دپارتمانی (مدلهای ۳۲ تا ۷۰ میلیاردی کوانتیزه، دهها کاربر)
- سرور: DL380 Gen12
- پردازنده: دو Xeon 6 با ۲۴ تا ۳۲ هسته
- رم: ۵۱۲ گیگابایت
- GPU: دو یا سه L40S، یا دو RTX PRO 6000 Blackwell با ۹۶ گیگابایت حافظه
- شبکه: 25 گیگابیت
- پاور: 2 × 1800W-2200W Titanium
۳. سازمانی و آموزش تکمیلی (مدلهای بزرگ، صدها کاربر)
- سرور: DL380a Gen12 8DW
- GPU: چندین H100 NVL یا H200 NVL
- رم: ۱ ترابایت یا بیشتر
- شبکه: 100 گیگابیت یا InfiniBand برای اتصال چند سرور (آشنایی با InfiniBand)
- گزینهی جایگزین: DL384 Gen12 با سوپرچیپ GH200 برای بارهای بسیار سنگین
فقط GPU مهم نیست؛ بقیهی سرور را جدی بگیرید
- رم سیستم: دستکم هماندازه یا بیشتر از مجموع حافظهی GPUها، برای بارگذاری مدل و پردازش اسناد.
- NVMe سریع: فایل مدلها دهها گیگابایت حجم دارند؛ بارگذاری سریع آنها به NVMe نیاز دارد.
- پاور و خنککاری: هر GPU دوعرضه میتواند تا ۳۵۰ وات یا بیشتر مصرف کند؛ پاور 1800W-2200W و اتاق سرور با سرمایش کافی لازم است (استاندارد اتاق سرور).
- نصب صحیح GPU: رایزر، کابل برق و هیتسینک مناسب (آموزش نصب GPU روی DL380).
نرمافزار؛ از نصب تا چتبات آماده
- نصب Ubuntu Server یا یک هایپروایزر با پشتیبانی از GPU Passthrough.
- نصب درایور NVIDIA و CUDA.
- راهاندازی موتور اجرای مدل: vLLM برای کاربران همزمان زیاد، یا Ollama و llama.cpp برای شروع سریع.
- انتخاب مدل متنباز متناسب با زبان فارسی و حافظهی موجود.
- افزودن رابط کاربری تحت وب و اتصال به اسناد سازمان با RAG و پایگاه دادهی برداری.
- اعمال احراز هویت، ثبت لاگ و محدودیت دسترسی برای امنیت.
خرید سرور هوش مصنوعی از ایران اینفرا
انتخاب اشتباه GPU یا پاور در سرور هوش مصنوعی میتواند دهها یا صدها میلیون تومان هزینهی اضافه داشته باشد. کارشناسان ایران اینفرا بر اساس مدل مورد نظر، تعداد کاربران و بودجه، کانفیگ دقیق DL380 Gen12 یا DL380a Gen12 را پیشنهاد میدهند و سرور را با GPU نصبشده و تستشده تحویل میدهند.
برای مشاهدهی قیمت روز به دستهی سرورهای GPU و کارت گرافیک سرور مراجعه کنید یا برای مشاورهی رایگان با ما تماس بگیرید.
سوالات متداول
آیا میتوان LLM را بدون GPU اجرا کرد؟
مدلهای کوچک کوانتیزه روی پردازندههای پرهستهی Xeon 6 هم اجرا میشوند، اما سرعت پاسخ برای چند کاربر همزمان معمولاً کافی نیست. برای استفادهی عملیاتی، GPU توصیه میشود.
برای شروع، ارزانترین کانفیگ مناسب چیست؟
یک DL380 Gen12 با یک یا دو L4 برای مدلهای ۷ تا ۸ میلیاردی؛ بعداً میتوانید GPU اضافه کنید یا به L40S ارتقا دهید.
DL380 Gen11 هم برای هوش مصنوعی مناسب است؟
بله، برای استنتاج مدلهای کوچک و متوسط مناسب است. برای حداکثر کارایی و GPUهای جدیدتر، نسل ۱۲ و DL380a انتخاب بهتری هستند (مقایسه: نسل ۱۲ در برابر نسل ۱۱).
نظرات کاربران