راهنمای فنی خرید تجهیزات HPE InfiniBand

 InfiniBandچیست و به چه دردی می‌خورد؟

 InfiniBand یک فناوری ارتباطی با پهنای باند بالا و تأخیر بسیار پایین است که عمدتاً در محیط‌هایی با نیازهای پردازشی سنگین مانند  HPC (High Performance Computing)، هوش مصنوعی  (AI/ML)، دیتاسنترهای مبتنی بر حافظه اشتراکی و Hyper-converged infrastructure استفاده می‌شود.

در مقایسه با اترنت سنتی:
·         سرعت بیشتر: تا 200Gbps و حتی بیشتر در نسخه‌های جدیدتر
·         تأخیر پایین‌تر: مناسب برای workloadهای حساس به تأخیر
·         پشتیبانی از RDMA (Remote Direct Memory Access): انتقال داده مستقیم بین حافظه‌ها بدون درگیر شدن CPU، برای افزایش کارایی

کی باید از InfiniBand استفاده کنیم؟

اگر با هرکدام از این شرایط مواجه هستید، زمان خرید تجهیزات InfiniBand رسیده:
ارتباط بین نودهای پردازشی مثلاً در یک Cluster‌ی HPC یا سرورهای GPU-دار باید با سرعت و تأخیر بسیار پایین انجام شود.
سیستم شما از نرم‌افزارهایی استفاده می‌کند که RDMA-aware هستند مانند نرم‌افزارهای شبیه‌سازی، AI، دیتابیس‌های حافظه‌محور.
حجم تبادل داده بین سرورها به گونه‌ای است که اترنت 10 یا 25 یا حتی 40 گیگ پاسخ‌گو نیست.

تحلیل فنی محصولات InfiniBand برند HPE

1. HPE 100Gb 1-port OP101 QSFP28 x16 PCIe Gen3 with Intel Omni-Path Architecture Adapter. 829335-B21

·         نوع اتصال: Omni-Path – جایگزین اترنت در محیط‌های HPC 
·         پهنای باند: 100Gbps
·         مناسب برای: Cluster‌های محاسباتی بر مبنای   Intel HPC stack
·         زمان استفاده: زمانی که زیرساخت شما با OPA سازگار است، نه InfiniBand سنتی

2. HPE InfiniBand HDR100/Ethernet 100Gb 1-port QSFP56 PCIe3 x16 MCX653105A-ECAT Adapter. P06250-B21

·         نوع پورت: ترکیبی InfiniBand HDR100 و اترنت 100Gb
·         درگاه: QSFP56 – مناسب برای کابل‌های پرسرعت
·         مناسب برای: محیط‌هایی که نیاز به تطبیق‌پذیری بین InfiniBand و اترنت دارند
·         ویژگی مهم: این کارت هم در شبکه InfiniBand HDR و هم در شبکه اترنت قابل استفاده است

3. HPE InfiniBand HDR100/Ethernet 100Gb 2-port QSFP56 PCIe3 x16 MCX653106A-ECAT Adapter. P06251-B21

همه قابلیت‌های مدل قبلی
اضافه شدن پورت دوم: برای redundancy یا استفاده از دو مسیر همزمان
مناسب برای: محیط‌های HA یا شبکه‌های دو مسیره

4. HPE InfiniBand HDR PCIe3 Auxiliary Card with 350mm Cable Kit. P06154-B23

·         نوع: کارت کمکی
·         کاربرد: افزایش پهنای باند با اتصال به کارت اصلی (P06154-B21)
·         نکته نصب: باید همراه با کارت اصلی سفارش داده شود و در یک Riser  یا دو Riser  مجاور نصب گردد

نکات فنی مهم هنگام خرید

·         برای فعال کردن تمامی قابلیت‌های HDR100/HDR200 باید هم کارت اصلی و هم کارت Auxiliary  نصب شود.
·         انتخاب کابل مناسب QSFP28 یا QSFP56 تأثیر زیادی در کارایی دارد.
·         بهتر است با تاپولوژی شبکه و نحوه ارتباط سرورها در زمان طراحی زیرساخت هماهنگ شود تا بعداً نیاز به ارتقاء سخت‌افزاری هزینه‌بر نباشد.
·         اگر از شاسی‌های HPE استفاده می‌کنید، تطبیق Riser  ها و سازگاری سرور با این کارت‌ها حتماً بررسی شود.

کاربرد تجهیزات InfiniBand در کلاسترهای هوش مصنوعی (AI Clusters)

در پروژه‌های هوش مصنوعی و یادگیری ماشین، به‌ویژه در مقیاس‌های بزرگ، معمولاً از چندین سرور GPUدار به‌صورت یکپارچه در قالب یک AI Cluster استفاده می‌شود. در چنین ساختارهایی، سرعت انتقال داده بین GPUها و نودهای پردازشی، نقش حیاتی در زمان آموزش مدل‌های پیچیده ایفا می‌کند.
 InfiniBand با پشتیبانی از فناوری‌هایی مانند:
·         NVLink over InfiniBand
·         GPUDirect RDMA
·         و zero-copy communication
·         امکان ارتباط مستقیم بین حافظه GPUها را فراهم می‌کند، بدون اینکه داده‌ها از طریق CPU یا حافظه اصلی عبور کنند. این موضوع منجر به:
·         کاهش چشمگیر تأخیر انتقال داده،
·         افزایش throughput مدل‌های یادگیری عمیق،
·         و استفاده حداکثری از منابع سخت‌افزاری می‌شود.

بنابراین در هر پروژه‌ای که شامل آموزش مدل‌های  Generative AI، Vision AI یا LLM باشد، استفاده از کارت‌های InfiniBand HDR100 یا HDR200 عملاً به یک نیاز ضروری تبدیل می‌شود.