InfiniBand؛ ستون فقرات پردازش‌های سنگین و هوش مصنوعی

راهنمای خرید تجهیزات 14 اردیبهشت 1404 ساعت 11:44 میثم نوظهور زمان تقریبی مطالعه: 10 دقیقه

InfiniBand؛ ستون فقرات پردازش‌های سنگین و هوش مصنوعی

وقتی چند سرور GPU باید مثل یک ابرکامپیوتر واحد کار کنند، شبکه بین آن‌ها به اندازه خود GPUها اهمیت پیدا می‌کند. InfiniBand فناوری شبکه‌ای است که با پهنای باند بسیار بالا، تأخیر بسیار کم و قابلیت RDMA، سال‌هاست ستون فقرات ابرکامپیوترها و امروز کلاسترهای هوش مصنوعی است. در این مقاله توضیح می‌دهیم InfiniBand چیست، چه نسل‌هایی دارد، چه تفاوتی با Ethernet و RoCE دارد و چه زمانی برای سرورهای HPE و کلاستر هوش مصنوعی شما ارزش سرمایه‌گذاری دارد.

InfiniBand چیست؟

InfiniBand یک استاندارد شبکه پرسرعت است که از ابتدا برای ارتباط بین سرورها در محاسبات با کارایی بالا (HPC) طراحی شد. ویژگی‌های کلیدی آن عبارت‌اند از:

  • RDMA (دسترسی مستقیم به حافظه از راه دور): داده مستقیماً از حافظه یک سرور به حافظه سرور دیگر منتقل می‌شود، بدون درگیر کردن پردازنده و سیستم‌عامل؛ نتیجه، تأخیر بسیار کم و آزاد ماندن CPU است.
  • GPUDirect RDMA: انتقال داده مستقیم بین حافظه GPUهای سرورهای مختلف؛ حیاتی برای آموزش توزیع‌شده مدل‌های هوش مصنوعی.
  • شبکه بدون اتلاف (Lossless): کنترل جریان مبتنی بر اعتبار (Credit-based) از گم شدن بسته‌ها جلوگیری می‌کند.
  • محاسبات درون شبکه (SHARP): سوئیچ‌های NVIDIA Quantum بخشی از عملیات جمع‌آوری داده (مانند All-Reduce) را خودشان انجام می‌دهند و بار را از روی GPUها برمی‌دارند.
  • مدیریت متمرکز: یک Subnet Manager (مانند OpenSM یا NVIDIA UFM) کل شبکه را پیکربندی و مسیریابی می‌کند.

نسل‌های InfiniBand و سرعت‌ها

نسل سرعت هر پورت (4x) کارت شبکه نمونه سوئیچ نمونه
FDR ۵۶ گیگابیت ConnectX-3 SwitchX
EDR ۱۰۰ گیگابیت ConnectX-4 و ConnectX-5 Switch-IB
HDR ۲۰۰ گیگابیت ConnectX-6 NVIDIA Quantum
NDR ۴۰۰ گیگابیت ConnectX-7 NVIDIA Quantum-2
XDR ۸۰۰ گیگابیت ConnectX-8 SuperNIC NVIDIA Quantum-X800

در کلاسترهای امروزی هوش مصنوعی، NDR با کارت‌های ConnectX-7 رایج‌ترین انتخاب است و معمولاً برای هر GPU یک پورت ۴۰۰ گیگابیتی در نظر گرفته می‌شود. کارت‌های NDR از رابط PCIe Gen5 استفاده می‌کنند، بنابراین سرور میزبان باید از نسل‌های جدید مانند HPE نسل ۱۱ یا ۱۲ باشد تا پهنای باند کامل در دسترس قرار گیرد.

InfiniBand یا Ethernet (RoCE)؟

رقیب اصلی InfiniBand در دیتاسنترها، Ethernet پرسرعت با پروتکل RoCE (RDMA over Converged Ethernet) است. هر دو RDMA را ارائه می‌دهند، اما تفاوت‌های مهمی دارند:

معیار InfiniBand Ethernet با RoCE
تأخیر بسیار کم و قابل پیش‌بینی کم؛ وابسته به تنظیم دقیق شبکه
شبکه بدون اتلاف ذاتی در طراحی نیازمند PFC و ECN و تنظیمات دقیق
محاسبات درون شبکه SHARP در سوئیچ‌های Quantum محدود؛ در پلتفرم‌های خاص مانند Spectrum-X
سازگاری با شبکه موجود شبکه جداگانه با تجهیزات اختصاصی یکپارچه با زیرساخت Ethernet فعلی
مهارت موردنیاز تخصصی‌تر آشناتر برای تیم‌های شبکه
کاربرد ایدئال آموزش مدل‌های بزرگ و HPC استنتاج، ذخیره‌سازی و کلاسترهای ترکیبی

برای آشنایی با کارت‌های شبکه Ethernet سرور، مقاله‌های مقایسه جامع کارت‌های شبکه و راهنمای خرید کارت شبکه سرور را ببینید.

چه زمانی به InfiniBand نیاز دارید؟

  • آموزش توزیع‌شده مدل‌های بزرگ: وقتی آموزش یک مدل روی چند سرور GPU تقسیم می‌شود، هم‌گام‌سازی گرادیان‌ها حجم عظیمی ترافیک ایجاد می‌کند و شبکه کند، GPUهای گران‌قیمت را بیکار نگه می‌دارد.
  • شبیه‌سازی‌های علمی و مهندسی (HPC): CFD، شبیه‌سازی هوا و اقلیم، دینامیک مولکولی و تحلیل لرزه‌ای.
  • ذخیره‌سازی موازی پرسرعت: فایل‌سیستم‌هایی مانند Lustre و GPFS برای تغذیه داده به کلاستر GPU.

در مقابل، اگر فقط یک سرور GPU دارید یا کارتان استنتاج روی یک سرور است، InfiniBand لازم نیست و یک شبکه ۲۵ یا ۱۰۰ گیگابیت Ethernet کافی است. برای انتخاب GPU و سرور، مقایسه NVIDIA H200، H100 و B200 و سرور هوش مصنوعی برای اجرای LLM را بخوانید.

اجزای یک شبکه InfiniBand

  1. کارت شبکه (HCA): مانند ConnectX-7 در قالب PCIe یا OCP، با پورت‌های OSFP یا QSFP112.
  2. سوئیچ: مانند NVIDIA Quantum-2 با ۶۴ پورت ۴۰۰ گیگابیتی در ۳۲ کانکتور OSFP.
  3. کابل و ترنسیور: کابل مسی DAC برای فاصله‌های کوتاه داخل رک و فیبر نوری با ترنسیور برای فواصل بیشتر.
  4. Subnet Manager: نرم‌افزار مدیریت شبکه که روی سوئیچ یا سرور اجرا می‌شود.
  5. نرم‌افزار: درایورهای NVIDIA (DOCA/OFED)، کتابخانه NCCL برای ارتباط GPUها و MPI برای HPC.

InfiniBand در سرورهای HPE

HPE کارت‌های InfiniBand را با پارت‌نامبر اختصاصی خود برای سرورهای ProLiant و Cray عرضه می‌کند. در سرورهای GPU مانند HPE DL380a Gen11، اسلات‌های PCIe Gen5 امکان نصب کارت‌های NDR را در کنار GPUها فراهم می‌کنند. در طراحی، بهتر است هر کارت شبکه روی همان پردازنده یا سوئیچ PCIe قرار گیرد که GPUهای مرتبطش وصل هستند تا مسیر GPUDirect کوتاه‌تر شود. همچنین اسلات‌های OCP 3.0 سرورهای نسل ۱۱ و ۱۲ برای شبکه مدیریت و Ethernet مناسب‌اند؛ جزئیات را در کارت‌های شبکه OCP 3.0 در سرورهای نسل ۱۱ و ۱۲ ببینید.

طراحی ساده یک کلاستر کوچک

فرض کنید چهار سرور GPU هر کدام با چهار کارت دارید. یک طراحی رایج این است که برای هر GPU یک پورت NDR در نظر بگیرید (۱۶ پورت) و همه را به یک سوئیچ Quantum-2 وصل کنید؛ ظرفیت باقی‌مانده سوئیچ برای ذخیره‌سازی و توسعه آینده استفاده می‌شود. شبکه مدیریت (iLO) و شبکه کاربران هم به صورت جداگانه روی Ethernet پیاده می‌شوند. با بزرگ‌تر شدن کلاستر، معماری Fat-Tree با سوئیچ‌های Leaf و Spine به کار می‌رود.

هزینه کل مالکیت؛ فقط کارت و سوئیچ نیست

در برآورد هزینه InfiniBand، علاوه بر کارت شبکه و سوئیچ، هزینه کابل‌ها و ترنسیورهای نوری (که در سرعت ۴۰۰ گیگابیت سهم قابل توجهی دارند)، لایسنس نرم‌افزار مدیریت، فضای رک، برق و آموزش تیم را هم در نظر بگیرید. با این حال، در کلاسترهای آموزش مدل، افزایش بهره‌وری GPUها معمولاً این هزینه را جبران می‌کند؛ چون هر درصد بیکاری GPU به معنای هدر رفتن بخشی از گران‌ترین سرمایه زیرساخت است. پیشنهاد ما این است که طراحی شبکه را هم‌زمان با انتخاب سرور و GPU انجام دهید، نه بعد از خرید.

اشتباهات رایج در پیاده‌سازی InfiniBand

  • نصب کارت NDR در اسلات PCIe Gen4 یا x8: نیمی از پهنای باند از دست می‌رود.
  • کابل نامناسب: کابل DAC طولانی‌تر از حد مجاز یا ترنسیور ناسازگار باعث خطای لینک و افت سرعت می‌شود.
  • فراموش کردن Subnet Manager: بدون SM فعال، لینک‌ها بالا نمی‌آیند.
  • بی‌توجهی به سرمایش: کارت‌ها و ترنسیورهای ۴۰۰ گیگابیتی گرمای قابل توجهی تولید می‌کنند.
  • خرید زودهنگام: برای یک سرور منفرد، هزینه InfiniBand توجیه ندارد.

چک‌لیست تصمیم‌گیری

  1. آیا بیش از یک سرور GPU برای آموزش هم‌زمان یک مدل دارید؟
  2. سرورها PCIe Gen5 و اسلات کافی برای کارت شبکه دارند؟
  3. تیم شما توانایی مدیریت InfiniBand را دارد یا Ethernet با RoCE مناسب‌تر است؟
  4. فاصله سرورها و نوع کابل (مسی یا فیبر) مشخص است؟
  5. برنامه توسعه کلاستر در دو تا سه سال آینده روشن است؟

سوالات متداول

آیا InfiniBand جایگزین شبکه Ethernet سازمان می‌شود؟

خیر؛ InfiniBand معمولاً یک شبکه جداگانه برای ارتباط پرسرعت بین سرورهای محاسباتی است و شبکه کاربران، اینترنت و مدیریت همچنان روی Ethernet باقی می‌ماند.

آیا کارت‌های ConnectX هم InfiniBand و هم Ethernet را پشتیبانی می‌کنند؟

بسیاری از کارت‌های ConnectX از نوع VPI هستند و هر پورت را می‌توان روی حالت InfiniBand یا Ethernet تنظیم کرد؛ این موضوع را در مشخصات مدل دقیق بررسی کنید.

برای یک سرور با ۸ GPU هم InfiniBand لازم است؟

ارتباط بین GPUهای داخل یک سرور از طریق NVLink یا PCIe انجام می‌شود. InfiniBand وقتی لازم است که چند سرور بخواهند با هم روی یک کار مشترک کار کنند.

NDR یا HDR؛ کدام را بخرم؟

برای سرورهای جدید با GPUهای نسل Hopper و Blackwell، NDR انتخاب منطقی است. HDR برای کلاسترهای موجود یا بودجه محدود همچنان قابل استفاده است.

جمع‌بندی

InfiniBand برای کلاسترهای چندسروره هوش مصنوعی و HPC تقریباً یک ضرورت است و با RDMA، تأخیر کم و محاسبات درون شبکه، بیشترین بهره را از GPUهای گران‌قیمت می‌گیرد. اگر در حال طراحی کلاستر هوش مصنوعی هستید، سرورهای GPU، کارت‌های گرافیک سرور و مقاله خرید سرور هوش مصنوعی HPE نقطه شروع خوبی است. قیمت‌ها در فروشگاه ایران اینفرا روزانه به‌روز می‌شوند و تجهیزات تست‌شده و دارای گارانتی هستند؛ برای استعلام قیمت و مشاوره رایگان در طراحی شبکه و انتخاب سرور با کارشناسان ما تماس بگیرید.

تاکنون نظری ثبت نشده است.