Reka Bentuk Rangkaian Kluster AI: Tulang Belakang-Daun, RoCE & NIC

Reka bentuk rangkaian kluster AI ialah proses mensaiz NIC pelayan GPU, lebar jalur-daun, nisbah lebihan langganan, tetapan RoCE, optik dan pengkabelan supaya trafik latihan teragih kekal boleh diramal apabila skala kluster. Dapatkan salah satu daripada ini dan rangkaian - bukan GPU - menjadi hambatan.

Mengapa Rangkaian Kluster AI Berbeza

Dalam pusat data perusahaan tradisional, rangkaian mengendalikan gabungan trafik pengguna-selatan utara, akses storan, virtualisasi dan pengurusan. Trafik timur-barat wujud tetapi jarang menjadi muatan dominan. Dalam kelompok AI, keadaan berubah. Pelayan GPU menjalankan kecerunan pertukaran latihan teragih dan menyegerakkan parameter semasa setiap langkah kerja. Komunikasi ini adalah sebahagian daripada pengiraan, bukan kesan sampingan daripadanya.

Jika GPU $30,000 menghabiskan 30% masanya menunggu di rangkaian semasa semua-mengurangkan operasi, kluster secara berkesan membayar 30% daripada kapasiti pengiraannya untuk duduk melahu. Itulah sebab ekonomi rangkaian AI mendapat banyak perhatian.

Tiga ciri beban kerja mendorong reka bentuk:

• Trafik timur-barat yang meledak.Operasi komunikasi kolektif seperti semua-kurangkan, semua-kumpul dan kurangkan-serakan menghasilkan letusan disegerakkan merentas banyak nod secara serentak.
• Kepekaan kependaman-ekor.Satu nod perlahan melambatkan keseluruhan langkah latihan. Kependaman yang boleh diramalkan lebih penting daripada kependaman purata.
• Skalakan-pertumbuhan.Kluster yang bermula pada 32 GPU selalunya meningkat kepada 256 atau 1,024 dalam tempoh 18 bulan. Kain mesti berskala tanpa reka bentuk semula.

Mengapa Tulang Belakang-Daun Sesuai dengan Kelompok AI

Spine-daun ialah fabrik standard untuk pusat data hiperskala kerana ia memberikan setiap pelayan-ke-laluan pelayan kiraan hop yang sama dan lebar jalur teori yang sama. Untuk beban kerja AI, keseragaman ini secara langsung diterjemahkan kepada masa langkah latihan yang lebih boleh diramal.

Dalam topologi daun-tulang belakang, pelayan GPU bersambung ke suis daun dan setiap daun bersambung ke setiap tulang belakang. Sebarang komunikasi GPU-ke-GPU melintasi tepat satu daun, satu tulang belakang dan satu lagi daun. Tiada lapisan pengagregatan yang memperkenalkan kependaman boleh ubah atau titik tercekik.

Latensi Boleh Diramal

Aliran penghalaan-berbilang kos-sama (ECMP) merentasi suis tulang belakang. Apabila dikonfigurasikan dengan betul dengan penghalaan suai atau pengimbangan beban dinamik, ini menghalang perlanggaran cincang yang menyebabkan beberapa aliran menjadi jauh lebih perlahan daripada yang lain - masalah yang diketahui dalam fabrik ECMP statik yang membawa sedikit aliran tetapi besar, iaitu apa yang dijana oleh latihan AI.

Lebar Jalur Dua Bahagian Tinggi

Jalur lebar pembahagian ialah daya pintas yang tersedia antara mana-mana dua bahagian yang sama gugusan. Latihan AI mendapat manfaat daripada reka bentuk bukan-menyekat atau hampir-tidak{3}}yang mana daun-ke-kapasiti pautan atas tulang belakang sama atau hampir sama dengan kapasiti pautan bawah yang menghadap pelayan. IETF mentakrifkan dan membincangkan konsep ini dalamRFC 7938, yang meliputi BGP-fabrik Clos yang dihalakan secara meluas dalam-pusat data berskala besar.

Skala Lebih Mudah-Keluar

Tambahkan lebih banyak daun untuk menambah lebih banyak pelayan. Tambahkan lebih banyak duri untuk menambah lebih lebar jalur pembahagian dua. Untuk kluster melebihi beberapa ribu GPU, super-tulang belakang (5-tahap Clos) atau topologi dioptimumkan rel memanjangkan prinsip yang sama satu lapisan lagi.

Komponen Teras Rangkaian Kluster AI

Pelayan GPU dan NIC

NIC ialah tempat fabrik bertemu tuan rumah. Dalam kelompok AI, pemilihan NIC memacu segala-galanya - hiliran kelajuan port suis, pilihan optik dan ketumpatan kabel.

Kriteria pemilihan untuk beban kerja AI:

• Kelajuan pelabuhan:200G, 400G atau 800G setiap port. Padankan dengan penjanaan GPU dan lebar jalur PCIe.
• Penjanaan PCIe:NIC 400G memerlukan PCIe Gen5 x16 untuk mengelakkan-pendikitan sisi hos. Had PCIe Gen4 x16 pada ~256 Gbps boleh digunakan.
• Sokongan RDMA dan RoCEv2:Diperlukan untuk kernel-memintas pustaka komunikasi GPU seperti NCCL.
• GPUDirect RDMA:Membenarkan GPU terus-ke-NIC DMA, mengalih keluar salinan memori hos.
• Keupayaan berbilang-rel:Banyak pelayan AI menggunakan 4 atau 8 NIC bagi setiap nod, satu bagi setiap pasangan GPU, untuk-topologi yang dioptimumkan rel.

Pelayan 8-GPU biasa hari ini menggunakan sama ada 4× 400G NIC (satu setiap dua GPU) atau 8× 400G NIC (satu setiap GPU) bergantung pada beban kerja dan belanjawan. Rujukan seni bina daripadaDokumentasi NVIDIA Networkingmeliputi pertukaran reka bentuk secara terperinci.

Suis Daun dan Tulang Belakang

Kriteria pemilihan suis untuk fabrik AI berbeza daripada pemilihan perusahaan. Saiz penimbal, tingkah laku kawalan kesesakan dan telemetri lebih penting daripada keluasan ciri.

• Setiap-kelajuan port dan radix:Suis 51.2 Tbps ASIC menyampaikan port 64× 800G atau port 128× 400G. Radix menentukan seberapa rata kain itu.
• Seni bina penampan:Penampan dalam menyerap letupan incast tetapi menambah kependaman. Penampan cetek mengurangkan kependaman tetapi memerlukan kawalan kesesakan yang tepat.
• Set ciri RoCE:Penandaan ECN, PFC, DCQCN atau kawalan kesesakan yang setara, dan pengendalian baris gilir keutamaan yang betul dari hujung-ke-akhir.
• Telemetri:Telemetri rangkaian dalam (INT), setiap-pelaporan kedalaman baris gilir dan pembilang resolusi mikrosaat-untuk tanda ECN dan jeda PFC.

Optik, Kabel DAC dan AOC

Pada 400G dan 800G, loji kabel menjadi masalah kejuruteraan sebenar. Faktor bentuk, belanjawan pautan dan konfigurasi pecahan semuanya memerlukan perancangan awal.

• DAC (Tembaga Pasang Terus):Sehingga ~3 meter untuk 400G, kos terendah dan kuasa terendah. Berat dan besar pada skala.
• AOC (Kabel Optik Aktif):Sehingga ~30 meter, lebih nipis daripada DAC, tetapi tetap-panjang dan menggunakan kuasa optik pada kedua-dua hujungnya.
• Optik boleh pasang:Diperlukan melebihi jarak AOC. Faktor bentuk QSFP-DD dan OSFP menguasai 400G/800G. Pemasangan gentian MPO/MTP mengendalikan-sambungan gentian selari.

Untuk pautan antara-rak dan kabel berstruktur pada 400G/800G, optik selari pada penamatan MPO kini menjadi standard. Pilihan antara kabel batang dan pemasangan pecah bergantung pada peruntukan port suis anda - lihat kamiPanduan kabel pecah MPOuntuk logik pemilihan praktikal, dan lebih luasPerbandingan batang MPO vs pelarianapabila merancang daun-untuk-larian tulang belakang.

RoCE dan Lossless Ethernet dalam Fabrik AI

RoCEv2 (RDMA over Converged Ethernet v2) ialah pengangkutan Ethernet yang dominan untuk beban kerja AI. Ia membolehkan NIC memindahkan data terus antara kawasan memori GPU tanpa penglibatan kernel pada kedua-dua hujung. NCCL, perpustakaan komunikasi GPU yang mendasari hampir semua rangka kerja latihan yang diedarkan, menggunakan RoCEv2 apabila InfiniBand tidak tersedia.

RoCE berfungsi dengan baik apabila dikonfigurasikan dengan betul. Ia gagal hodoh apabila dikonfigurasikan secara tidak betul. ThePersatuan Perdagangan InfiniBandmenerbitkan spesifikasi RoCE, dan kebanyakan vendor NIC dan suis menerbitkan panduan konfigurasi terperinci yang harus diikuti dari hujung-ke-akhir.

Mengapa Tingkah Laku Tanpa Rugi Penting

RDMA direka bentuk dengan mengandaikan pengangkutan tanpa kerugian. Apabila paket jatuh, pemulihan RDMA adalah mahal - go-back-N penghantaran semula boleh menghentikan langkah latihan untuk milisaat, yang sangat besar berbanding dengan belanjawan RDMA skala mikrosaat-.

Untuk menganggarkan gelagat tanpa kerugian pada Ethernet, fabrik menggunakan dua mekanisme yang berfungsi bersama:

• PFC (Kawalan Aliran Keutamaan, IEEE 802.1Qbb):Suis menjeda trafik masuk pada baris gilir keutamaan tertentu apabila penimbalnya terisi. Ini ialah mekanisme pilihan-terakhir.
• ECN (Pemberitahuan Kesesakan Eksplisit, RFC 3168):Suis menandakan paket apabila baris gilir menghampiri ambang. NIC mengurangkan kadar penghantarannya sebelum penimbal benar-benar mengisi, idealnya mengelakkan PFC sepenuhnya.

Matlamatnya adalah untuk ECN melakukan hampir semua pengurusan kesesakan, dengan PFC sebagai jaring keselamatan. Jika anda melihat PFC yang kerap dijeda dalam keadaan trafik-mantap, ambang ECN anda salah atau fabrik anda bersaiz kecil.

Kegagalan Penggunaan RoCE Biasa

Cara Merekabentuk Rangkaian Kluster AI: Rangka Kerja

Ini ialah bahagian yang paling banyak dilangkau oleh artikel "rangkaian AI". Tujuh langkah di bawah memberi anda input dan output konkrit pada setiap peringkat.

Langkah 1: Tentukan Beban Kerja dan Skala

Input:Jenis beban kerja (pralatihan, -penalaan halus, inferens, bercampur), kiraan GPU sasaran hari ini, kiraan GPU sasaran dalam 18 bulan, julat saiz model.

Output:Profil beban kerja yang memaklumkan kelajuan NIC dan toleransi terlebih langganan. Pralatihan besar model sempadan menuntut fabrik 400G+ tanpa-menyekat. Beban kerja-penalaan halus boleh bertolak ansur dengan lebihan langganan 2:1. Kelompok inferens selalunya memerlukan lebar jalur yang lebih rendah tetapi kependaman ekor yang lebih rendah.

Langkah 2: Pilih Kelajuan dan Kiraan NIC bagi setiap Pelayan

Logik keputusan:

• Pralatihan model besar, pelayan 8-GPU → 4–8× 400G NIC setiap pelayan, atau 4× 800G
• Latihan-pertengahan, pelayan 8-GPU → 2–4× 400G NIC bagi setiap pelayan
• Penyajian inferens → 1–2× 200G atau 400G NIC bagi setiap pelayan, bergantung pada keselarian model

Sahkan lebar jalur PCIe pada hos. Satu port 400G memerlukan PCIe Gen5 x16 untuk dijalankan pada kadar talian; menggandakan kepada 800G memerlukan Gen6 atau membelah dua slot.

Langkah 3: Saiz Lapisan Daun

Contoh - 32-kluster nod, 8 GPU setiap nod, 4× 400G NIC setiap nod:

• Jumlah pelayan-menghadapi port yang diperlukan: 32 × 4=128 port pada 400G
• Jalur lebar pautan bawah setiap nod: 4 × 400=1.6 Tbps
• Jumlah lebar jalur pautan bawah kelompok: 32 × 1.6=51.2 Tbps

Menggunakan suis daun 400G 64-port (jumlah kapasiti 25.6 Tbps), setiap daun boleh menyambungkan 32 port pelayan dan menggunakan baki 32 port sebagai pautan atas. Dengan 4 daun, anda meliputi semua 128 port pelayan. Setiap daun menyumbang 32 × 400G=12.8 Tbps pautan atas ke arah tulang belakang.

Langkah 4: Saiz Lapisan Tulang Belakang

Untuk reka bentuk yang tidak-menyekat (1:1), jumlah kapasiti pautan atas mestilah sama dengan jumlah kapasiti pautan bawah. Dari Langkah 3:

• Jumlah pautan naik daun diperlukan: 4 daun × 12.8 Tbps=51.2 Tbps
• Jika setiap tulang belakang mempunyai port 32× 400G=12.8 Tbps, anda memerlukan 4 duri
• Setiap daun bersambung ke semua 4 duri menggunakan 8 pautan atas setiap tulang belakang (8 × 400G × 4=12.8 Tbps setiap daun - padanan)

Jika menggunakan suis tulang belakang 400G 64-port, setiap tulang belakang mempunyai kapasiti ganti untuk mengembangkan kelompok, berguna untuk pelan 18 bulan dari Langkah 1.

Langkah 5: Tetapkan Nisbah Terlebih Langganan

Langkah 6: Asingkan Pengiraan, Penyimpanan dan Trafik Pengurusan

Tiga pilihan, dalam urutan meningkatkan pengasingan:

• Fabrik yang dikongsi dengan kelas QoS:Pengiraan, penyimpanan dan pengurusan pada keutamaan DSCP yang berasingan. Kos terendah; memerlukan konfigurasi QoS yang teliti.
• VLAN/VRF yang dipisahkan secara logik:Perkakasan yang sama, pesawat kawalan berasingan. Berguna untuk berbilang-kelompok penyewa.
• Kain berasingan secara fizikal:NIC, suis dan kabel khusus untuk pengiraan berbanding storan. Kos tertinggi; biasa dalam kluster model-sempadan di mana sebarang perbalahan tidak boleh diterima.

Trafik storan untuk AI sendiri adalah berat - tulis pusat untuk model besar boleh menggerakkan ratusan gigabait dalam letusan pendek. Rancang untuk itu secara eksplisit. Loji kabel berstruktur berketumpatan tinggi-menggunakanKabel batang MPO/MTPmemudahkan menjalankan fabrik selari dalam infrastruktur fizikal yang sama.

Langkah 7: Sahkan Sebelum Pengeluaran

Ujian peringkat rangkaian-menangkap beberapa masalah. Beban kerja-ujian tahap menangkap selebihnya.

• Lebar jalur:iperf3 atau ib_send_bw antara setiap pasangan nod; harus mencapai 90%+ daripada kadar talian NIC.
• Latensi:ib_read_lat atau serupa; semak pengedaran, bukan hanya purata. P99.9 lebih penting daripada min.
• Kehilangan paket:Jalankan ujian rendam 24-jam di bawah beban; sebarang kerugian bukan sifar dalam kelas trafik RoCE adalah masalah.
• Tingkah laku penandaan ECN:Sahkan tanda muncul sebelum PFC terbakar; jika jeda PFC adalah kerap dalam keadaan mantap, tala semula.
• Komunikasi kolektif:Jalankan ujian NCCL (all_reduce_perf, all_gather_perf) pada saiz gugusan penuh. Bandingkan dengan nombor rujukan vendor.
• Ujian tahap-kerja:Jalankan kerja latihan perwakilan selama 4–6 jam. Tonton penggunaan GPU - nilai berterusan di bawah 50% pada model bersaiz-betul biasanya menunjukkan masalah rangkaian.

Rangkaian Pusat Data Tradisional lwn AI Spine-Fabrik Daun

Ethernet RoCE lwn InfiniBand: Panduan Keputusan Pantas

Persoalannya timbul dalam hampir setiap projek kluster AI. Kedua-duanya bekerja. Pilihan biasanya datang kepada kesesuaian operasi, bukan prestasi tulen.

• Pilih InfiniBand jika:Pasukan anda sudah pun mengendalikan fabrik InfiniBand, anda mahukan laluan paling mudah kepada pengangkutan tanpa kerugian atau anda membeli-seni bina rujukan vendor bersepadu sepenuhnya.
• Pilih Ethernet RoCE jika:Pasukan operasi anda ialah Ethernet-asli, anda mahukan berbilang-pilihan suis vendor, anda perlu menyepadukan fabrik AI dengan rangkaian pusat data sedia ada atau anda menjangkakan penskalaan melebihi apa yang disokong oleh topologi InfiniBand semasa dengan bersih.

Konsortium Ultra Ethernet, yang dibentuk pada 2023, sedang giat mengusahakan penyeragaman peningkatan Ethernet khusus untuk beban kerja AI. Untuk kebanyakan kluster baharu pada tahun 2026, Ethernet RoCE ialah lalai yang boleh dipertahankan melainkan terdapat sebab khusus untuk memilih sebaliknya.

Kesilapan Biasa yang Perlu Dielakkan

Menaik taraf Suis Tanpa Memeriksa NIC

Fabrik suis 800G tidak berguna untuk anda jika NIC anda berjalan pada 400G atau PCIe hos anda kehabisan lebar jalur. Reka bentuk bahagian hos dahulu, kemudian bahagian suis. PCIe Gen5 x16 mengehadkan satu port kepada kira-kira 504 Gbps-proses dunia sebenar - selesa untuk 400G, marginal untuk 800G.

Mengoptimumkan Kelajuan Pelabuhan tetapi Mengabaikan Ketumpatan Kabel

Pada 64-port 400G meninggalkan, kabel di bawah setiap suis boleh menjadi tidak terurus secara fizikal tanpa perancangan. Gunakan kabel pemecah jika sesuai, laluan gentian melalui laluan berstruktur dan piawai pada jenis penyambung. Kualiti penyambung dan penamatan penting pada kelajuan tinggi - kamipanduan jenis penyambung gentian optikmeliputi pertukaran antara LC, MPO dan faktor bentuk-ketumpatan tinggi yang muncul.

Menganggap RoCE sebagai Palam-dan-Main

Kesilapan reka bentuk terbesar dalam gugusan AI sebenar ialah tidak memilih suis yang salah - ia memandang rendah berapa banyak-hingga-kerja konfigurasi RoCE yang diperlukan. Masa belanjawan untuk menala ambang ECN, keutamaan PFC dan konsistensi MTU. Rancang fasa pengesahan khusus sebelum sebarang beban kerja pengeluaran dijalankan.

Mencampurkan Semua Trafik pada Satu Fabrik Tanpa QoS

Replikasi storan, ejen pemantauan dan trafik pengurusan boleh merosakkan masa langkah latihan jika mereka berkongsi penimbal dengan trafik pengiraan. Sama ada memisahkannya secara fizikal atau menguatkuasakan kelas QoS yang ketat dengan keutamaan dan konfigurasi ECN yang berasingan.

Bangunan untuk Kluster Hari Ini Sahaja

Kebanyakan kelompok AI berkembang 4–8× dalam masa dua tahun penggunaan awal. Pilih radix suis dan kapasiti tulang belakang yang membenarkan pengembangan tidak-mengganggu. Menarik kabel dalam pusat data AI langsung adalah mahal; perancangan saluran dan kapasiti tampalan pada masa penggunaan adalah murah.

Bila Perlu Naik Dari 400G ke 800G

NIC dan suis 800G tersedia tetapi lebih mahal bagi setiap port. Pertimbangkan untuk meningkatkan apabila:

• Setiap-Keperluan lebar jalur GPU melebihi apa yang 400G boleh sediakan - contohnya, H100 dan GPU yang lebih baharu dengan NVLink 5 menjangkakan lebar jalur luaran yang lebih tinggi
• NCCL semua-mengurangkan skala masa dengan teruk dengan saiz kelompok, menunjukkan ketepuan rangkaian
• Ketumpatan kabel pada 400G menjadi tidak terurus secara fizikal - lebih sedikit port 800G boleh menggantikan lebih banyak port 400G
• Generasi GPU seterusnya dalam peta jalan anda dijangka memerlukannya dalam tetingkap susut nilai kluster
• Anda sedang membina kluster latihan-model sempadan di mana mana-mana masa terbiar pengiraan kos jauh lebih tinggi daripada peningkatan optik

Bagi kebanyakan kluster pengeluaran pada tahun 2026, 400G kekal sebagai keseimbangan yang tepat bagi kos, kematangan ekosistem dan keupayaan. 800G masuk akal di peringkat atasan dan sebagai pelaburan hadapan untuk kluster yang dibina hari ini dan dijangka berjalan selama 4–5 tahun.

Kesimpulan

Rangkaian kluster AI yang paling kuat bukanlah yang mempunyai suis terpantas. Ia adalah pilihan NIC, saiz daun/tulang belakang, terlebih langganan, konfigurasi RoCE, pengasingan trafik dan kabel fizikal semuanya menyokong satu sama lain dan beban kerja yang dipilih.

Mulakan daripada beban kerja dan pelan pertumbuhan 18-bulan. Kira keperluan lebar jalur pada setiap lapisan menggunakan nombor nyata, bukan hanya peraturan biasa. Konfigurasikan RoCE hujung-hingga-dan sahkan dengan penanda aras komunikasi kolektif sebenar. Belanjawan untuk loji kabel - pada 400G dan 800G, lapisan fizikal tidak lagi remeh.

Kelompok yang memastikan GPUnya sibuk pada penggunaan 95%+ melalui setiap langkah latihan ialah kumpulan yang memberi perhatian kepada semua lapisan ini. Kelompok yang dihantar dengan suis yang lebih pantas dan fabrik yang lebih perlahan akan menghabiskan masa bertahun-tahun untuk menerangkan sebab GPU melahu.

Bacaan Selanjutnya

• RFC 7938 - BGP dalam-Pusat Data Skala Besar
• Persatuan Perdagangan InfiniBand - spesifikasi RoCE
• Dokumentasi Rangkaian NVIDIA
• Panduan Pemasangan Kabel Gentian Optik
• Kehilangan Sisipan vs Kehilangan Pulangan Diterangkan