pilihInfiniBandapabila beban kerja inferens anda hidup atau mati oleh kependaman ekor yang boleh diramal, dan pilihRoCE(RDMA over Converged Ethernet) apabila anda mahukan prestasi kelas RDMA-pada fabrik Ethernet, anda boleh skala, kongsi dan kendalikan dengan pasukan yang telah anda miliki. Tiada pilihan yang menang di mana-mana. Panggilan yang betul bergantung pada corak inferens anda, sasaran kependaman p99 dan p999 anda, skala GPU, belanjawan dan berapa banyak kepakaran penalaan Ethernet tanpa kerugian sebenarnya terdapat dalam pasukan anda.
Mengapa Rangkaian Lebih Penting Daripada Jangkaan Pasukan Inferens
Selama bertahun-tahun, inferens dianggap sebagai separuh mudah cerita GPU: model dimuatkan pada satu nod, permintaan disampaikan secara bebas, trafik timur-barat yang sangat sedikit. Gambar itu kini sudah lapuk. Inferens moden semakin diedarkan, dan beberapa corak memberi tekanan sebenar pada fabrik.
- Keselarian tensormembahagikan satu lapisan merentas GPU, jadi setiap langkah token mencetuskan semua-mengurangkan atau semua-operasi pengumpulan antara mereka. Itu kerap, kependaman-sensitif, silang-trafik GPU yang disekat oleh GPU semasa menunggu.
- Keselarian saluran paippengaktifan tangan dari satu peringkat ke peringkat seterusnya, selalunya merentasi nod, menambahkan-bergantungan nod silang pada setiap hantaran hadapan.
- Praisi dan nyahkod diasingkanmemisahkan -fasa praisi berat daripada fasa penyahkodan sensitif-kependaman, kemudian mengalihkan cache KV di antara mereka. Pemindahan tersebut adalah besar dan meledak, dan sebarang kelewatan muncul secara langsung sebagai masa yang lebih perlahan-ke-kependaman token-pertama dan antara-token.
- Pengambilan semula-generasi tambahan (RAG)menambah trafik timur-barat kepada perkhidmatan vektor dan carian. Ia biasanya kurang kependaman-kritikal berbanding operasi kolektif, tetapi ia masih memuatkan fabrik, terutamanya pada volum pertanyaan yang tinggi.
- Servis berbilang-penyewameletakkan banyak model dan pengguna pada fabrik yang sama, di mana letupan mikro dan -kesan jiran yang bising menjadi risiko yang dominan.
Apabila rangkaian menjadi kesesakan, simptomnya adalah mahal: masa yang lebih tinggi-ke{1}}token-yang pertama, GPU terhenti semasa mereka menunggu data, daya pemprosesan yang runtuh akibat pecah dan p95 dan p99 yang tidak stabil. Dan inilah bahagian yang membuat penanda aras: kependaman purata menyembunyikan kesemuanya. Inferens pengeluaran dinilai pada ekor, bukan min.
InfiniBand lwn RoCE: Jadual Ringkasan untuk Inferens AI
| Faktor | InfiniBand | RoCE (RoCEv2) |
|---|---|---|
| Jenis kain | Tujuan-fabrik HPC/AI tanpa kerugian | RDMA dibawa ke atas Ethernet yang boleh dihalakan |
| Terbaik di | Latensi-kluster yang diganding rapat | Kos-cekap, Ethernet-asli, skala fleksibel |
| Latensi di bawah beban | Rendah dan deterministik mengikut reka bentuk | Rendah, tetapi bergantung pada penalaan fabrik |
| Latensi ekor (p99/p999) | Konsisten walaupun di bawah kolektif berat | Kuat apabila direka dan dipantau dengan baik |
| Kelakuan tak rugi | Asli, fabrik-aras | Memerlukan konfigurasi-Ethernet lossless |
| Kos biasa | Fabrik hadapan yang lebih tinggi dan berdedikasi | Turunkan jika Ethernet sedia ada boleh digunakan semula |
| Ekosistem | Lebih pekat | Ekosistem Ethernet yang luas |
| Set kemahiran operasi | Pengurusan fabrik InfiniBand | Kepakaran penalaan Ethernet ditambah lossless (DCB). |
| Model penskalaan | Fabrik berpusat, dikawal ketat | Awan-gaya, boleh dihalakan, berbilang-penyewa |
| Kesesuaian inferens paling kuat | Masa nyata, SLA yang ketat,-berbilang nod | Batch, RAG, GPUaaS, penskalaan kos-sensitif |
Apakah InfiniBand?
InfiniBand ialah fabrik rangkaian-yang dibina khas yang direka dari awal untuk kependaman rendah, daya pemprosesan tinggi dan komunikasi tanpa kerugian. Ia bukan rasa Ethernet yang lebih pantas. Ia disertakan dengan penyesuai saluran hosnya sendiri, suis, pengurus subnet, ekosistem kabel dan model kawalan-kesesakan. Nilai penentunya ialah gelagat deterministik: banyak GPU boleh berkomunikasi dengan keperluan pemasaan yang ketat, dan fabriknya terus berkelakuan secara konsisten walaupun ketika trafik kolektif padat.
Platform InfiniBand berorientasikan AI-moden memanjangkan pangkalan itu dengan keupayaan yang ditujukan tepat pada gugusan GPU yang besar. Barisan Quantum InfiniBand NVIDIA, sebagai contoh, menambahpenghalaan penyesuaian, dalam-pengkomputeran rangkaian dan kawalan kesesakan berasaskan telemetri-, yang membantu fabrik menyebarkan trafik dengan bijak dan mengasingkan beban penyewa daripada beban penyewa yang lain. Untuk inferens, InfiniBand mendapat tempatnya apabila beban kerja tidak dapat bertolak ansur dengan kegelisahan atau apabila beberapa nod GPU mesti bertukar data dengan cepat dan konsisten.
Pertukaran-adalah kos, kepekatan ekosistem dan pengkhususan operasi. Fabrik InfiniBand yang berdedikasi bermakna suis, penyesuai, kabel atau modul optik khusus dan jurutera yang selesa dengan pengurusan fabrik InfiniBand. Untuk organisasi yang sudah menjalankan estet Ethernet yang besar, bolting pada fabrik berasingan menambahkan kerumitan perolehan, perancangan-alat ganti dan overhed pemantauan.
Apakah RoCE (RDMA over Converged Ethernet)?
RoCE membawa RDMA, menghalakan memori-ke-pergerakan data memori dengan overhed CPU rendah, ke rangkaian Ethernet. RoCEv2, versi yang digunakan dalam pusat data moden, boleh dialihkan merentasi rangkaian IP Lapisan 3 dan diseragamkan olehPersatuan Perdagangan InfiniBand. Kebolehhalaan itulah yang membolehkan RoCE dimuatkan secara semula jadi ke dalam reka bentuk tulang belakang-daun Ethernet sambil menggunakan semula NIC, suis, optik dan alat pemantauan yang biasa.
Tangkapannya ialah pengangkutan RDMA menganggap rangkaian hampir-tanpa kerugian. Lepaskan satu paket dan pengangkutan kembali kepada tingkah laku penghantaran semula yang merosakkan kependaman ekor. Jadi RoCE memerlukan Ethernet di bawahnya untuk berkelakuan seperti fabrik tanpa kerugian, dan itu bergantung pada konfigurasi teliti dua mekanisme khususnya:Kawalan Aliran Keutamaan (IEEE 802.1Qbb), yang menjeda satu kelas trafik untuk mengelakkan kejatuhan, danPemberitahuan Kesesakan Eksplisit (ECN), yang menandakan kesesakan awal supaya penghantar perlahan sebelum penimbal melimpah. Tambahkan pada pengurusan baris gilir, peruntukan penimbal dan pemetaan QoS, dan menjadi jelas bahawa-RoCE berprestasi tinggi bukanlah Ethernet biasa.
Selesai dengan baik, RoCE menyampaikan kependaman dan daya pemprosesan yang mencukupi untuk pelbagai perkhidmatan inferens pengeluaran, dan banyak beban kerja inferens kurang disegerakkan dengan ketat berbanding latihan yang diedarkan, yang memihak kepada RoCE. Selesai dengan buruk, ia menghasilkan kehilangan paket, kepala-sekatan-talian, penyebaran kesesakan dan ekor yang tidak stabil, yang kesemuanya diterjemahkan terus kepada kualiti perkhidmatan yang merosot.
InfiniBand lwn RoCE Latency: Mana Yang Lebih Baik untuk Inferens p99?
Kedua-dua fabrik boleh menyampaikan rangkaian -lebar jalur tinggi,{1}}rendah. Mereka berbeza dalam cara mereka sampai ke sana. InfiniBand adalah deterministik dengan pembinaan, jadi jitter kekal rendah walaupun di bawah beban bercampur. RoCE boleh memadankannya untuk banyak beban kerja, tetapi hasilnya bergantung pada fabrik Ethernet dan sejauh mana ia ditala.
Dari perspektif penggunaan, masalah sebenar dalam pengeluaran adalah jarang jalur lebar puncak. Ia gelisah di bawah trafik penyewa bercampur, pecah,-berbilang. Fabrik RoCE yang mendapat ujian daya pemprosesan gaya iperf-yang bersih masih boleh terlepas sasaran p99nya semasa letusan mikro dan perbalahan memasuki gambar. Jurang antara penanda aras makmal dan SLA pengeluaran adalah tempat kebanyakan kejutan berlaku.
InfiniBand cenderung mempunyai kelebihan apabila:
- Perkhidmatan ini mempunyai sasaran kependaman p99 atau p999 yang ketat.
- Inferens merangkumi berbilang nod GPU dengan selari tensor atau saluran paip, atau menggunakan praisi dan penyahkod yang diasingkan.
- Penggunaan GPU sangat sensitif terhadap kelewatan rangkaian, jadi gerai adalah mahal.
- Kluster menjalankan sebilangan kecil beban kerja-keutamaan tinggi di mana kebolehramalan mengatasi fleksibiliti.
RoCE biasanya cukup baik apabila:
- Permintaan kebanyakannya bebas, atau gandingan longgar.
- Kerja berjalan dalam nod atau sebilangan kecil nod.
- Daya tampung kelompok lebih penting daripada kependaman ultra-ekor rendah.
- Pasukan itu sudah mengendalikan Ethernet, dan kos atau fleksibiliti vendor adalah keutamaan.
- Kelompok ini menyokong berbilang penyewa atau beban kerja bercampur.
Kos RoCE lwn InfiniBand: Apa Sebenarnya Memacu TCO?
RoCE sering dipanggil pilihan yang lebih murah, tetapi harga suis adalah sebahagian kecil daripada gambar. Perbandingan realistik melihat keseluruhan timbunan: penyesuai rangkaian atau HCA, suis, modul optik, DAC, AOC, dan kabel gentian, topologi rak, kuasa dan penyejukan, sistem pengendalian rangkaian, pemantauan dan telemetri, masa kejuruteraan, alat ganti, sokongan vendor dan laluan ke 400G atau 800G.
InfiniBand biasanya membawa kos pendahuluan yang lebih tinggi kerana ia memerlukan fabrik khusus dan komponen khusus. Dalam persekitaran yang tingkah laku deterministik menjadi keutamaan, ia boleh mengurangkan usaha penalaan dan penyelesaian masalah yang diperlukan oleh fabrik Ethernet tanpa kerugian. RoCE mengurangkan kos perkakasan apabila estet Ethernet sedia ada, dengan sokongan Bridging Pusat Data yang betul, boleh digunakan semula, tetapi ia mengubah usaha ke dalam mereka bentuk, mengesahkan, memantau dan menyelesaikan masalah fabrik tanpa kerugian. Reka bentuk RoCE kos-rendah menjadi mahal dengan cepat jika ia menyebabkan kependaman tidak stabil dan memadam kebakaran berulang.
Kos dan risiko tertumpu pada lapisan fizikal apabila kelajuan meningkat. Pada 400G dan 800G, optik menguasai kedua-dua bil dan mod kegagalan. Kebanyakan-pelabuhan berkelajuan tinggi mendaratQSFP-DD atau faktor bentuk yang setanding, dan memadankan yang betuloptik mod-tunggal atau berbilang modkepada capaian sebenar anda ialah salah satu cara paling mudah untuk mengelakkan perbelanjaan berlebihan pada fabrik yang tidak memerlukan-modul jarak jauh.
Terus terang: RoCE bukanlah pilihan yang lebih murah jika pasukan anda tidak mempunyai kepakaran-Ethernet tanpa kerugian. Penjimatan pada perkakasan boleh dimakan dengan cepat oleh kos kejuruteraan untuk memastikan fabrik stabil.
Kebolehskalaan dan Operasi
Kebolehskalaan adalah lebih daripada kiraan port. Ia termasuk betapa mudahnya fabrik itu digunakan, dipantau, dikembangkan dan dipulihkan apabila sesuatu gagal.
InfiniBand kukuh apabila kluster direka bentuk sebagai fabrik-berprestasi tinggi khusus sejak hari pertama. Ia memberikan gelagat yang konsisten pada skala, tetapi ia mengharapkan InfiniBand-alatan khusus, seperti pengurus subnet dan pengurusan fabrik bersatu serta kakitangan yang selesa dengan konsep InfiniBand. Itu menjadikannya sesuai semula jadi untuk kluster AI terpusat yang dibina di sekitar beban kerja GPU.
Slot RoCE ke dalam reka bentuk pusat data Ethernet: topologi -daun, penghalaan IP, ECMP dan amalan pemantauan biasa. Itulah sebabnya ia menarik kepada infrastruktur GPU-awan dan berbilang-penyewa. Disiplin yang dituntut adalah konsisten. PFC, ECN, QoS, pengurusan penimbal dan kawalan kesesakan perlu direka bentuk secara koheren di seluruh laluan, kerana salah konfigurasi kecil di satu sudut fabrik boleh merebak dan merendahkan banyak beban kerja sekaligus. Lapisan fizikal juga perlu berskala bersih; tinggi-ketumpatanMPO dan MTP trunk dan kabel breakoutmemastikan fabrik tulang belakang-daun yang semakin meningkat terurus daripada mengubah setiap pengembangan menjadi teka-teki kabel.
Titik imej-cermin patut dinyatakan: InfiniBand sukar untuk dijustifikasikan apabila inferens kebanyakannya kekal dalam satu nod dan fabrik hampir tidak digunakan.
Rangkaian Mana untuk Setiap Beban Kerja Inferens
| Beban kerja | Tekanan rangkaian | Titik permulaan yang lebih baik | kenapa |
|---|---|---|---|
| Sembang atau pembantu LLM masa-sebenar, QPS tinggi | Ekor tinggi-kepekaan kependaman, kolektif-GPU silang | InfiniBand, atau RoCE yang ditala dengan teliti | p99/p999 determinisme melindungi masa-untuk-pertama-token dan antara-latensi token |
| Pembenaman kelompok atau inferens luar talian | Berorientasikan throughput-, latensi-toleran | RoCE | Penskalaan kos-yang cekap, jitter bukanlah kekangannya |
| Perkhidmatan mendapatkan semula RAG | Timur-barat ke vektor dan cari, sederhana | RoCE | Fleksibiliti Ethernet, pengambilan jarang memerlukan penentuan InfiniBand |
| GPUaaS berbilang{0}}penyewa | Bercampur, pecah, bising-jiran | RoCE atau hibrid | Ethernet berbilang-penyewaan dan ECMP, dengan prestasi-penalaan pengasingan |
| Praisi dan nyahkod diasingkan | Pemindahan cache KV-yang besar dan penuh merentas nod | Bergantung, tanda arasnya | Silang-kependaman nod mencecah TTFT, jadi sahkan di bawah trafik realistik |
| Pengesyoran frekuensi tinggi- | Kependaman yang ketat, banyak mesej kecil | InfiniBand | Kependaman ekor yang ketat dan konsisten |
| Inferens kritikal autonomi atau keselamatan- | SLA kontrak, jitter rendah | InfiniBand | Tingkah laku deterministik, risiko penalti-SLA tinggi |
Apabila RoCE Cukup Baik, dan Apabila Ia Menjadi Berisiko
RoCE cukup baik untuk permintaan bebas atau berganding longgar, kerja batch berorientasikan pemprosesan-dan berbilang-kelompok penyewa di mana anda boleh menala pengasingan, terutamanya apabila pasukan itu fasih dalam Data Center Bridging Ethernet. Ia menjadi berisiko dalam cara tertentu yang boleh dikenali:
- ribut PFC.Jeda bingkai merambat ke hulu dan membekukan lalu lintas yang tiada kaitan dengan kesesakan asal.
- Ketua-sekatan-baris.Pemetaan keutamaan kasar membolehkan satu kelas yang sesak menghalang yang lain berkongsi baris gilir.
- kesilapan ECN.Tandakan terlambat dan anda mendapat titisan; tandakan terlalu agresif dan anda mendikit daya pengeluaran tanpa perlu.
- Kesesakan letupan mikro.Penampan limpahan letusan sub-saat tetapi kekal tidak kelihatan untuk memantau sampel itu pada peleraian-saat.
- Konfigurasi tidak konsisten.Tetapan yang tidak sepadan merentas daun dan tulang belakang menyebabkan kesesakan merebak dan bukannya kekal setempat.
Tiada satu pun daripada ini adalah sebab untuk mengelakkan RoCE. Ini adalah sebab untuk mereka bentuk fabrik tanpa kerugian secara koheren dari hujung ke hujung dan untuk melabur dalam-berbutir halus, microburst-telemetri sedar sebelum anda membuat skala.
Apabila InfiniBand Berbaloi, dan Apabila Anda Terlalu Beli
InfiniBand berbaloi dengan premiumnya untuk sasaran p99 dan p999 yang ketat, penyajian berbilang-nod yang digandingkan rapat dan beban kerja kritikal-misi yang mana penalti SLA adalah tinggi, terutamanya pada kluster GPU khusus yang direka bentuk di sekeliling fabrik. Anda berkemungkinan terlebih beli apabila inferens kekal dalam nod, apabila kerja adalah kumpulan berorientasikan pemprosesan-, apabila anda memerlukan fabrik yang sama untuk turut membawa storan, pengurusan dan trafik awan penyewa-berbilang, atau apabila anda hanya kekurangan kapasiti operasi untuk menjalankan InfiniBand dengan baik.
Kos yang tidak muncul pada sebut harga suis adalah nyata: kepekatan ekosistem, overhed menjalankan fabrik kedua selari dengan rangkaian Ethernet anda dan perancangan berasingan untuk alat ganti, optik dan pemantauan.
Cara Menguji InfiniBand lwn RoCE Sebelum Anda Memilih
Jangan memutuskan reputasi protokol atau helaian spesifikasi. Tentukan penanda aras yang menyerupai pengeluaran. Urutan praktikal:
- Tentukan SLA dalam ekor.Tetapkan p50, p95, p99 dan p999 untuk masa-kepada-pertama-kependaman token dan antara-, bukan sekadar purata.
- Main semula trafik realistik.Gunakan saiz model bercampur-campur dan berbilang-konkurensi penyewa dan bukannya satu aliran bersih.
- Muatkan kepada kesesakan.Tolak fabrik sehingga ia benar-benar dipertikaikan, kemudian ukur penggunaan GPU. Jika GPU terhenti pada rangkaian, fabrik adalah halangan anda.
- Perhatikan kaunter yang betul.Jejak bingkai jeda, tanda ECN, paket jatuh, penghantaran semula, pembilang ralat port dan, pada 400G dan 800G, ralat FEC.
- Sahkan lapisan fizikal.Perkara gentian yang bersih dan dipasang dengan betul;pemasangan gentian berhati-hatimenghalang ralat-terselang dan sukar untuk-diagnosa yang terdedah kepada-pautan berkelajuan tinggi.
Jika RoCE mengekalkan sasaran p99nya di bawah beban penyewa yang realistik, bertekad, berbilang-dengan pembilang yang stabil, ia merupakan pilihan-yang kukuh dan kos efektif. Jika ia hanya melepasi ujian-strim tunggal yang bersih, anda belum lagi menguji perkara yang menentukan SLA anda.
Kesilapan Biasa yang Perlu Dielakkan
- Dengan mengandaikan semua inferens adalah rangkaian ringan.Beberapa inferens adalah mudah dan bebas; sesetengahnya diedarkan, kependaman-sensitif dan lebar jalur-lapar. Melayan semuanya sebagai mudah membawa kepada infrastruktur yang kurang dibina.
- Membandingkan kependaman purata sahaja.Inferens pengeluaran bergantung pada ekor. Sentiasa menilai p95, p99 dan p999 di bawah trafik realistik.
- Menganggap RoCE sebagai palam-dan-mainkan Ethernet.RoCE{0}}berprestasi tinggi memerlukan reka bentuk fabrik-tidak rugi yang disengajakan, kawalan kesesakan dan kebolehmerhatian berterusan.
- Memilih InfiniBand hanya kerana ia lebih pantas.Pilihan prestasi terbaik tidak selalunya pilihan perniagaan terbaik. Jika beban kerja tidak memerlukan tingkah laku deterministik, RoCE mungkin memberikan nilai yang lebih baik.
- Mengabaikan lapisan fizikal.Pada 400G dan 800G, kabel, optik, penyambung dan kebersihan gentian mencipta ralat terputus-putus yang sukar dicari dan mahal untuk diperbaiki.
Soalan Lazim
S: Adakah InfiniBand lebih baik daripada RoCE untuk inferens AI?
A: Tidak secara universal. InfiniBand adalah lebih baik untuk -pendaman ekor yang ketat dan inferens berbilang nod-ganding rapat. RoCE adalah lebih baik apabila kos, keserasian Ethernet dan penskalaan penyewa yang fleksibel atau berbilang-lebih penting dan beban kerja boleh bertolak ansur dengan sedikit kegelisahan.
S: Adakah RoCE cukup untuk inferens LLM?
J: Selalunya ya, terutamanya untuk satu-nod atau sajian berganding longgar dan untuk-berbilang-kelompok penyewa yang ditala dengan baik. Untuk tensor besar- atau saluran paip-siaran selari, atau praisi diagregatkan dan nyahkod dengan sasaran p99 yang ketat, sahkan RoCE di bawah beban realistik atau pertimbangkan InfiniBand.
S: Adakah inferens AI memerlukan InfiniBand?
A: Bukan selalu. Banyak perkhidmatan inferens berjalan dengan baik pada-fabrik RoCE yang direka dengan baik. InfiniBand memperoleh kosnya apabila determinisme adalah berkontrak atau beban kerja digandingkan dengan ketat dan kependaman-kritikal.
S: Apakah risiko utama menggunakan RoCE?
A: Konfigurasi. RoCE bergantung pada Ethernet lossless yang ditala dengan betul, termasuk PFC, ECN, QoS dan pengurusan penimbal. Salah konfigurasi membawa kepada kehilangan paket, kepala-sekatan-talian, ribut PFC atau kependaman ekor yang tidak stabil.
S: Patutkah pembekal GPUaaS menggunakan InfiniBand atau RoCE?
J: RoCE, atau hibrid, adalah biasa untuk GPUaaS berbilang{0}}penyewa kerana Ethernet menawarkan kebolehhalaan, ECMP dan kebiasaan operasi. Penyedia yang menjual premium, kependaman-peringkat SLA kadangkala menambahkan kumpulan InfiniBand khusus untuknya.
Bottom Line
Untuk inferens AI, InfiniBand dan RoCE kedua-duanya sah, dan ia memberikan keutamaan yang berbeza. Pilih InfiniBand apabila anda memerlukan rangkaian kependaman-rendah yang paling konsisten untuk masa-sebenar, SLA-sensitif atau inferens berganding rapat. Pilih RoCE apabila anda memerlukan fabrik berskala,-berasaskan Ethernet, kos-efisien untuk inferens kelompok,-perkhidmatan GPU penyewa berbilang, beban kerja RAG dan infrastruktur fleksibel.
Keputusan harus bermula dengan beban kerja, sasaran kependaman, skala kelompok, keupayaan operasi anda dan peta jalan naik taraf, bukan dengan protokol. Jika kluster anda mesti memegang p99 yang ketat di bawah beban berat, InfiniBand patut dipertimbangkan dengan serius. Jika matlamat anda adalah untuk menskalakan inferens secara ekonomi merentas pusat data Ethernet, RoCE biasanya merupakan laluan yang lebih praktikal. Sama ada cara, penanda aras di bawah pengeluaran-seperti memuatkan sebelum anda membuat komitmen.
