Optymalizacja sieci dzięki RDMA i RoCE

Szybka ewolucja aplikacji intensywnie wykorzystujących moc obliczeniową zwiększa zapotrzebowanie na szybsze, bardziej wydajne i skalowalne rozwiązania sieciowe. Do najbardziej innowacyjnych technologii, które pojawiają się w odpowiedzi na to zapotrzebowanie, należy zdalny bezpośredni dostęp do pamięci (RDMA) przez konwergentną sieć Ethernet (RoCE). Ta przełomowa technologia umożliwia bezpośrednie przesyłanie danych pomiędzy systemami bez konieczności interwencji procesora, co znacznie zmniejsza latencję i poprawia ogólne parametry działania systemu. Firma iWave, znane studio projektowe bezpośrednio programowalnych macierzy bramek (FPGA), jest liderem w tym postępie, który wdrożył solidne rozwiązanie 100G Ethernet poprzez integrację komponentu wirtualnego kontrolera interfejsu sieciowego ze zdalnym bezpośrednim dostępem do pamięci (RDMA) przez sieć Ethernet (ERNIC IP) firmy AMD ze swoim portfolio wbudowanych modułów obliczeniowych. Integracja ta ma na celu zwiększenie możliwości technologii bezpośredniego dostępu do pamięci (RDMA) w zastosowaniach o wysokich parametrach działania.

Ilustracja 1: technologia zdalnego bezpośredniego dostępu do pamięci (RDMA) przez konwergentną sieć Ethernet (RoCE) ułatwia bezpośrednie przesyłanie danych między systemami bez konieczności interwencji procesora, znacznie zmniejszając latencję i poprawiając ogólne parametry działania systemu. (Źródło ilustracji: iWave)

Zrozumienie technologii zdalnego bezpośredniego dostępu do pamięci (RDMA) przez konwergentną sieć Ethernet (RoCE)

Zdalny bezpośredni dostęp do pamięci (RDMA) przez konwergentną sieć Ethernet (RoCE) to kluczowa technologia, która umożliwia bezpośrednie transfery pamięci między hostami lub serwerami ze skutecznym obejściem procesora. Ta funkcja pozwala procesorom skupić się na wykonywaniu aplikacji i przetwarzaniu danych, co prowadzi do znacznej poprawy parametrów działania sieci charakteryzującej się zmniejszonymi latencjami, niższym obciążeniem procesora i zwiększoną przepustowością - a wszystko to w ekonomiczny sposób. Zdalny bezpośredni dostęp do pamięci (RDMA) przez konwergentną sieć Ethernet (RoCE) jest specyficznym protokołem sieciowym zaprojektowanym w celu ułatwienia operacji zdalnego bezpośredniego dostępu do pamięci (RDMA) w sieciach Ethernet. Dzięki wykorzystaniu istniejącej infrastruktury Ethernet technologia RoCE stanowi atrakcyjną opcję dla organizacji, które chcą poprawić parametry działania bez przebudowy istniejących konfiguracji sieci.

Rodzaje technologii RoCE

Protokoły RoCe dzieli się na dwie różne wersje w zależności od używanej karty sieciowej: RoCE v1 oraz RoCE v2.

1. RoCE v1: protokół ten umożliwia komunikację między dwoma hostami znajdującymi się w tej samej domenie rozgłoszeniowej Ethernetu (VLAN). Wykorzystuje on pole Ethertype 0x8915 i ogranicza standardowe ramki Ethernet do 1500 bajtów, jednocześnie umożliwiając zwiększenie rozmiaru dużych ramek Ethernet do 9000 bajtów.
2. RoCE v2: w celu pokonania ograniczeń protokołu RoCE v1, w RoCE v2 wprowadzono ulepszenia w enkapsulacji pakietów poprzez włączenie nagłówków IP i UDP. Modyfikacja ta umożliwia bezproblemowe działanie technologii RoCE v2 zarówno w sieciach warstwy 2 (warstwa łącza danych), jak i warstwy 3 (warstwa sieciowa), zapewniając w ten sposób obsługę routingu warstwy 3 i skalowalność w wielu podsieciach. Protokół RoCE v2 często określany jako rutowalny RoCE (RRoCE), cechuje dodatkowo obsługa multiemisji IP, co jeszcze bardziej poszerza jego zakres zastosowań.

ERNIC IP: zwiększenie możliwości zdalnego bezpośredniego dostępu do pamięci (RDMA)

Komponent wirtualny wbudowanego kontrolera interfejsu sieciowego z obsługą zdalnego bezpośredniego dostępu do pamięci (RDMA) (ERNIC IP) jest komponentem zdalnego bezpośredniego dostępu do pamięci (RDMA) Ethernet z możliwością dostosowania, zaprojektowanym z myślą o bezproblemowej integracji z bezpośrednio programowalnymi macierzami bramek (FPGA) AMD, wieloprocesorowymi układami SoC (MPSoC) i implementacjami miękkich komponentów wirtualnych kontroli dostępu do mediów (MAC). Rozwiązanie to charakteryzuje się wysoką przepustowością, niską latencją oraz całkowicie odciążonym sprzętowo, niezawodnym mechanizmem przesyłania danych w standardowej sieci Ethernet. Firma iWave udowadnia swoje zaangażowanie w postęp technologiczny, wdrażając z powodzeniem rozwiązanie 100G Ethernet. Osiągnięcie to było możliwe dzięki wykorzystaniu opracowanego przez firmę iWave zestawu rozwojowego wspieranego wieloprocesorowym układem SoC (MPSoC) Zynq UltraScale+, w którym zintegrowano komponent wirtualny kontrolera interfejsu sieciowego ze zdalnym bezpośrednim dostępem do pamięci (RDMA) przez Ethernet (ERNIC IP) firmy AMD.

Zestaw rozwojowy z wieloprocesorowym układem SoC (MPSoC) Zynq UltraScale+ został specjalnie zaprojektowany do prototypowania i ewaluacji rozwiązań 100G Ethernet i wykorzystuje szybkie złącza QSFP-28.

Konfiguracja demonstracyjna

Typowa konfiguracja demonstracyjna (ilustracja 2) zawiera następujące elementy:

• Zestaw rozwojowy wspierany wieloprocesorowym układem SoC (MPSoC) Zynq UltraScale+ ZU19EG firmy iWave
• Karta interfejsu sieciowego (NIC) 100G Advantech Mellanox ConnectX-5
• Karta interfejsu sieciowego (NIC) 1G z obsługą precyzyjnego protokołu czasu (PTP) Sync 1588
• Kabel MTP, moduły QSFP-28 oraz kabel Ethernet CAT6 RJ45
• Serwer PC z systemem Ubuntu 22.04

Ilustracja 2: typowa konfiguracja zestawu rozwojowego z wieloprocesorowym układem SoC (MPSoC) Zynq UltraScale+. (Źródło ilustracji: iWave)

Omówienie architektury systemu

Architektura systemu została zaprojektowana z myślą o optymalizacji przesyłu danych, z jasno zdefiniowanymi rolami pomiędzy komponentami systemu przetwarzania (PS) i programowanymi komponentami logicznymi (PL). Wdrożenie obejmuje również synchronizację z precyzyjnym protokołem czasu (PTP), która ma kluczowe znaczenie dla zastosowań czasu rzeczywistego. Dzięki znakomitym parametrom działania, takim jak zdolność do obsługi wideo 8K z prędkością ponad 100 klatek na sekundę, potencjalne zastosowania obejmują różne sektory, w tym ośrodki przetwarzania danych, multimedia i wysokowydajne przetwarzanie danych, co podkreśla wszechstronność tej technologii i jej znaczenie w nowoczesnych środowiskach obliczeniowych.

Architektura wysokiego poziomu systemu, przedstawiona na ilustracji 3, podkreśla różne role komponentów PS i PL w wieloprocesorowym układzie SoC (MPSoC) Zynq UltraScale+. Komponent systemu przetwarzania (PS) jest wyposażony w twardy układ SoC oparty na rdzeniu ARM Cortex-A53, który jest niezbędny do konfiguracji systemu, sterowania i diagnostyki. Kluczowe komponenty tej architektury:

• Sterownik kontroli dostępu do mediów (MAC) 100G Ethernet: wysoka niezawodność działania i niska latencja transmisji danych przy prędkości 100Gb/s
• Sterownik kontrolera ERNIC: odpowiedzialny za zarządzanie danymi przychodzącymi do pamięci DDR i ułatwianie komunikacji między aplikacją użytkownika a komponentem wirtualnym wbudowanego kontrolera interfejsu sieciowego z obsługą zdalnego bezpośredniego dostępu do pamięci (RDMA) (ERNIC IP) poprzez wydajną wymianę sygnałów
• Biblioteki rdzeni RDMA i przestrzeni użytkownika: zapewnienie kompatybilności i optymalnych parametrów działania operacji zdalnego bezpośredniego dostępu do pamięci (RDMA) zarówno w jądrze, jak i w przestrzeni użytkownika

Ilustracja 3: najważniejsze role systemu przetwarzania i programowanych komponentów logicznych w wieloprocesorowym układzie SoC (MPSoC) Zynq UltraScale+. (Źródło ilustracji: iWave)

Komponent wirtualny kontrolera interfejsu sieciowego ze zdalnym bezpośrednim dostępem do pamięci (RDMA) przez Ethernet (ERNIC IP) firmy AMD skutecznie odciąża stos RoCE v2 na bezpośrednio programowalnej macierzy bramek (FPGA), przy czym kontroler ERNIC zarządza uzgadnianiem pomiędzy różnymi modułami, aby ułatwić przesyłanie danych. Generuje on wpisy kolejki roboczej i wysyła powiadomienia (sygnały) do komponentu wirtualnego kontrolera interfejsu sieciowego ze zdalnym bezpośrednim dostępem do pamięci (RDMA) przez Ethernet (ERNIC IP). Jednocześnie podsystem wieloprocesorowego układu SoC (MPSoC) 100G Ethernet Zynq UltraScale+ zarządza warstwami fizycznymi i warstwą kontroli dostępu do mediów (MAC), natomiast generator wzorców danych odpowiada za tworzenie nieprzetworzonych danych i wzorców danych wideo.

Precyzyjny protokół czasu (PTP)

Znacznik czasowy precyzyjnego protokołu czasu (PTP) (standard IEEE 1588) odgrywa kluczową rolę w synchronizacji czasu między systemami w sieci Ethernet. Synchronizacja ma kluczowe znaczenie dla poprawy parametrów działania aplikacji czasu rzeczywistego, umożliwiając zsynchronizowaną wymianę danych z niską latencją rzędu nanosekund.

Najważniejsze cechy konfiguracji

Oto najważniejsze cechy omawianej konfiguracji:

• Wdrożenie sieci Ethernet 100G przez RoCE v2 z wykorzystaniem komponentu wirtualnego kontrolera interfejsu sieciowego ze zdalnym bezpośrednim dostępem do pamięci (RDMA) przez Ethernet (ERNIC IP) firmy AMD
• Niezawodny rodzaj transportu połączenia
• Obsługa pakietów za pomocą funkcji RDMA SEND, RDMA READ oraz RDMA WRITE
• Obsługa funkcji RDMA Send i RDMA Write z typem wiadomości natychmiastowej
• Testowanie parametrów działania pod kątem RDMA przy użyciu aplikacji XRPING oraz PERFTEST
• Generator niestandardowych wzorców danych do tworzenia nieprzetworzonych danych oraz wzorców danych wideo
• Wstawianie znaczników czasu precyzyjnego protokołu czasu (PTP) obok danych

Szczegółowe statystyki przepustowości do przesyłania danych wideo z zestawu rozwojowego z wieloprocesorowym układem SoC (MPSoC) Zynq UltraScale+ do komputera będącego serwerem wykazują imponujące parametry działania, z możliwością obsługi wideo 8K z prędkością ponad 100fps i 4K z prędkością ponad 400fps.

Potencjalne zastosowania

Integracja technologii zdalnego bezpośredniego dostępu do pamięci (RDMA) przez konwergentną sieć Ethernet (RoCE) oraz komponentu wirtualnego kontrolera interfejsu sieciowego ze zdalnym bezpośrednim dostępem do pamięci (RDMA) przez Ethernet (ERNIC IP) otwiera nowe możliwości w różnych branżach, znacznie poprawiając łączność, parametry działania i sprawność w wielu zastosowaniach, takich jak:

• Ośrodki przetwarzania danych i przetwarzanie w chmurze: ułatwienie efektywnej komunikacji z serwerami i przyspieszenie przetwarzania danych w architekturach chmurowych
• Przechwytywanie oraz przesyłanie wideo i obrazów: korzystne w zastosowaniach multimedialnych, nadawaniu i środowiskach rzeczywistości wirtualnej (VR)
• Rozwiązania magazynowe: umożliwienie szybszego przesyłu danych między urządzeniami pamięci masowej a serwerami, czego rezultatem jest poprawa parametrów działania systemu pamięci masowej
• Wysokowydajne przetwarzanie danych (HPC): zwiększenie prędkości przesyłu danych i zmniejszenie latencji w klastrach wysokowydajnego przetwarzania danych (HPC) w celu przyspieszenia zadań obliczeniowych i symulacji
• Urządzenia brzegowe Internetu rzeczy (IoT): umożliwienie gromadzenia i przesyłania danych z czujników i urządzeń w czasie rzeczywistym

W miarę wzrostu zapotrzebowania na szybsze i wydajniejsze rozwiązania przesyłania danych, technologie zdalnego bezpośredniego dostępu do pamięci (RDMA) przez konwergentną sieć Ethernet (RoCE) oraz komponent wirtualny kontrolera interfejsu sieciowego ze zdalnym bezpośrednim dostępem do pamięci (RDMA) przez sieć Ethernet (ERNIC IP) będą odgrywać kluczową rolę w przyszłości wysokowydajnego przetwarzania.

Podsumowanie

Rozbudowane portfolio platform bezpośrednio programowalnych macierzy bramek (FPGA) i układów SoC FPGA firmy iWave, w połączeniu z głęboką wiedzą techniczną, pozwala klientom opracowywać najnowocześniejsze produkty, które wykorzystują najnowsze osiągnięcia w dziedzinie sztucznej inteligencji (AI), uczenia maszynowego i przetwarzania brzegowego. Nawiązując współpracę z firmą iWave, firmy mogą przyspieszyć rozwój produktów, zmniejszyć ryzyko i wyprzedzić konkurencję w coraz bardziej złożonym krajobrazie technologicznym.

Źródło: Poprawa parametrów działania sieci: znaczenie technologii zdalnego bezpośredniego dostępu do pamięci (RDMA) przez konwergentną sieć Ethernet (RoCE)

Kontakt w Polsce: poland.support@digikey.pl

Autor: Rolf Horn

Rolf Horn, Applications Engineer at DigiKey, has been in the European Technical Support group since 2014 with primary responsibility for answering any Development and Engineering related questions from final customers in EMEA, as well as writing and proof-reading German articles and blogs on DK’s TechForum and maker.io platforms. Prior to DigiKey, he worked at several manufacturers in the semiconductor area with focus on embedded FPGA, Microcontroller and Processor systems for Industrial and Automotive Applications. Rolf holds a degree in electrical and electronics engineering from the university of applied sciences in Munich, Bavaria and started his professional career at a local Electronics Products Distributor as System-Solutions Architect to share his steadily growing knowledge and expertise as Trusted Advisor.

Hobbies: spending time with family + friends, travelling in our VW-California transporter and motorbiking on a 1988 BMW GS 100.

Zapraszamy na TEK.day Wrocław, 6 marca 2025. Zapisz się tutaj!