Zaloguj
Centra danych powstają coraz szybciej, ponieważ ilość generowanych danych stale rośnie, a dane te trzeba przechowywać i przesyłać. Do źródeł rosnącego zapotrzebowania na dostęp do danych należą m.in. sztuczna inteligencja (AI – Artificial Intelligence) i uczenie maszynowe (ML – Machine Learning). Przesyłanie dużych ilości danych do przetwarzania w klastrach obliczeniowych dużej wydajności (HPC – High-Performance Computing) wymaga znacznych zasobów obliczeniowych oraz szybkich, szerokopasmowych, przełączanych ścieżek sygnałowych, które pozwalają sprawnie współdzielić dane. Setki i tysiące serwerów, procesorów graficznych (GPU – Graphics Processing Unit), układów SoC (System on Chip), układów FPGA (Field-Programmable Gate Array) i procesorów centralnych (CPU – Central Processing Unit) pracujących w typowym centrum danych pobierają ogromne ilości energii elektrycznej, a zapotrzebowanie na moc będzie rosło wraz z rozbudową centrów danych i zwiększaniem ich pojemności. Centra danych stanowią fundament współczesnej „chmury” obliczeniowej, w której przechowuje się dane, i zapewniają łatwy dostęp do narzędzi AI i ML użytkownikom z wielu branż.
Szybkie przełączanie pozwala niezawodnie kierować dane przez wiele równoległych linii transmisyjnych w centrum danych. Linia (ang. lane) to dwie pary różnicowe – nadawcza i odbiorcza – tworzące najmniejszy dwukierunkowy tor transmisji. Do kierowania danych używa się przełączników zgodnych z różnymi standardami; jednym z nich jest PCI Express (PCIe – Peripheral Component Interconnect Express), który jako szeroko przyjęty standard przemysłowy ułatwia instalację i łączenie urządzeń. Złącza PCIe są powszechnie stosowane wewnątrz komputerów i serwerów do łączenia szybkich podzespołów. Standard doczekał się już szóstej generacji – PCIe 6.0 (PCIe Gen 6) – która w porównaniu z poprzednią generacją, PCIe 5.0, zapewnia dwukrotnie większą przepływność łącza. Ponieważ rozbudowa centrów danych oznacza coraz większy pobór mocy, istotne jest, że PCIe 6.0 przesyła więcej danych niż pięć poprzednich wersji standardu, a jednocześnie pozwala oszczędzać energię. Przykładem są najnowsze przełączniki PCIe 6.0 typu fanout firmy Microchip Technology (www.microchip.com), które obsługują do 160 linii dwukierunkowej transmisji danych. Wysoką wydajność tych przełączników uzyskano dzięki wytwarzaniu ich w krzemowym procesie technologicznym 3 nm, który zapewnia dużą gęstość upakowania układów i dobrą sprawność energetyczną – cechy niezbędne w podzespołach, które mają obsłużyć rosnące ilości danych we współczesnych centrach danych.
Złącza PCIe są szeroko stosowane w komputerach osobistych, serwerach, systemach automatyki przemysłowej i sprzęcie rozrywkowym. Są to złącza krawędziowe (ang. edge-board) – karta rozszerzeń wsuwa się do nich krawędzią płytki drukowanej, na której wykonano pola kontaktowe. Złącza charakteryzują parametry mechaniczne, np. raster styków, oraz parametry elektryczne, w tym szybkość transmisji wyrażana w miliardach transferów na sekundę (GT/s – gigatransfers per second). Szybkość wyrażona w GT/s oznacza surową przepływność pojedynczej linii w gigabitach na sekundę, przed odjęciem narzutu związanego z kodowaniem i zabezpieczaniem danych. Z każdą generacją standardu szybkość transmisji rosła: PCIe 1.0 – 2,5 GT/s, PCIe 2.0 – 5 GT/s, PCIe 3.0 – 8 GT/s, PCIe 4.0 – 16 GT/s, PCIe 5.0 – 32 GT/s, a obecna generacja, PCIe 6.0 – 64 GT/s.
Przesyłanie danych wewnątrz centrów danych i między nimi wymaga odpowiedniego zasilania oraz oprogramowania i sprzętu, które wykonują transfery szybko i sprawnie. Ponieważ centra danych pobierają duże moce, a pobrana energia elektryczna zamienia się w ciepło, w wielu serwerach stosuje się chłodzenie cieczą. Niektóre centra danych odzyskują nadmiar ciepła i sprzedają je okolicznym społecznościom.
Szybkie przełączniki PCIe, będące kluczowymi elementami chmury i jej ścieżek przesyłu danych, opracowano m.in. po to, by ustandaryzować konfiguracje – np. przełączniki typu fanout – i ułatwić ich instalację w wielu zastosowaniach. Każda kolejna generacja PCIe podnosi wymagania dotyczące wydajności i funkcji, aby sprostać coraz trudniejszym zadaniom, przed którymi stają coraz większe i szybsze centra danych, obsługujące rosnące ilości danych.
Standard PCIe 5.0, opublikowany w 2019 roku, wyznaczył wysoki poziom wydajności i dobre wytyczne sprawnego przesyłania dużych ilości danych. Jednak wobec szybko rosnącego zapotrzebowania na dane w zastosowaniach AI i ML standard PCIe 6.0 był nieuniknionym kolejnym krokiem w definiowaniu rozwiązań do szybkiej transmisji dużych ilości danych. Szybkość transmisji w PCIe 6.0 wynosi 64 GT/s na linię, czyli dwa razy więcej niż w PCIe 5.0. Odpowiada to przepływności ok. 8 GB/s na linię w każdym kierunku. Łącze 16-liniowe (×16) przesyła więc ok. 128 GB/s w jednym kierunku, czyli ok. 256 GB/s łącznie w obu kierunkach – dwa razy więcej niż łącze PCIe 5.0 o tej samej liczbie linii.
PCIe 5.0 wykorzystuje kodowanie NRZ (Non-Return-to-Zero), w którym sygnał przyjmuje jeden z dwóch poziomów, a każdy symbol niesie 1 bit. Standard ten nie ma korekcji błędów w przód – błędy wykryte za pomocą sumy kontrolnej usuwa się przez ponowne przesłanie pakietu. PCIe 6.0 wykorzystuje czteropoziomową modulację amplitudy impulsów PAM4 (4-level Pulse Amplitude Modulation), w której każdy symbol niesie 2 bity; dzięki temu szybkość 64 GT/s uzyskuje się przy szybkości modulacji 32 Gbd, takiej samej jak w PCIe 5.0. Przy sygnale czteropoziomowym odstępy między sąsiednimi poziomami są trzykrotnie mniejsze niż przy dwupoziomowym o tej samej amplitudzie, co zwiększa elementową stopę błędów BER (Bit Error Rate). Dlatego w PCIe 6.0 wprowadzono korekcję błędów w przód FEC (Forward Error Correction) oraz silniejszą cykliczną kontrolę nadmiarową CRC (Cyclic Redundancy Check). PCIe 6.0 jest wstecznie zgodny ze wszystkimi wcześniejszymi generacjami, a PCIe 5.0 – z generacjami 1.0, 2.0, 3.0 i 4.0.
Przełączniki fanout PCIe 6.0
Przełączniki PCIe 6.0 typu fanout zapewniają wydajność i funkcje określone w specyfikacji szóstej generacji PCIe. Działanie typu fanout polega na rozdzieleniu jednego szybkiego portu o dużej przepływności na wiele połączeń wyjściowych o mniejszej przepływności. Na przykład serwer może użyć przełącznika fanout, aby podzielić łącze nadrzędne (ang. uplink) 100 Gb/s na cztery łącza 25 Gb/s albo osiem łączy 12,5 Gb/s. Przełączniki z funkcją bifurkacji portów dzielą szeroki port na węższe łącza o określonej szerokości, np. ×4, ×8 lub ×16, gdzie liczba oznacza liczbę linii w łączu. Przełączniki fanout ze złączami PCIe przesyłają dane określoną liczbą linii, które stanowią ścieżki sygnałowe między kontrolerem a dołączonymi urządzeniami. Im więcej linii ma przełącznik, tym więcej danych może obsłużyć.
Najnowsze przełączniki PCIe 6.0, np. przełączniki fanout Switchtec™ PCIe 6.0 firmy Microchip, muszą mieć jak największą gęstość upakowania, aby w niewielkiej obudowie obsłużyć dużą liczbę linii. Tak małe wymiary struktur, jakich wymagają przełączniki PCIe 6.0, zapewnia wytwarzanie płytek krzemowych w procesie 3 nm. Przełączniki PCIe 6.0 wykonane w procesie 3 nm mają o 15...20% większą sprawność energetyczną niż przełączniki poprzedniej generacji, PCIe 5.0. Przełączniki PCIe 6.0 wytwarzane w procesie 3 nm, wraz z doświadczeniem, które pozwoliło je opracować, przyspieszają przesyłanie danych w centrach danych, a jednocześnie pomagają zmniejszyć pobór mocy i koszty eksploatacji w obliczu rosnących wymagań związanych z przetwarzaniem danych na potrzeby AI i ML. Złącza PCIe 6.0 przełączników fanout są wstecznie zgodne z wcześniejszymi generacjami i mają takie same wymiary oraz rozmieszczenie wyprowadzeń jak złącza wcześniejszych generacji.
Przełączniki PCIe 6.0 typu fanout z rodzin Switchtec PFX i PSX obsługują do 160 linii, 20 portów i 10 stosów w jednym układzie (rysunek 1). Stos (ang. stack) to grupa 16 linii, którą można podzielić na porty – przy 160 liniach daje to 10 stosów. Przełączniki te są skalowalnymi, energooszczędnymi rozwiązaniami do przesyłania danych w infrastrukturze, w której pobór mocy ma duże znaczenie, np. w centrach danych przeznaczonych do zadań AI i w centrach danych przedsiębiorstw. Przełączniki dzielą porty na łącza x8 i x16, co pozwala stosować je w wielu aplikacjach. Zaprojektowano je tak, by utrzymywały wysoką integralność sygnałów. Pobór mocy ogranicza sterowany programowo mechanizm ASPM (Active State Power Management – zarządzanie zasilaniem łącza w stanie aktywnym), który przełącza chwilowo nieużywane łącza w stany niskiego poboru mocy. Mechanizm AER (Advanced Error Reporting – zaawansowane raportowanie błędów), dostępny na wszystkich portach, pomaga ograniczać skutki błędów transmisji. Przełączniki mają wbudowane mikroprocesory o architekturze MIPS, które wspomagają konfigurację, i obsługują różne interfejsy wejścia/wyjścia (I/O – Input/Output).
Proces krzemowy 3 nm, w którym wytwarza się przełączniki Switchtec, jest przykładem trendu zwiększania gęstości upakowania układów półprzewodnikowych: tranzystory umieszcza się coraz bliżej siebie, aby w mniejszym układzie zmieścić więcej funkcji przy mniejszym poborze mocy. Oznaczenie „3 nm” nie odpowiada rzeczywistej długości kanału ani żadnemu innemu wymiarowi przyrządu półprzewodnikowego – jest nazwą węzła technologicznego, odróżniającą ten proces od wcześniejszych, np. 5 nm, o większych wymiarach i odstępach elementów. W porównaniu z procesem 5 nm proces 3 nm pozwala wykonać tranzystory o krótszych bramkach i gęściej upakowane układy scalone. Umożliwia to zmniejszenie powierzchni struktury (ang. die shrink), czyli uzyskanie układów scalonych o większej gęstości upakowania, a jednocześnie zmniejszenie poboru mocy wytworzonego układu (rysunek 2).
Przełączniki Switchtec
W rodzinie przełączników Switchtec PFX/PSX Gen 6 PCIe typu fanout model PM60160A obsługuje do 160 linii, a model PM60144A – do 144 linii. Układ 160-liniowy, przeznaczony m.in. do akceleratorów AI w urządzeniach centrów danych, obsługuje 20 portów i 10 stosów, a układ 144-liniowy – 18 portów i 9 stosów. Każdy port obsługuje podłączanie urządzeń na gorąco (ang. hot-plug) oraz ich podłączanie i odłączanie bez wcześniejszego powiadomienia systemu (ang. surprise plug). Przełączniki (rysunek 3) mają rozbudowane zabezpieczenia, w tym sprzętowy korzeń zaufania (ang. hardware root of trust) – niemodyfikowalny element sprzętowy, od którego zaczyna się weryfikacja kolejnych etapów oprogramowania – oraz bezpieczny rozruch (ang. secure boot) z kryptografią odporną na ataki z użyciem komputerów kwantowych, zgodną z zestawem algorytmów CNSA 2.0 (Commercial National Security Algorithm Suite).
Przełączniki współpracują z kablami pasywnymi, zarządzanymi (ang. managed) i optycznymi, a ich wyprowadzenia GPIO (General-Purpose Input/Output) można skonfigurować pod kątem wielu standardów kabli i złączy. W większych topologiach przełączniki można łączyć za pomocą logicznych połączeń z mostkowaniem nieprzezroczystym NTB (Non-Transparent Bridging). Modele PM60160A i PM60144A pracują z elastyczną architekturą taktowania – wejściowe i wyjściowe zegary odniesienia zależą od konfiguracji stosu PCIe. Każdy stos może korzystać z maksymalnie czterech zegarów wejściowych. Microchip ma ponadto w ofercie szeroką gamę układów zegarowych i synchronizacji do każdego zastosowania PCIe.
Mostkowanie nieprzezroczyste NTB upraszcza połączenia w systemach z wieloma hostami: każdy host zachowuje własną przestrzeń adresową, a most tłumaczy adresy między domenami. Przełączniki obsługują wprowadzony w standardzie PCIe 6.0 tryb FLIT (Flow Control Unit), w którym dane przesyła się w pakietach o stałej długości 256 bajtów, zabezpieczonych korekcją FEC. Zapewniają też proste, bezpośrednie połączenia między procesorami GPU w szafie serwerowej, co pomaga zmniejszyć opóźnienia w sieci. Do ograniczania skutków błędów służy mechanizm AER, dostępny na wszystkich portach, oraz mechanizm DPC (Downstream Port Containment), dostępny na wszystkich portach podrzędnych, który po wykryciu poważnego błędu odcina dany port, aby błąd nie rozprzestrzenił się w systemie. Ponadto funkcja CTS (Completion Timeout Synthesis) zapobiega przejściu hosta nadrzędnego w stan błędu, gdy transakcja wymagająca odpowiedzi (ang. non-posted) nie zostanie zakończona – przełącznik sam generuje wtedy odpowiedź w imieniu urządzenia.
Rodzinę przełączników Switchtec Gen 6 PCIe wspierają narzędzia diagnostyczne ChipLink® firmy Microchip, które przez intuicyjny graficzny interfejs użytkownika (GUI – Graphical User Interface) umożliwiają debugowanie, diagnostykę, konfigurację i analizę. Narzędzia ChipLink prowadzą analizę przez samo łącze PCIe (ang. in-band) lub przez interfejsy pomocnicze (ang. sideband), takie jak UART (Universal Asynchronous Receiver-Transmitter), TWI (Two-Wire Interface – odpowiednik magistrali I²C) i EJTAG (Enhanced JTAG – rozszerzony interfejs testowo-uruchomieniowy JTAG, Joint Test Action Group). Ułatwia to monitorowanie i wykrywanie usterek podczas projektowania i uruchamiania produktów z tymi przełącznikami, w tym akceleratorów AI i innych urządzeń centrów danych.
Przełączniki można też ocenić za pomocą zestawu ewaluacyjnego PM61160-KIT Switchtec Gen 6 PCIe Evaluation Kit (rysunek 4). Zestaw ten rozwija koncepcję zestawów dostępnych dla wcześniejszych rodzin przełączników PCIe i obsługuje wiele interfejsów, co ułatwia pracę z nim.
Przełączniki PCIe 6.0 są niezbędnymi elementami współczesnych centrów danych, zwłaszcza tam, gdzie trzeba przesyłać duże ilości danych z bardzo dużą szybkością. Gdy liczy się także sprawność energetyczna, pozwalająca ograniczyć pobór mocy w dużych centrach danych, połączenie zaawansowanych funkcji przełączników Switchtec PFX/PSX PCIe 6.0 typu fanout z elastycznością w obsłudze wielu interfejsów czyni je oczywistym wyborem do przesyłania dużych ilości danych w centrach danych nowej generacji.
Tam Do, Microchip Technology
