Netwerkfabric: hoe datacenters hun interne verkeer razendsnel afhandelen
Een netwerkfabric is de manier waarop de duizenden servers in een datacenter met elkaar zijn verbonden, zodat data supersnel van de ene naar de andere machine kan reizen. In plaats van één centrale ‘hoofdweg’ waar al het verkeer doorheen moet, bestaat een fabric uit heel veel gelijkwaardige verbindingen die samen een soort rooster vormen. Elk apparaat kan langs meerdere routes bij elk ander apparaat komen, zodat er nergens een knelpunt ontstaat.
Een handige analogie: een ouderwets netwerk lijkt op een boom met één stam waar alle takken doorheen moeten – handig als bijna al het verkeer van buiten naar binnen gaat, maar een ramp zodra takken onderling veel met elkaar willen praten. Een fabric lijkt meer op een stratenpatroon in een moderne stad: je kunt via allerlei straten van A naar B, en als er ergens een opstopping is, rijd je gewoon om. Precies dat ‘omrijden’ is wat een netwerkfabric automatisch en op microseconde-schaal doet.
Wat is het precies?
Traditionele datacenternetwerken waren opgebouwd in drie lagen: een access-laag (de switches direct bij de servers), een aggregation-laag (die het verkeer van meerdere access-switches bundelt) en een core-laag bovenaan die alles samenbrengt. Dat werkte prima zolang de meeste data van buiten het datacenter naar een server ging en weer terug – dit heet noord-zuidverkeer.
Het probleem: moderne applicaties bestaan uit veel kleine onderdelen (microservices) die voortdurend onderling data uitwisselen, en clouddiensten spreiden opslag over honderden machines. Dat verkeer loopt vooral tussen servers onderling, ofwel oost-westverkeer. In een boomvormig netwerk moet dat verkeer alsnog via de bovenliggende lagen, wat leidt tot oversubscriptie: er is minder bandbreedte beschikbaar dan er in theorie nodig is, met vertraging en opstoppingen tot gevolg.
De oplossing die inmiddels de standaard is, heet de spine-leaf-topologie. Hierbij zijn er twee lagen switches: leaf-switches waar de servers direct op aansluiten, en spine-switches die alleen de leaf-switches onderling verbinden. Cruciaal is dat élke leaf-switch met élke spine-switch verbonden is – een volledig raster (‘full mesh’). Daardoor is er tussen twee willekeurige servers altijd een kort pad van maximaal twee switch-sprongen, via een van de vele beschikbare spines.
Deze aanpak is wiskundig niet nieuw: hij is gebaseerd op het Clos-netwerk, genoemd naar de Franse ingenieur Charles Clos, die dit ontwerp in 1953 beschreef voor telefooncentrales om gesprekken zonder blokkades te kunnen doorschakelen. Datzelfde principe – veel kleinere schakelaars die samen een grote, niet-blokkerende schakelaar vormen – wordt nu gebruikt voor digitaal netwerkverkeer.
Om zo'n fabric van honderden switches slim te besturen, wordt vaak software-defined networking (SDN) toegepast: een centrale softwarelaag die het netwerk als één geheel programmeert en beheert, in plaats van elke switch apart handmatig te configureren.
Wat wil men ermee bereiken?
Het belangrijkste doel is voorspelbare, hoge bandbreedte en lage latency tussen elke twee punten in het netwerk, ongeacht waar servers fysiek staan. Dat is essentieel geworden nu clouddiensten, gedistribueerde databases en AI-toepassingen voortdurend grote hoeveelheden data tussen servers heen en weer sturen.
Daarnaast is schaalbaarheid een drijfveer: wil een datacenter groeien, dan voeg je simpelweg meer leaf- en spine-switches toe zonder het hele ontwerp om te gooien. Ook redundantie speelt mee — valt één switch of kabel uit, dan is er altijd een alternatieve route, wat het netwerk minder kwetsbaar maakt voor storingen.
Tot slot is er een steeds dringender doel: geschikt zijn voor AI-trainingsclusters. Bij het trainen van grote taalmodellen werken duizenden gpu's (grafische chips die AI-berekeningen uitvoeren) voortdurend samen en moeten ze razendsnel tussentijdse resultaten met elkaar delen. Elke vertraging in het netwerk vertraagt direct de hele training, wat het belang van een goed ontworpen fabric alleen maar groter maakt.
Voorbeelden uit de praktijk
Facebook (nu Meta) introduceerde rond 2014 een eigen datacenter-fabric gebaseerd op het spine-leaf-principe, en beschreef in 2019 een verdere doorontwikkeling genaamd ‘F16’, die is ontworpen om met minimale complexiteit tot enorme schaal te groeien.
Google publiceerde in 2015 op de vakconferentie SIGCOMM het invloedrijke paper ‘Jupiter Rising’, waarin het zijn interne datacenter-fabric beschreef die al jaren in productie was. In 2022 volgde een vervolgpublicatie, ‘Jupiter Evolving’, over hoe dat netwerk verder is doorontwikkeld voor onder meer AI-workloads.
Cisco bracht in 2013 zijn Application Centric Infrastructure (ACI) op de markt: een commercieel spine-leaf-productenpakket met een centrale SDN-controller (APIC) waarmee bedrijven zelf een fabric kunnen uitrollen zonder die helemaal zelf te hoeven ontwerpen.
NVIDIA kondigde in 2023 het Spectrum-X-platform aan: een op Ethernet gebaseerde netwerkfabric die specifiek is afgestemd op AI-rekenclusters met veel gpu's.
In 2023 richtten bedrijven als AMD, Arista, Broadcom, Cisco, HPE, Intel, Meta en Microsoft samen het Ultra Ethernet Consortium op, met als doel een open Ethernet-standaard te ontwikkelen die specifiek geschikt is voor AI- en high-performance-computing-netwerken. Naar verluidt is rond 2025 een eerste versie van die specificatie gepubliceerd, al is de exacte status en adoptie in de praktijk op het moment van schrijven nog moeilijk te verifiëren.
Hoe ver is de techniek?
De klassieke spine-leaf/Clos-fabric is inmiddels een volwassen, breed toegepaste standaard: vrijwel elk modern cloud- of hyperscale-datacenter gebruikt een variant hiervan, en dat is al meer dan tien jaar het geval. Op dat vlak is er weinig fundamentele onzekerheid meer.
De huidige grens ligt bij fabrics voor AI-trainingsclusters. Daar gelden extreme eisen: per verbinding honderden gigabits per seconde, zeer lage en consistente latency, en het liefst ‘lossless’ gedrag (geen verlies van datapakketten), omdat één vertraagde of verloren pakket het hele trainingsproces kan ophouden. Hier concurreren twee technologieën: InfiniBand (van oorsprong Mellanox, sinds 2020 onderdeel van NVIDIA) geldt als bewezen technologie voor supercomputers, terwijl Ethernet-gebaseerde fabrics (zoals Spectrum-X en straks Ultra Ethernet) proberen dezelfde prestaties te bereiken met goedkopere, meer gestandaardiseerde hardware. Welke aanpak op de lange termijn wint, is nog niet beslist.
Belangrijke obstakels zijn het energieverbruik van dit soort hoogwaardige netwerkapparatuur, de complexiteit van optische bekabeling op grote schaal, de hoge kosten, en het beheersen van netwerkcongestie wanneer tienduizenden gpu's tegelijk data uitwisselen. Veel grote techbedrijven delen bovendien geen exacte prestatiecijfers van hun interne fabrics, waardoor onafhankelijke vergelijking lastig blijft.
Wie werken eraan?
Op de leveranciers-kant zijn Cisco, Arista Networks, Juniper Networks (sinds 2024 onderdeel van HPE), Huawei en chipmaker Broadcom belangrijke spelers, samen met NVIDIA/Mellanox voor de AI-georiënteerde netwerkhardware.
Daarnaast bouwen de grote hyperscalers — Google, Meta, Microsoft en Amazon — grotendeels hun eigen, op maat gemaakte fabrics, omdat commerciële producten niet altijd aan hun schaal en specifieke eisen voldoen.
Op standaardisatievlak spelen de IETF (Internet Engineering Task Force) en IEEE 802.3 (de Ethernet-standaardcommissie) een rol, aangevuld met nieuwere initiatieven zoals het Ultra Ethernet Consortium en het Open Compute Project, waarin bedrijven hun datacenterontwerpen delen.
Geografisch is dit veld sterk gedomineerd door de Verenigde Staten, met Chinese spelers als Huawei en Alibaba die eigen fabrics en hardware ontwikkelen. Europees onderzoek op dit specifieke terrein is aanwezig maar beperkter van omvang vergeleken met de Amerikaanse en Chinese techindustrie.