AI & computing › Neuromorfe & fotonische chips
Nvidia wil dat je thuisnetwerk een mini-datacenter wordt voor AI
Nvidia introduceert PAIR, een gratis tool die AI-taken automatisch verdeelt over alle computers en videokaarten in huis. Zo hoeft niet één laptop al het zware rekenwerk te doen, maar werken meerdere apparaten samen als een klein datacenter. Volgens Nvidia scheelt dat flink in wachttijd bij complexe AI-taken.
Nvidia lanceert een nieuwe tool die AI-taken verdeelt over alle computers in een huishouden. Personal AI Router, kortweg PAIR, zorgt ervoor dat een verzoek aan een AI-model niet meer op één laptop of videokaart blijft hangen, maar automatisch wordt doorgestuurd naar het apparaat dat toevallig vrij is. Volgens Nvidia scheelt dat flink in wachttijd, vooral bij taken waarbij meerdere AI-assistenten tegelijk aan het werk gaan.
Hoe werkt de tool?
PAIR draait tussen bestaande AI-programma's zoals Ollama en LM Studio en de apparaten in huis. Gebruikers hoeven niets aan te passen aan hun software: PAIR fungeert als een soort virtuele verkeersregelaar die automatisch detecteert welke computers, laptops of videokaarten op het netwerk beschikbaar zijn. Komt er een AI-verzoek binnen, dan verdeelt de tool dat over de vrije apparaten en voegt de resultaten weer samen. Dit is een vorm van gedistribueerde inferentie: het rekenwerk van een AI-model wordt opgesplitst over meerdere computers in plaats van dat één machine alles moet doen. Nvidia demonstreerde het systeem met een taak waarbij vijf zogeheten subagents tegelijk moesten werken, kleinere AI-hulpprogramma's die een grotere taak onderling verdelen. Op een enkele laptop duurde dit achttien minuten. Met een cluster van drie apparaten die via PAIR samenwerkten, was de klus in iets minder dan negen minuten geklaard.
Welke apparaten werken mee?
PAIR ondersteunt een flinke reeks Nvidia-hardware: GeForce RTX-videokaarten vanaf de 20-serie, de professionele RTX Pro-workstations en de compacte DGX Spark-computer. Ook Apple-computers met een M4-chip of nieuwer kunnen meedoen. Al het verkeer tussen de apparaten wordt versleuteld met MTLS, een beveiligingsprotocol waarbij beide kanten van een verbinding zich identificeren voordat data wordt uitgewisseld. De bètaversie van PAIR is beschikbaar voor Windows, macOS en Linux.
Strategie achter de tool
PAIR past in een bredere strategie van Nvidia om open AI-software nauwer te verbinden met de eigen chips. Hoe meer apparaten met Nvidia-hardware nodig zijn om AI-modellen soepel te laten draaien, hoe groter de afhankelijkheid van het bedrijf. Diezelfde koers is zichtbaar in de recente overname van AI-platform Hugging Face voor 12,9 miljard dollar. Door tools als PAIR gratis en open source aan te bieden, hoopt Nvidia dat ontwikkelaars en consumenten AI het liefst lokaal blijven draaien, op eigen hardware in plaats van in de cloud, en dat die hardware bij voorkeur van Nvidia komt.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Als tools zoals PAIR aanslaan, kunnen consumenten straks zware AI-taken thuis uitvoeren zonder dure clouddiensten, door simpelweg de rekenkracht van al hun apparaten te bundelen. Dat versterkt ook de positie van chipmakers als Nvidia, omdat meer lokale AI vraagt om meer eigen hardware in huis. Op termijn kan dit de afhankelijkheid van grote clouddataservers verkleinen, maar de afhankelijkheid van specifieke chipmerken juist vergroten.
- PAIR (Personal AI Router)
- Een gratis, open-source programma van Nvidia dat AI-verzoeken automatisch verdeelt over alle geschikte apparaten in een netwerk.
- Gedistribueerde inferentie
- Het opsplitsen van het rekenwerk van een AI-model over meerdere computers in plaats van één machine alles te laten doen.
- Subagent
- Een kleiner AI-hulpprogramma dat een deel van een grotere taak voor zijn rekening neemt, vaak in samenwerking met andere subagents.
- GPU-cluster
- Een groep videokaarten of computers die samen rekenkracht leveren voor een gedeelde taak.
- MTLS
- Een beveiligingsprotocol waarbij beide kanten van een netwerkverbinding zich eerst identificeren voordat er data wordt uitgewisseld.
- Open source
- Software waarvan de broncode vrij beschikbaar is, zodat iedereen deze kan inzien, gebruiken en aanpassen.
- Lokaal draaien
- AI-modellen laten rekenen op apparatuur in huis of op kantoor, in plaats van via servers van een clouddienst.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
