Nieuwe rekentool laat zien wanneer een eigen AI-computer zich terugverdient

Steeds meer mensen draaien taalmodellen zoals ChatGPT niet via internet, maar op hun eigen computer. Dat kan met de juiste hardware, mits die genoeg werkgeheugen en rekenkracht heeft. Het voordeel: geen maandelijks abonnement en volledige controle over je data. Het nadeel: de aanschaf van geschikte apparatuur is duur. De nieuwe website Sunk Cost, gemaakt door een onafhankelijke ontwikkelaar, rekent voor gebruikers uit wanneer die investering zich terugverdient ten opzichte van het betalen per gebruik bij een clouddienst.

De tool vraagt naar het type computer dat iemand overweegt of al bezit, inclusief de hoeveelheid geheugen, het stroomverbruik en de geheugenbandbreedte van de videokaart. Die bandbreedte bepaalt in belangrijke mate hoe snel een large language model tekst kan genereren: hoe meer gegevens per seconde tussen geheugen en processor heen en weer kunnen, hoe vlotter de AI antwoord geeft. Waar geen directe meetgegevens beschikbaar zijn, schat de tool de snelheid op basis van deze bandbreedte gedeeld door het aantal bytes dat nodig is per AI-token, het kleine tekstfragment waarin taalmodellen taal verwerken.

Elektriciteit versus abonnementskosten

Vervolgens vult de gebruiker in hoe intensief de AI gebruikt gaat worden: hoeveel tokens per dag, hoe groot het gewenste contextvenster moet zijn, en tegen welke prijs per kilowattuur stroom wordt afgerekend. Ook worden aannames meegenomen over dalende prijzen van commerciële AI-diensten, aangezien aanbieders als OpenAI en Google hun tarieven de afgelopen jaren geleidelijk verlaagden. Op basis van al deze factoren berekent Sunk Cost een concreet aantal dagen of maanden waarna de eigen hardware voordeliger uitpakt dan doorlopend betalen voor toegang tot een extern AI-model.

Privacyvriendelijk ontwerp

Opvallend is de manier waarop de tool omgaat met gebruikersgegevens. Alleen wanneer iemand metingen doet op de eigen machine, worden snelheid en geschatte kosten naar de makers gestuurd om de schattingen voor toekomstige bezoekers te verbeteren. Daarbij wordt geen IP-adres of cookie opgeslagen, enkel het land van herkomst. Browsers die op 'niet volgen' staan ingesteld, versturen zelfs helemaal niets. Zo probeert de tool bruikbare gemiddelden te verzamelen zonder de privacy van gebruikers op het spel te zetten.

Voor wie regelmatig grote hoeveelheden tekst laat genereren, bijvoorbeeld voor programmeerwerk of contentproductie, kan de rekensom in het voordeel van eigen hardware uitvallen. Voor incidenteel gebruik blijft een abonnement doorgaans goedkoper. De tool maakt deze afweging voor het eerst inzichtelijk met concrete cijfers in plaats van vuistregels.