Lokal AI Del 3: Är det värt det?

I den sista delen tar redaktionen ett steg tillbaka för att fundera över över vägen framåt.

Att svara på frågan om man kan spara pengar med lokal AI, kontra molntjänster, är lite som att svara på frågan "hur långt är ett snöre?". Vad vi på redaktionen däremot kan göra är att svara på frågan hur mycket lösningen kostar oss, och de fall där vi fortfarande ser ett behov av att använda externa tjänster.

Vi har i Del 1 och Del 2 av artikelserien experimenterat med allt från modeller till multi-agenter, men nu skall vi bli lite mer ekonomiska. Låt oss börja med mervärde, snarare än värde.

We are Borg - You will be assimilated

Under resans gång har Nvidia släppt mjukvaran Pair, vars uppgift är att skapa ett kluster av AI-enheter som kan samverka. Vad Pair inte gör är att koppla ihop enheterna till ett enda supergrafikkort med delad minnespool, utan snarare är det en vikariepool med tillgänglig arbetskraft som kan kallas in vid behov. Med tanke på att SweClockers sitter på ett antal grafikkort och datorer, varför inte ge det ett försök?

Mjukvaran installeras på datorerna i nätverket, och för att skapa ett kluster behövs inte mer än att man verifierar med en genererad kod. Därefter väljer vi Ollama, AnythingLLM eller llama.cpp som önskad gateway, och en passande modell. För redaktionens behov uppskattas det att ingen enskild dator är "ägare" till klustret, samt att det går att konfigurera, starta och stänga av tjänster, samt installera modeller på alla datorer i klustret.

Noll till (flera) hundra

Känslan av att få igång parallellt arbete på nätverket kan bäst liknas vid när en barbröstad Tom Hanks proklamerar "I have made fire!".

Det finns tillfällen när vi inte sparar en enda sekund på klustret, och det finns tillfällen när arbetstiden sjunkit med 70-80 procent (!). Det gäller att tänka parallellt. Hur kan en uppgift delas upp i mindre delar, så att agenten kan portitionera ut det, utan överkomplicera arbetet och skapa onödigt många rörliga delar. Exempelvis skulle vi inte dela upp ett videoklipp i flera delar för transkribering, eftersom risken finns att ord klipps på mitten, men vi transkriberar gärna flera videoklipp samtidigt med hjälp av vår vikariepool.

En annan fördel vi uppskattade, men inte hade tänkt på, var att flera datorer på nätverket samtidigt kunde felsöka något som en AI-modell hade skapat, snarare än att vi behövde vänta på att den skapande AI-modellen därefter skulle börja felsöka sitt eget script i rollen som QA.

Samma modell, eller inte?

Mer kompetent hårdvara kan utrustas med tyngre modeller, exempelvis Qwen 3.8 27B, men eftersom Pair skickar ut arbetsuppgifter till lediga datorer per automatik kan en enkel uppgift hamna hos en onödigt tung modell. Vi väljer därför Gemma 4 12B-it, en mellanmodell, på samtliga datorer. Vi får pålitligare resultat, samt att vi vet vad vi kan förvänta oss av modellen.

Ett annat scenario är att sätta upp ett agent-team, där olika roller använder olika modeller, och då enbart skickar sina arbetsuppgifter till specifika datorer (eftersom just dessa har modellen installerad). Det kräver dock att man har mer kontroll över hårdvaran, så att inte en kollega för stunden använder datorn för andra krävande uppgifter.

Allt som allt har Pair varit ett smidigt sätt att göra med mer befintlig hårdvara, utan extra kostnad. Versionsnumret "1.0" skall dock tas med en nypa salt, då mycket dokumentation saknades, samtidigt som mjukvaran var spartansk. Svårighetsgraden är dock inte övermäktig för den som har begränsad erfarenhet av att pilla runt i Gateway-inställningar för mjukvara såsom Hermes.

Väderleksrapport: Fortfarande molnigt

Med kombinationen lokal AI och Claude Pro kommer redaktionen långt.

I mån av löpande utgifter har det visat sig räcka ypperligt med ett Claude Pro-konto för 15 € i månaden. Claude är mer "kreativ", har lättare för att tänka i större perspektiv och arbetar dessutom snabbare - senast har det hjälp oss att förbättra de visuella elementen i recensioner och podcast. Verktyget är särskilt användbart när vi behöver ta fram övergripande strukturer, utveckla idéer och skapa ramverk som vi sedan kan vidareutveckla och förfina lokalt.

På så sätt får vi tillgång till Claudes styrkor utan att behöva förlita oss på det för hela utvecklingsprocessen - vilket snabbt kan kosta skjortan för en mindre verksamhet. Alternativet hade varit att betala betydligt mer för ytterligare kapacitet, eller helt enkelt avbryta arbetet för dagen när vi nått token-gränsen. Agentisk AI lätt kan dra iväg i tokenförbrukning, särskilt vid upprepat skapande och revideringar. Att hålla majoriteten av det agentiska arbetet på vår egen hårdvara säkerställer att arbetet kan fortgå när det behövs som mest.

Med den här lösningen kan vi i stället använda den betalda modellen där den gör störst nytta och sedan fortsätta arbetet med lokala modeller, som visat sig vara fullt förmögna att förvalta Claudes arbete.

Vad kostar hårdvaran?

Minnesklass	Exempel på hårdvara	Uppskattad kostnad
16 GB VRAM	GeForce RTX 5070 Ti, Radeon RX 9070 XT	9 000–15 000 kr
32 GB VRAM	GeForce RTX 5090, Intel Arc Pro B70, Radeon AI PRO R9700	20 000–75 000 kr
64 GB (delat minne)	AMD Ryzen AI Max+ PRO 395-baserade system	50 000–55 000 kr
128 (GB delat minne)	NVIDIA RTX Spark, AMD Ryzen AI Max+ PRO 395	70 000–100 000 kr

Priserna avser grafikkort respektive kompletta datorer och AI-system, beroende på produkt. De är därför inte direkt jämförbara. Kostnaden påverkas även av bland annat SSD-kapacitet, övriga komponenter och vald konfiguration.

Minneskapaciteten är dessutom bara en del av ekvationen. VRAM är ofta den begränsande faktorn på grafikkort, medan andra system med delat minne kan använda en större gemensam minnespool. Det betyder däremot inte att de presterar likvärdigt. Modellstorlek, kvantisering, minnesbandbredd och programvarustöd påverkar också resultatet.

Är det värt det?

För de flesta användare kommer det sannolikt att dröja länge innan egen hårdvara blir mer kostnadseffektiv än molntjänster, särskilt om datorn köps in specifikt för att köra lokala AI-modeller. Kostnaden för grafikkort, minne och övriga komponenter blir snabbt betydande, och för den som bara använder AI sporadiskt är det svårt att motivera investeringen rent ekonomiskt.

För oss entusiaster, småföretagare eller ej, ser kalkylen däremot ofta annorlunda ut. Vi har många gånger redan kraftfulla datorer som klarar av att köra kompetenta modeller lokalt. Då handlar det inte längre om att köpa en helt ny dator, utan snarare om att få ut mer av den hårdvara vi redan äger. Möjligheten att experimentera fritt, slippa löpande kostnader och arbeta utan samma begränsningar i användningen ger dessutom ett mervärde som är svårt att sätta en prislapp på.

Tokenkollen, ett bidrag i den pågående Asus-tävlingen från @TeknikHemmet.

Men hur räknar man egentligen på kostnaden per token, och när blir lokal inferens billigare än att använda molnbaserade modeller? För den som vill få en bättre uppfattning om ekonomin bakom det hela är ett tips att kika på TokenKollen, ett tävlingsbidrag från @TeknikHemmet i en pågående tävling anordnad av Asus. Det ger en utgångspunkt för att jämföra kostnader och förstå hur faktorer som hårdvara, prestanda och användningsvolym påverkar kalkylen.

I slutändan finns det inget universellt svar på om lokal AI är "värt det". För den som bara vill ställa några frågor då och då är en molntjänst sannolikt både enklare och billigare. Men för den som redan har hårdvaran, vill experimentera med egna arbetsflöden eller behöver större kontroll över sin data blir kalkylen en annan.

För oss på SweClockers har den stora vinsten inte varit att ersätta alla molntjänster, utan att hitta rätt balans. Vi använder de verktyg som är bäst lämpade för uppgiften, låter lokala modeller ta vid där de räcker till och betalar för externa tjänster när de faktiskt tillför något. Samtidigt får vi möjlighet att experimentera friare, automatisera fler moment och behålla kontrollen över information som inte nödvändigtvis bör lämna våra egna system (se Del 2: Företagshemlisar och Praktikantjobb).

Lokal AI behöver med andra ord inte vara ett antingen eller. Och kanske är det just där den verkliga nyttan ligger: inte i att ersätta allt vi redan använder, utan i att kunna välja själva.

Har du gått över till lokal AI? Hur ser ditt arbetsflöde ut, och vad har du för tips och lärdomar?