Tag: lokal inferens

  • AI-inferens ved vegskiljet

    AI-inferens ved vegskiljet

    Ein liten boks, ikkje større enn ei skoeske, står på skrivebordet og tenkjer. Han driv med kunstig intelligens – ikkje ved å senda spursmål til eit datasenter langt burte, men ved å nytta si eiga kraft. Det som for få år sidan kravde rom på storleik med ein garasje, er no kome inn i heimen. Jerry Zhou, ein utviklar i SGLang-miljøet, fortel at den nye DGX Station-maskina frå Nvidia er kraftig nok til å servera språkmodellar med over 200 milliardar parameter rett frå skrivebordet hans. Utviklingssløyfene vert snøggare når ein kann testa lokalt, segjer han.

    Denne utviklingi er ein del av ei breiare rørsla. Hausten 2026 stend framfor oss med ei lang rekkje nye brikkor for AI-inferens, men det mest slåande er ikkje berre framgangen i yting, men kor snøgt krafti flytter frå dei veldige datasentri og ut til vanlege folk. Det som tidlegare var avhengig av tusenvis av samankopla grafikkprosessorar bak låste dører, kann no romast i ein enkel stasjon på kontoret eller i stovekroken.

    Kva tyder dette? For det fyrste gjev det sjølvråderett. Ein treng ikkje lenger å senda sensitive data til ei sky for å få intelligente svar. Det nederlandske selskapet Axelera peikar på ein utviklar som køyrer millionar av token dagleg på to minimaskiner – og som hev slutta heilt med sky-API for å kutta kostnadar. Datahandsamingi skjer lokalt, nettverksproblemi vert overflødige, og tryggleiken aukar. Over 40 prosent av alle fabrikkar i verdi ventar å nytta kant-granskar-syn innan 2027, og slike lokale loysingar gjer det mogleg å arbeida uavhengig av markedssvingningar.

    Samstundes ser ein at energiforbruket vert drege ned. Nvidia sin GB10-brikke i DGX Spark hev eit varmetap på berre 140 watt, mindre enn ein kraftig speledatamaskin, medan ho leverer heile 1 petaflop ved låg presisjon. Det er eit stort steg mot ein meir berekraftig bruk av kunstig intelligens, der kvart token ikkje krev like mykje straum som ei heil landsby.

    Det er også gledeleg å sjå europeisk kraft i denne utviklingi. Den britiske startupen Fractile, med stønad frå NATO sitt investeringsfond, byggjer inferensbrikkor på RISC‑V og legg vekt på minnearkitektur i sjølve rekneprosessen. Dette er ikkje berre teknologisk interessant, men og eit spursmål om motstandskrafti: ei eiga kjelde til slike brikkor gjer oss mindre sårbare i ei tid då digitale verdikjeder ofte er samansette på andre sida av kloten.

    Det djupaste i denne vendingi er likevel noko meir stillferdig. Når kunstig intelligens vert so tilgjengeleg og so energieffektiv, opnar ho seg for eit mangfald av bruk: for den lokale handverkaren som treng hjelp til å tyda tekniske teikningar, for læraren i grendaskulen som vil laga tilpassa lærestoff, for bonden som ynskjer å tolka dronebilete av åkrane. Teknologien er ikkje lenger ein gigant som stirar ned på oss frå skyi, men ein medhjelpar som får plass i verktykista.

    Her stend ein ved eit vegskil for AI-inferens. Vegen framover er ikkje berre storleik og sentralisering, men også nærleik, sjølvråderett og stille yting. Det er ei vending som heidrar den gamle vestlandske dygdi: Ein finn ut av det, med dei reiskapar ein hev.

    Kjelde: eeNews Europe

Fylg oss: YouTube Telegram
Meld deg inn i Vestlandske Mållag

Få dei fem viktigaste sakene frå Vestmennene rett i innboksen - éin e-post i veka.

Andre prosjekt: Fjordgefluster.no Nordisches.se Maalmannen.no