Eit grafikkort kann brått gjera visse AI-uppgåver dobbelt so snøgt som før, utan at ein skiftar ut ein einaste part. Det er ikkje magi; det er eit fint døme på kva open kjeldekode kann utretta når kunnskapen flyt fritt.
Det opne prosjektet «GPU Unlock Ada» ligg gratis på GitHub, og rettar seg fyrst og fremst mot Linux. Ein liten kjernemodul endrar innstillingane før den vanlege Nvidia-drivaren startar, og endringane forsvinn når kortet misser straumen. Difor treng ingen å skriva om fastvara eller setja inn ein skadeleg drivar.
Utbytet er størst for dei som køyrer tunge AI-modellar lokalt. Eit RTX 4090 kann gjera visse FP16- og BF16-utrekningar med um lag dobbel fart. På eit RTX 3090 Ti auka BF16-ytingi frå 87,5 til 157,4 TFLOPS, og eit RTX 4070 Ti Super gjekk frå rundt 95 til nærare 190 TFLOPS i einskilde målingar. Jamvel eit gamalt kort som RTX 2080 Ti hoppa frå 59,9 til 111 TFLOPS. Det er ikkje eit generelt løft for alle spel, men for den som dreg store språkmodellar heime, merkjer ein skilnad.
Tester med RTX 3090 syner at handsamingi av førespurnader i store språkmodellar kann gå 14 til 36 prosent raskare. Sjølve tekstgenereringi stend meir i ro, av di minnebandbreidda ofte set grensa der. Likevel er det eit stort framsteg for lokal AI, der ein slepp å senda alt til skytjenesta. Eldre kort som RTX 3060, 3070 og 3080 er og nemnde som brukelege, so her fær maskinar eit lenger liv.
Det er noko djupt gledelegt i dette. I staden for å kasta fullt brukande utstyr, kann ein låsa upp meir av den krafti som alt finst i heimane. Det er ein moderne dugnad, der kunnskap vert delt av di nokon vil skyna og betra, ikkje av di dei fær betalt. Denne åndi hev gamle røter i norsk husflid og sjølvhjelp, men ho blømer like friskt i kode og kretskort.
For dei mange som no prøver seg med lokale språkmodellar, tyder dette færre barrierar og større fridom. Ein kann halda på eigne data, prøva nye idear og læra meir, utan at maskinvaren stengjer unødig. Det er ikkje berre eit teknisk funn; det er ei påminning um at mykje godt vert til når menneske delar kunnskap fritt.
Kjelde: ITavisen

Leave a Reply