Knuffeld gezicht: 5 manieren waarop initiatieven AI -uitgaven kunnen verlagen zonder de prestaties te verlaten

1: De taak is het rechtsvormige model

Vermijd standaardwaarden in gigantische, algemene principale modellen voor elk gebruik. Komt overeen met de taakspecifieke of dunne modellen, of zelfs Uitgesloten, grotere modellen van nauwkeurigheid voor doelwerkstress – inclusief lage kosten en verminderde energieverbruikDe

Laksioni, eigenlijk in de test gevonden dat een taakspecifiek model 20 tot 30 keer minder energie gebruikt dan het algemene doel. “Omdat dit een model is dat je in het tegenovergestelde hebt gegooid van elk werk dat je hebt gegooid, wat vaak het geval is met grote taalmodellen,” zei hij.

Wat is de sleutel hier; Een compleet model kan voornamelijk helemaal opnieuw worden getraind en vervolgens worden verfijnd voor een bepaalde baan. Bijvoorbeeld, Depsec en 1 “zo groot dat de meeste bedrijven het niet kunnen gebruiken” omdat je minstens 8 GPU nodig hebt, noemt Luccioni. De dunne versies kunnen daarentegen 10, 20 of zelfs 30x kleiner zijn en kunnen naar een enkele GPU worden gereden.

Over het algemeen werden open-source modellen efficiënt geholpen, zei hij, omdat ze niet helemaal opnieuw hoeven te worden getraind. Het werd slechts een paar jaar geleden vergeleken, toen de initiatieven de middelen vernietigden omdat ze het model dat ze nodig hadden niet konden vinden; Tegenwoordig kunnen ze beginnen met een basismodel en boete-zo-zon en het aanpassen.

“Het biedt een uitgebreide innovatie tegen de Seald, iedereen traint zijn modellen in hun dataset en verpest in feite de berekening in het proces,” zei Lukecioni.

Het wordt duidelijk dat bedrijven snel worden verward met Jenner AI, omdat de kosten nog niet evenredig zijn met het gemak. In het geval van generiek gebruik is dergelijke e -mail schrijven of vergaderbiljetten gerepliceerd, is echt nuttig. Taakspecifieke modellen hebben echter nog steeds “veel werk” nodig omdat de modellen buiten de doos het niet snijden en het nog duurder is, zei Luccioni.

Het is de volgende rand van de bijgevoegde kwaliteit. “Veel bedrijven willen geen specifieke werk doen,” zei Lukiani. “Ze willen geen Agi, ze willen een specifieke intelligentie. En dit is de kloof die moet worden overbrugd.”

2 Standaard de vaardigheden

Neem de “noodtheorie” in het systeemontwerp, stel het conservatieve argumentenbudget in, beperk generatorfuncties altijd en vereist opt-in voor hooguitgeëerde berekeningsmodi.

In de cognitieve wetenschap is “Nood Theory” een methode om een gedragsverandering te beheren die is ontworpen om het menselijk gedrag subtiel te beïnvloeden. Luccioni vermeldt: “Canonical voorbeeld”, takeout is het toevoegen van Cutlary: mensen beslissen of ze plastic vaten willen zonder elke bestelling automatisch op te nemen, kan afval aanzienlijk verminderen.

“Gewoon uit iets komen versus iets is een heel sterk proces om het gedrag te veranderen van mensen die gewoon uit iets komen.”

Standaardprocessen zijn ook onnodig, omdat ze het gebruik en dus kosten verhogen omdat modellen meer werken dan ze nodig hebben. Met populaire zoekmachines zoals Google bijvoorbeeld, zijn een geneer AI -samenvattingen standaard automatisch aan de top automatisch aan de top. Lukioni vermeldt ook dat toen hij onlangs GPT -5 van OpenAee gebruikte, het model automatisch in de volledige logische modus werkte in “zeer gemeenschappelijke vraag”.

“Voor mij zou dit de uitzondering moeten zijn,” zei hij. “Zoals: ‘Wat is de betekenis van het leven, maar zeker, ik wil algemene AI -samenvatting’ Maar ‘Wat is het weer van Montreal, wat zijn de openingen van mijn lokale apotheek?’ Ik heb geen generator AI -samenvatting nodig, maar het lijkt erop dat de standaardmodus geen argument zou moeten zijn.

3 Verbeter het gebruik van hardware

Gebruik batching; Om het schade-geheugen en de stroomtekening te verminderen, past u de correctheid en subtiele batchgrootte aan voor de opgegeven hardware-generatie.

Initiatieven moeten bijvoorbeeld zelf worden gevraagd: moet het model altijd zijn? Zullen mensen het in realtime pingen, zullen 100 verzoeken tegelijk doen? In dat geval is on-the-optimalisatie altijd nodig, vermeldt Lukensioni. Het is echter niet in vele anderen; Het model kan periodiek worden bediend om het gebruik van geheugen te optimaliseren en te zorgen voor het gebruik van het batchen van gunstig geheugen.

“Het is als een technische uitdaging, maar een heel specifiek, dus het is moeilijk te zeggen: ‘Verspreid gewoon alle modellen’ of ‘verander de nauwkeurigheid op alle modellen’ ” ” ‘zei Lukiani.

In een recente studie ontdekte hij dat de grootte van de batch afhankelijk is van de hardware, zelfs in een bepaald type of versie. De grootte van de ene batch kan het gebruik van energie van de plus-één vergroten omdat de modellen meer geheugenstaaf nodig hebben.

“Dit is iets waar mensen niet echt naar kijken, ze zijn net als:” Oh, ik maak de grootte van de batch maximaliseren “, maar het komt echt neer op tweet en plotseling is het heel bekwaam, maar het werkt alleen in je specifieke context,” legde Luccioni uit.

4 Moedig de transparantie van energie aan

Het helpt altijd wanneer mensen worden aangemoedigd; Tot dit doel werd het knuffelgezicht begin dit jaar geïntroduceerd AI Energy ScoreDe meest bekwame modellen zijn een “vijfsterren” -status, met behulp van 1 tot 5-sterren ratingsysteem Het is een chique manier om meer energievaardigheden te bevorderen.

Het kan worden beschouwd als “Energy Star voor AI” en het werd geïnspireerd door een potentieel-te–s-te-federaal programma, dat kwalificatieapparatuur voor merkvaardigheden en een energievaardigheidslogo instelt.

“Decennia lang was het echt een positieve inspiratie, mensen wilden die sterrenbeoordeling, toch?”, Zei Luccioni. “Iets vergelijkbaars met de energiescore zou geweldig zijn.”

Knuffels hebben een Leaderboard is nu opDie van plan is om in september met nieuwe modellen (Depsec, GPT-OS) bij te werken en dit om de 6 maanden of meer te doen zodra de nieuwe modellen beschikbaar zijn. Het doel is dat de modelfabrikanten de rating zullen beschouwen als ‘het badge van Honor’, zei Luccioni.

5. Herschrijf de “meer berekende meer goede” mentaliteit

Begin in plaats van de grootste GPU -clusters te achtervolgen met de vraag: “Wat is de slimste manier om de resultaten te bereiken?” Voor veel werkstress, slimme architectuur en beter uitgeruste gegevens overschrijden de brut-voor-voor-voor-vier skelet.

“Ik denk dat mensen waarschijnlijk niet nodig zijn om te denken dat ze zoveel zijn als zij,” zei Lukiani. In plaats van gewoon naar de grootste clusters te gaan, riep hij de GPU’s op die zou eindigen en waarom ze ze nodig hebben, hoe ze dit soort werk eerder hebben uitgevoerd en de extra GPU heeft eindelijk opgeroepen om te heroverwegen wat ze zijn.

“Dit is de onderkant van dit soort billen waar we een groter cluster nodig hebben,” zei hij. “Je denkt aan wat AI gebruikt, welke strategie heb je nodig, wat heb je nodig?”