Toen Mohammad Haft-Javaherian, een student aan het Massachusetts Institute of Technology, in januari de Green AI Hackathon van MIT bijwoonde, was het uit nieuwsgierigheid om meer te weten te komen over de mogelijkheden van een nieuw supercomputercluster dat tijdens het evenement werd getoond.
Maar wat hij had gepland als een verkenning van een uur naar een coole nieuwe server, trok hem naar een driedaagse wedstrijd om energie-efficiënte kunstmatige-intelligentieprogramma's te maken.
De ervaring resulteerde in een openbaring voor Haft-Javaherian, die onderzoek doet naar het gebruik van AI in de gezondheidszorg: "De clusters die ik dagelijks gebruik om modellen te bouwen met als doel de gezondheidszorg te verbeteren, hebben een koolstofvoetafdruk", zegt Haft-Javaherian.
De processors die worden gebruikt bij de ontwikkeling van kunstmatige intelligentie-algoritmen verbruiken veel elektriciteit.
En in de afgelopen jaren, naarmate het gebruik van AI is toegenomen, zijn het energieverbruik en de CO2-uitstoot een zorg voor het milieu geworden.
"Ik veranderde mijn plan en bleef de hele hackathon om aan mijn project te werken met een ander doel: mijn modellen verbeteren in termen van energieverbruik en efficiëntie", zegt Haft-Javaherian, die wegliep met een prijs van $ 1.000 van de hackathon.
Hij beschouwt de CO2-uitstoot nu als een belangrijke factor bij het ontwikkelen van nieuwe AI-systemen.
Maar in tegenstelling tot Haft-Javaherian, zien veel ontwikkelaars en onderzoekers de milieukosten van hun AI-projecten over het hoofd of blijven ze zich niet bewust.
In het tijdperk van cloud computing-services kunnen ontwikkelaars binnen enkele minuten online servers huren met tientallen CPU's en sterke grafische processors (GPU's) en snel krachtige kunstmatige-intelligentiemodellen ontwikkelen.
En naarmate hun rekenbehoeften toenemen, kunnen ze met een paar klikken meer processors en GPU's toevoegen (zolang ze de rekening kunnen betalen), niet wetende dat ze met elke toegevoegde processor bijdragen aan de vervuiling van onze groene planeet.
Waarom verbruikt AI zoveel energie?
De recente stijging van het energieverbruik van AI wordt grotendeels veroorzaakt door de toenemende populariteit van deep learning, een tak van kunstmatige intelligentie-algoritmen die afhankelijk is van het verwerken van enorme hoeveelheden gegevens.
"Moderne algoritmen voor machine learning maken gebruik van diepe neurale netwerken, dit zijn zeer grote wiskundige modellen met honderden miljoenen - of zelfs miljarden - parameters", zegt Kate Saenko, universitair hoofddocent bij de afdeling Computerwetenschappen aan de Universiteit van Boston en directeur van de Computer Visie en leergroep.
Deze vele parameters stellen neurale netwerken in staat om gecompliceerde problemen op te lossen, zoals het classificeren van afbeeldingen, het herkennen van gezichten en stemmen en het genereren van coherente en overtuigende tekst.
Maar voordat ze deze taken met optimale nauwkeurigheid kunnen uitvoeren, moeten neurale netwerken een "training" ondergaan, wat inhoudt dat ze hun parameters afstemmen door ingewikkelde berekeningen uit te voeren op een groot aantal voorbeelden.
“Om het nog erger te maken, leert het netwerk niet direct na het een keer zien van de trainingsvoorbeelden; het moet vele malen voorbeelden worden getoond voordat de parameters goed genoeg worden om een ??optimale nauwkeurigheid te bereiken, ”zegt Saenko.
Al deze berekeningen vereisen veel elektriciteit.
Volgens een studie van onderzoekers van de Universiteit van Massachusetts, Amherst, kan de elektriciteit die wordt verbruikt tijdens de training van een transformator, een soort diepgaand leeralgoritme, meer dan 626.000 pond kooldioxide uitstoten - bijna vijf keer de uitstoot van een gemiddelde Amerikaanse auto.
Een andere studie wees uit dat AlphaZero, het go- en schaakspel-AI-systeem van Google, 192.000 pond CO2 genereerde tijdens de training.
Om eerlijk te zijn, niet alle AI-systemen zijn zo duur.
Transformatoren worden gebruikt in een fractie van diepgaande leermodellen, meestal in geavanceerde natuurlijke-taalverwerkingssystemen zoals OpenAI's GPT-2 en BERT, die onlangs in de zoekmachine van Google zijn geïntegreerd.
En weinig AI-labs hebben de financiële middelen om dure AI-modellen zoals AlphaZero te ontwikkelen en te trainen.
Ook nadat een deep-learning-model is getraind, vereist het gebruik ervan veel minder kracht.
“Voor een getraind netwerk om voorspellingen te doen, hoeft het maar één keer naar de invoergegevens te kijken, en het is maar één voorbeeld in plaats van een hele grote database.
Inferenties zijn dus veel goedkoper om rekenkundig te doen ”, zegt Saenko.
Veel deep-learning-modellen kunnen op kleinere apparaten worden geïmplementeerd nadat ze op grote servers zijn getraind.
Veel toepassingen van edge AI draaien nu op mobiele apparaten, drones, laptops en IoT-apparaten (Internet of Things).
Maar zelfs kleine modellen voor diep leren verbruiken veel energie in vergelijking met andere software.
En gezien de uitbreiding van deep-learningtoepassingen, ontwikkelen de cumulatieve kosten van de rekenresources die worden toegewezen aan het trainen van neurale netwerken zich tot een probleem.
“We beginnen pas te beseffen hoe energie-intensief de huidige AI-technieken zijn.
Als je bedenkt hoe snel AI groeit, kun je zien dat we in een niet-duurzame richting gaan ”, zegt John Cohn? IBM Fellow en onderzoekswetenschapper bij het MIT-IBM Watson AI Lab, die mede-leiding gaf aan de Green AI-hackathon bij MIT.
Volgens een schatting kan in 2030 meer dan 6 procent van de energie in de wereld worden verbruikt door datacenters.
“Ik denk niet dat het zover komt, hoewel ik denk dat oefeningen zoals onze hackathon laten zien hoe creatief ontwikkelaars kunnen zijn als ze feedback krijgen over de keuzes die ze maken.
Hun oplossingen zullen veel efficiënter zijn ”, zegt Cohn.
Energiezuinige AI-hardware creëren
“CPU's, GPU's en cloudservers zijn niet ontworpen voor AI-werk.
Ze zijn ervoor gebruikt en zijn daardoor minder efficiënt dan processors die speciaal zijn ontworpen voor AI-werk, ”zegt Andrew Feldman, CEO en medeoprichter van Cerebras Systems.
Hij vergelijkt het gebruik van krachtige generieke processors voor AI met het gebruik van een 18-wielige vrachtwagen om de kinderen naar de voetbaltraining te brengen.
Cerebras is een van de weinige bedrijven die gespecialiseerde hardware voor AI-algoritmen maken.
Vorig jaar kwam het uit heimelijkheid met de release van de CS-1, een enorme processor met 1,2 biljoen transistors, 18 gigabyte on-chip geheugen en 400.000 verwerkingskernen.
Hierdoor kan de CS-1, de grootste computerchip ooit gemaakt, een volledig deep learning-model huisvesten zonder dat er met andere componenten hoeft te worden gecommuniceerd.
"Bij het bouwen van een chip is het belangrijk op te merken dat de communicatie op de chip snel en energiezuinig is, terwijl de communicatie tussen chips langzaam is en veel energie vraagt", zegt Feldman.
“Door een zeer grote chip te bouwen, houdt Cerebras de berekening en de communicatie op één enkele chip, waardoor het totale stroomverbruik drastisch wordt verminderd.
GPU's daarentegen clusteren veel chips samen via complexe schakelaars.
Dit vereist frequente communicatie buiten de chip, via schakelaars en terug naar andere chips.
Dit proces is traag, inefficiënt en vergt veel energie.
"
De CS-1 gebruikt een tiende van het vermogen en de ruimte van een rack met GPU's dat het equivalente rekenvermogen zou leveren.
Satori, de nieuwe supercomputer die IBM voor MIT heeft gebouwd en tentoongesteld tijdens de Green AI-hackathon, is ook ontworpen om energie-efficiënte AI-training uit te voeren.
Satori werd onlangs beoordeeld als een van 's werelds groenste supercomputers.
"Satori is uitgerust om gebruikers energie / koolstof-feedback te geven, waardoor het een uitstekend 'laboratorium' is voor het verbeteren van de koolstofvoetafdruk van zowel AI-hardware als -software", zegt IBM's Cohn.
Aanbevolen door onze redacteuren
Cohn is ook van mening dat de energiebronnen die worden gebruikt om AI-hardware van stroom te voorzien, net zo belangrijk zijn.
Satori is nu gehuisvest in het Massachusetts Green High Performance Computing Center (MGHPCC), dat bijna uitsluitend wordt aangedreven door hernieuwbare energie.
“We hebben onlangs de kosten berekend van een hoge werkdruk op Satori bij MGHPCC in vergelijking met de gemiddelde supercomputer in een datacenter met behulp van de gemiddelde mix van energiebronnen.
De resultaten zijn verbluffend: een jaar dat de Satori wordt belast, zou evenveel koolstof in de lucht vrijkomen als wordt opgeslagen in ongeveer vijf volgroeide esdoorns.
Als de 'gemiddelde' machine met dezelfde belasting wordt belast, komt het koolstofequivalent van ongeveer 280 esdoorns vrij ”, zegt Cohn.
Yannis Paschalidis, de directeur van het Center for Information and Systems Engineering van Boston University, stelt een betere integratie van datacenters en energienetwerken voor, die hij omschrijft als "demand-response" -modellen.
“Het idee is om te coördineren met het net om het verbruik op aanvraag te verminderen of te verhogen, afhankelijk van vraag en aanbod van elektriciteit.
Dit helpt nutsbedrijven om het net beter te beheren en meer hernieuwbare energiebronnen in de productiemix te integreren ”, zegt Paschalidis.
Wanneer hernieuwbare energievoorzieningen zoals zonne- en windenergie bijvoorbeeld schaars zijn, kunnen datacenters worden geïnstrueerd om het verbruik te verminderen door rekenopdrachten te vertragen en AI-taken met lage prioriteit te onderbreken.
En als er een overvloed aan hernieuwbare energie is, kunnen de datacenters het verbruik verhogen door berekeningen te versnellen.
De slimme integratie van elektriciteitsnetten en AI-datacenters, zegt Paschalidis, zal helpen om de intermittentie van hernieuwbare energiebronnen te beheersen en tegelijkertijd de behoefte aan te veel stand-bycapaciteit in slapende elektriciteitscentrales te verminderen.
De toekomst van energie-efficiënte AI
Wetenschappers en onderzoekers zoeken naar manieren om AI-systemen te maken die tijdens de training geen enorme hoeveelheden gegevens nodig hebben.
Het menselijk brein, dat AI-wetenschappers proberen te repliceren, gebruikt immers een fractie van de gegevens en kracht die de huidige AI-systemen gebruiken.
Tijdens de AAAI-conferentie van dit jaar besprak Yann LeCun, een pionier op het gebied van diep leren, zelfsturend leren, systemen voor diep leren die kunnen leren met veel minder gegevens.
Anderen, waaronder cognitiewetenschapper Gary Marcus, zijn van mening dat hybride kunstmatige intelligentie de weg vooruit is, een combinatie van neurale netwerken en de meer klassieke, op regels gebaseerde benadering van AI.
Hybride AI-systemen hebben bewezen meer data- en energie-efficiënter te zijn dan pure neurale netwerkgebaseerde systemen.
“Het is duidelijk dat het menselijk brein geen grote hoeveelheden gelabelde data nodig heeft.
We kunnen generaliseren op basis van relatief weinig voorbeelden en met gezond verstand de wereld achterhalen.
Dus,...
