In de openingssessie van zijn introductiecursus over deep learning in 2020 nodigde Alexander Amini, een promovendus aan het Massachusetts Institute of Technology (MIT), een beroemde gast uit: de voormalige Amerikaanse president Barack Obama.
"Deep learning zorgt voor een revolutie op zoveel gebieden, van robotica tot geneeskunde en alles daartussenin", zei Obama, die zich bij de klas voegde via een videoconferentie.
Na wat meer te hebben gesproken over de deugden van kunstmatige intelligentie, deed Obama een belangrijke onthulling: "In feite zijn deze hele toespraak en video niet echt en zijn ze gemaakt met behulp van deep learning en kunstmatige intelligentie."
Amini's Obama-video was in feite een deepfake—Een AI-gemanipuleerde video waarin de gezichtsbewegingen van een acteur worden overgebracht naar die van een doelwit.
Sinds het voor het eerst verscheen in 2018, is de deepfake-technologie geëvolueerd van hobbyistische experimenten tot een effectief en gevaarlijk hulpmiddel.
Deepfakes zijn gebruikt tegen beroemdheden en politici en zijn een bedreiging geworden voor de waarheid zelf.
Hoe werken deepfakes?
Deepfake-applicaties werken op verschillende manieren.
Sommigen zetten de gezichtsbewegingen van een acteur over naar een doelvideo, zoals degene die we aan het begin van dit artikel zagen, of deze deepfake van Obama gemaakt door komiek Jordan Peele om te waarschuwen voor de dreiging van nepnieuws:
Andere deepfakes brengen het gezicht van een doelwit in kaart op andere video's - bijvoorbeeld deze video van Nicolas Cage's gezicht in kaart gebracht op dat van personages in verschillende films.
Net als de meeste hedendaagse op AI-gebaseerde toepassingen, gebruiken deepfakes diepe neurale netwerken (daar komt het 'diepe' in deepfake vandaan), een type AI-algoritme dat vooral goed is in het vinden van patronen en correlaties in grote datasets.
Neurale netwerken hebben bewezen vooral goed te zijn in computervisie, de tak van informatica en AI die met visuele gegevens omgaat.
Deepfakes gebruikt een speciaal type neurale netwerkstructuur, een 'autoencoder' genaamd.
Autoencoders bestaan ??uit twee delen: een encoder, die een afbeelding comprimeert tot een kleine hoeveelheid gegevens; en een decoder, die de gecomprimeerde gegevens terug naar het oorspronkelijke beeld decomprimeert.
Het mechanisme is vergelijkbaar met dat van beeld- en videocodecs zoals JPEG en MPEG.
Afbeelding ter beschikking gesteld door Two Minute Papers Maar in tegenstelling tot klassieke encoder / decodersoftware, die werkt op groepen pixels, werkt de autoencoder op de functies die in afbeeldingen worden aangetroffen, zoals vormen, objecten en texturen.
Een goed getrainde autoencoder kan verder gaan dan compressie en decompressie en andere taken uitvoeren, bijvoorbeeld nieuwe afbeeldingen genereren of ruis verwijderen uit korrelige afbeeldingen.
Wanneer een autoencoder is getraind op afbeeldingen van gezichten, leert hij de kenmerken van het gezicht: de ogen, neus, mond, wenkbrauwen, enzovoort.
Deepfake-applicaties gebruiken twee autoencoders: de ene is getraind op het gezicht van de actor en de andere getraind op het gezicht van het doelwit.
De applicatie wisselt de inputs en outputs van de twee autoencoders om de gezichtsbewegingen van de actor naar het doelwit over te brengen.
Wat maakt Deepfakes speciaal?
Deepfake-technologie is niet de enige technologie waarmee gezichten in video's kunnen worden verwisseld.
In feite doet de VFX-industrie (visuele effecten) dit al tientallen jaren.
Maar vóór deepfakes was de mogelijkheid beperkt tot filmstudio's met diepe zakken met toegang tot overvloedige technische bronnen.
Deepfakes hebben de mogelijkheid om gezichten in video's te wisselen gedemocratiseerd.
De technologie is nu beschikbaar voor iedereen die een computer heeft met een degelijke processor en sterke grafische kaart (zoals de Nvidia GeForce GTX 1080) of een paar honderd dollar kan uitgeven om cloud computing en GPU-resources te huren.
Dat gezegd hebbende, het maken van deepfakes is niet triviaal en ook niet volledig geautomatiseerd.
De technologie wordt langzamerhand beter, maar het maken van een fatsoenlijke deepfake vereist nog steeds veel tijd en handmatig werk.
Eerst moet je veel foto's verzamelen van de gezichten van het doelwit en de acteur, en die foto's moeten elk gezicht vanuit verschillende hoeken laten zien.
Het proces omvat meestal het pakken van duizenden frames van video's met het doelwit en de acteur en deze bijsnijden om alleen de gezichten te bevatten.
Nieuwe deepfake-tools zoals Faceswap kunnen een deel van het beenwerk doen door het extraheren en bijsnijden van frames te automatiseren, maar ze moeten nog steeds handmatig worden aangepast.
Het trainen van het AI-model en het maken van de deepfake kan enkele dagen tot twee weken duren, afhankelijk van uw hardwareconfiguratie en de kwaliteit van uw trainingsgegevens.
De gevaren van Deepfakes
Het maken van leuke educatieve video's en aangepaste casts voor uw favoriete films zijn niet de enige toepassingen van deepfakes.
Video's met kunstmatige intelligentie hebben een donkere kant die veel prominenter is geworden dan het positieve en goedaardige gebruik ervan.
Kort nadat het eerste deepfake-programma was uitgebracht, werd Reddit overspoeld met nepporno-video's met beroemdheden en politici.
Samen met deepfakes heeft de ontwikkeling van andere AI-aangedreven technologieën het mogelijk gemaakt om niet alleen het gezicht maar ook de stem van vrijwel iedereen te vervalsen.
Aanbevolen door onze redacteuren
De opkomst van deepfakes heeft ook voor andere zorgen gezorgd.
Hier is een actueel: als iemand technologie kan gebruiken om nepporno te maken, wat weerhoudt slechte acteurs er dan van nepvideo's te verspreiden van politici die controversiële opmerkingen maken?
Met berichten over hoe algoritmen voor sociale media de verspreiding van valse informatie versnellen, is de dreiging van een nepnieuwscrisis veroorzaakt door deepfake-technologie een serieuze zorg geworden, vooral nu de VS zich voorbereiden op de presidentsverkiezingen van 2020.
Amerikaanse wetgevers hebben deepfakes aangemerkt als een bedreiging voor de nationale veiligheid en hebben verschillende hoorzittingen gehouden over het mogelijke misbruik van de technologie om de publieke opinie te beïnvloeden door middel van desinformatiecampagnes.
En we hebben een hele reeks wetgevende maatregelen gezien om deepfakes te verbieden en de mensen die ze maken en verspreiden ter verantwoording te roepen.
De strijd tegen deepfakes
Eerdere deepfakes bevatten visuele artefacten die zichtbaar waren voor het blote oog, waaronder onnatuurlijke knipperende ogen en abnormale huidskleurvariaties.
Maar deepfakes worden voortdurend verbeterd.
Onderzoekers hebben nieuwe technieken bedacht om diepe vervalsingen te detecteren, maar zien dat ze ineffectief worden naarmate de technologie blijft evolueren en natuurlijkere resultaten oplevert.
Dus nu de presidentsverkiezingen van 2020 dichterbij komen, hebben grote technologiebedrijven en overheidsinstanties zich ingespannen om de verspreiding van deepfakes tegen te gaan.
In september lanceerden Facebook, Microsoft en verschillende universiteiten een wedstrijd om tools te ontwikkelen die deepfakes en andere AI-gemanipuleerde video's kunnen detecteren.
"Dit is een constant evoluerend probleem, net als spam of andere vijandige uitdagingen, en we hopen dat door de industrie en de AI-gemeenschap te helpen samen te komen, we sneller vooruitgang kunnen boeken", schreef Facebook CTO Michael Schroepfer in een blogpost die de Deepfake introduceerde.
Detectie-uitdaging.
De socialemediagigant heeft $ 10 miljoen uitgetrokken voor de industriebrede inspanning.
DARPA, de onderzoekstak van het ministerie van Defensie, heeft ook een initiatief gelanceerd om de verspreiding van deepfakes en andere geautomatiseerde desinformatie-aanvallen tegen te gaan.
Naast het detecteren van gemanipuleerde video's en afbeeldingen, zal DARPA zoeken naar manieren om de attributie en identificatie van de partijen die betrokken zijn bij het creëren van nepmedia te vergemakkelijken.
Andere inspanningen op universiteiten en onderzoekslaboratoria variëren van het gebruik van deep learning om gewijzigde gebieden in afbeeldingen te detecteren tot het gebruik van blockchain om een ??grondwaarheid vast te stellen en betrouwbare video's te registreren.
Maar al met al zijn onderzoekers het erover eens dat de strijd tegen deepfakes een kat-en-muis-achtervolging is geworden.
Zoals een onderzoeker me vorig jaar vertelde: “Wat we ook doen, mensen die deze manipulaties creëren, bedenken iets anders.
Ik weet niet of er ooit een tijd zal zijn waarin we elke vorm van manipulatie kunnen detecteren.
"
In de openingssessie van zijn introductiecursus over deep learning in 2020 nodigde Alexander Amini, een promovendus aan het Massachusetts Institute of Technology (MIT), een beroemde gast uit: de voormalige Amerikaanse president Barack Obama.
"Deep learning zorgt voor een revolutie op zoveel gebieden, van robotica tot geneeskunde en alles daartussenin", zei Obama, die zich bij de klas voegde via een videoconferentie.
Na wat meer te hebben gesproken over de deugden van kunstmatige intelligentie, deed Obama een belangrijke onthulling: "In feite zijn deze hele toespraak en video niet echt en zijn ze gemaakt met behulp van deep learning en kunstmatige intelligentie."
Amini's Obama-video was in feite een deepfake—Een AI-gemanipuleerde video waarin de gezichtsbewegingen van een acteur worden overgebracht naar die van een doelwit.
Sinds het voor het eerst verscheen in 2018, is de deepfake-technologie geëvolueerd van hobbyistische experimenten tot een effectief en gevaarlijk hulpmiddel.
Deepfakes zijn gebruikt tegen beroemdheden en politici en zijn een bedreiging geworden voor de waarheid zelf.
Hoe werken deepfakes?
Deepfake-applicaties werken op verschillende manieren.
Sommigen zetten de gezichtsbewegingen van een acteur over naar een doelvideo, zoals degene die we aan het begin van dit artikel zagen, of deze deepfake van Obama gemaakt door komiek Jordan Peele om te waarschuwen voor de dreiging van nepnieuws:
Andere deepfakes brengen het gezicht van een doelwit in kaart op andere video's - bijvoorbeeld deze video van Nicolas Cage's gezicht in kaart gebracht op dat van personages in verschillende films.
Net als de meeste hedendaagse op AI-gebaseerde toepassingen, gebruiken deepfakes diepe neurale netwerken (daar komt het 'diepe' in deepfake vandaan), een type AI-algoritme dat vooral goed is in het vinden van patronen en correlaties in grote datasets.
Neurale netwerken hebben bewezen vooral goed te zijn in computervisie, de tak van informatica en AI die met visuele gegevens omgaat.
Deepfakes gebruikt een speciaal type neurale netwerkstructuur, een 'autoencoder' genaamd.
Autoencoders bestaan ??uit twee delen: een encoder, die een afbeelding comprimeert tot een kleine hoeveelheid gegevens; en een decoder, die de gecomprimeerde gegevens terug naar het oorspronkelijke beeld decomprimeert.
Het mechanisme is vergelijkbaar met dat van beeld- en videocodecs zoals JPEG en MPEG.
Afbeelding ter beschikking gesteld door Two Minute Papers Maar in tegenstelling tot klassieke encoder / decodersoftware, die werkt op groepen pixels, werkt de autoencoder op de functies die in afbeeldingen worden aangetroffen, zoals vormen, objecten en texturen.
Een goed getrainde autoencoder kan verder gaan dan compressie en decompressie en andere taken uitvoeren, bijvoorbeeld nieuwe afbeeldingen genereren of ruis verwijderen uit korrelige afbeeldingen.
Wanneer een autoencoder is getraind op afbeeldingen van gezichten, leert hij de kenmerken van het gezicht: de ogen, neus, mond, wenkbrauwen, enzovoort.
Deepfake-applicaties gebruiken twee autoencoders: de ene is getraind op het gezicht van de actor en de andere getraind op het gezicht van het doelwit.
De applicatie wisselt de inputs en outputs van de twee autoencoders om de gezichtsbewegingen van de actor naar het doelwit over te brengen.
Wat maakt Deepfakes speciaal?
Deepfake-technologie is niet de enige technologie waarmee gezichten in video's kunnen worden verwisseld.
In feite doet de VFX-industrie (visuele effecten) dit al tientallen jaren.
Maar vóór deepfakes was de mogelijkheid beperkt tot filmstudio's met diepe zakken met toegang tot overvloedige technische bronnen.
Deepfakes hebben de mogelijkheid om gezichten in video's te wisselen gedemocratiseerd.
De technologie is nu beschikbaar voor iedereen die een computer heeft met een degelijke processor en sterke grafische kaart (zoals de Nvidia GeForce GTX 1080) of een paar honderd dollar kan uitgeven om cloud computing en GPU-resources te huren.
Dat gezegd hebbende, het maken van deepfakes is niet triviaal en ook niet volledig geautomatiseerd.
De technologie wordt langzamerhand beter, maar het maken van een fatsoenlijke deepfake vereist nog steeds veel tijd en handmatig werk.
Eerst moet je veel foto's verzamelen van de gezichten van het doelwit en de acteur, en die foto's moeten elk gezicht vanuit verschillende hoeken laten zien.
Het proces omvat meestal het pakken van duizenden frames van video's met het doelwit en de acteur en deze bijsnijden om alleen de gezichten te bevatten.
Nieuwe deepfake-tools zoals Faceswap kunnen een deel van het beenwerk doen door het extraheren en bijsnijden van frames te automatiseren, maar ze moeten nog steeds handmatig worden aangepast.
Het trainen van het AI-model en het maken van de deepfake kan enkele dagen tot twee weken duren, afhankelijk van uw hardwareconfiguratie en de kwaliteit van uw trainingsgegevens.
De gevaren van Deepfakes
Het maken van leuke educatieve video's en aangepaste casts voor uw favoriete films zijn niet de enige toepassingen van deepfakes.
Video's met kunstmatige intelligentie hebben een donkere kant die veel prominenter is geworden dan het positieve en goedaardige gebruik ervan.
Kort nadat het eerste deepfake-programma was uitgebracht, werd Reddit overspoeld met nepporno-video's met beroemdheden en politici.
Samen met deepfakes heeft de ontwikkeling van andere AI-aangedreven technologieën het mogelijk gemaakt om niet alleen het gezicht maar ook de stem van vrijwel iedereen te vervalsen.
Aanbevolen door onze redacteuren
De opkomst van deepfakes heeft ook voor andere zorgen gezorgd.
Hier is een actueel: als iemand technologie kan gebruiken om nepporno te maken, wat weerhoudt slechte acteurs er dan van nepvideo's te verspreiden van politici die controversiële opmerkingen maken?
Met berichten over hoe algoritmen voor sociale media de verspreiding van valse informatie versnellen, is de dreiging van een nepnieuwscrisis veroorzaakt door deepfake-technologie een serieuze zorg geworden, vooral nu de VS zich voorbereiden op de presidentsverkiezingen van 2020.
Amerikaanse wetgevers hebben deepfakes aangemerkt als een bedreiging voor de nationale veiligheid en hebben verschillende hoorzittingen gehouden over het mogelijke misbruik van de technologie om de publieke opinie te beïnvloeden door middel van desinformatiecampagnes.
En we hebben een hele reeks wetgevende maatregelen gezien om deepfakes te verbieden en de mensen die ze maken en verspreiden ter verantwoording te roepen.
De strijd tegen deepfakes
Eerdere deepfakes bevatten visuele artefacten die zichtbaar waren voor het blote oog, waaronder onnatuurlijke knipperende ogen en abnormale huidskleurvariaties.
Maar deepfakes worden voortdurend verbeterd.
Onderzoekers hebben nieuwe technieken bedacht om diepe vervalsingen te detecteren, maar zien dat ze ineffectief worden naarmate de technologie blijft evolueren en natuurlijkere resultaten oplevert.
Dus nu de presidentsverkiezingen van 2020 dichterbij komen, hebben grote technologiebedrijven en overheidsinstanties zich ingespannen om de verspreiding van deepfakes tegen te gaan.
In september lanceerden Facebook, Microsoft en verschillende universiteiten een wedstrijd om tools te ontwikkelen die deepfakes en andere AI-gemanipuleerde video's kunnen detecteren.
"Dit is een constant evoluerend probleem, net als spam of andere vijandige uitdagingen, en we hopen dat door de industrie en de AI-gemeenschap te helpen samen te komen, we sneller vooruitgang kunnen boeken", schreef Facebook CTO Michael Schroepfer in een blogpost die de Deepfake introduceerde.
Detectie-uitdaging.
De socialemediagigant heeft $ 10 miljoen uitgetrokken voor de industriebrede inspanning.
DARPA, de onderzoekstak van het ministerie van Defensie, heeft ook een initiatief gelanceerd om de verspreiding van deepfakes en andere geautomatiseerde desinformatie-aanvallen tegen te gaan.
Naast het detecteren van gemanipuleerde video's en afbeeldingen, zal DARPA zoeken naar manieren om de attributie en identificatie van de partijen die betrokken zijn bij het creëren van nepmedia te vergemakkelijken.
Andere inspanningen op universiteiten en onderzoekslaboratoria variëren van het gebruik van deep learning om gewijzigde gebieden in afbeeldingen te detecteren tot het gebruik van blockchain om een ??grondwaarheid vast te stellen en betrouwbare video's te registreren.
Maar al met al zijn onderzoekers het erover eens dat de strijd tegen deepfakes een kat-en-muis-achtervolging is geworden.
Zoals een onderzoeker me vorig jaar vertelde: “Wat we ook doen, mensen die deze manipulaties creëren, bedenken iets anders.
Ik weet niet of er ooit een tijd zal zijn waarin we elke vorm van manipulatie kunnen detecteren.
"
