Algoritmer bestämmer mycket om hur vi lever och arbetar online.
De bestämmer vad vi ser online och kan berätta vilken typ av vård vi ska få.
I det här avsnittet av Fast Forward förklarar Michael Kearns, medförfattare till The Ethical Algorithm: The Science of Ethical Algorithm Design, hur AI-system kommer att förändra världen till det bättre - om vi utformar dem på rätt sätt.
Dan Costa: Du är professor i dator- och informationsvetenskap vid University of Pennsylvania och du har skrivit en bok som heter Den etiska algoritmen: Vetenskapen om socialt medveten algoritmdesign med medförfattare Aaron Roth, också vid University of Pennsylvania.
Det presenterar verkligen en ram för hur vi kan bygga moraliska maskiner som faktiskt kommer att följa den typ av etiska riktlinjer som vi strävar efter.
Låt oss börja med varför algoritmer är viktiga, vad vi menar när vi säger algoritm i termer av AI och vad människor inte inser om algoritmer själva?
Michael Kearns: Först och främst har algoritmer naturligtvis funnits under mycket, mycket lång tid, eftersom det tidigare fanns datorer.
AI och maskininlärning är också mycket gamla fält, men jag tror att det som verkligen förändrats under de senaste 20 åren, och särskilt de senaste 10, är ??att AI och maskininlärning brukade användas i vetenskapliga tillämpningar eftersom det var där det fanns tillräckligt med data för att träna förutsägande modeller.
Ökningen av konsumentinternet har nu gjort att vi alla genererar reams och reams av data om våra aktiviteter, våra platser, våra preferenser, våra förhoppningar, vår rädsla, etc.
Nu är det möjligt att använda maskininlärning för att anpassa algoritmiskt beslutsfattande, vissa beslut som vi känner till och vill att algoritmer ska ta för oss, och ibland beslut som vi inte ens är medvetna om.
Vilka är några av de beslut som människor kanske inte känner till?
Många av exemplen i vår bok är där beslutet har en stor konsekvens för individen och de kanske inte ens är medvetna om att algoritmer används eller används för att hjälpa beslutsprocessen.
Exempel kan vara saker som konsumentutlåning, oavsett om du får ett lån eller ett kreditkort när du ansöker om det, beslut om högskoleintag, anställningsbeslut i HR-avdelningar och till och med mycket följder som sjukvård; och vilken straffrättslig dom du får eller om du får villkor om du har fängslats.
De flesta människor inser inte att detta händer i både privata företag och i regeringen.
Helst introduceras dessa saker för att göra beslutsprocessen bättre och mer informerad och mindre partisk.
Varför händer inte det?
Jag tror inte att det främsta målet för de flesta algoritmiska beslut är att göra saker mindre partiska, det är ofta att göra det mer effektivt och att dra nytta av det faktum att vi har enorma mängder data som kan användas för att bygga förutsägbara modeller .
Så snarare än att någon människa direkt fattar besluten, som ofta kan vara långsamma och också vara partiska på olika sätt, är det lättare och lämpligare att ta de uppgifter du har och att i huvudsak träna en modell.
Det är verkligen en form av självprogrammering, eller hur? Istället för att en datorprogrammerare säger vem som ska få ett lån och vem som inte, baserat på de attribut som har ingåtts i en låneansökan, tar du bara en massa historiska data om personer du gav lån till, som betalade tillbaka och inte betalade tillbaka, och du försöker lära dig en modell som skiljer det kreditvärdiga från det som inte är kreditvärdigt.
Jag tror att den huvudsakliga drivkraften är effektivitet i affärer och på andra håll, och vår bok handlar verkligen om säkerhetsskador som kan komma från att jaga dessa effektivitetsvinster.
Låt oss prata om några av dessa exempel.
För några veckor sedan fanns det en studera om ett sjukhus som använde en algoritm för att avgöra vem man skulle ge medicinsk vård och hur mycket medicinsk vård man skulle ge.
Det gjordes en viss analys, och det bestämdes att algoritmen systematiskt var under-betjänar afroamerikanska patienter och därför överbetjänade vita patienter.
Ja, och jag tror att det faktiskt inte var ett sjukhus, det var många sjukhus som alla använde någon algoritm från tredje part som hade det problem du beskrev.
Det belyser ett av de flera sätt som saker som ras, kön och andra fördomar kan krypa in i algoritmer.
I det specifika fallet var problemet inte riktigt med algoritmen, som ofta är en källa till partiskhet eller diskriminering, och det var inte heller med själva data, det var faktiskt vad målet företaget använde för att utbilda modellen.
Syftet med denna modell var att försöka bedöma patienternas hälsa för att bestämma vilken hälso- och sjukvårdsnivå de behövde eller att ingripa med en behandling av något slag.
Men att faktiskt mäta någons hälsa är en komplicerad, flerdimensionell sak.
Med andra ord är det svårt att samla in rätt data för att träna för det målet.
Vad detta företag uppenbarligen gjorde var att säga, "Tja, låt oss bara använda sjukvårdskostnader som en fullmakt för vården.
Låt oss anta att i vår historiska dataset var de människor som hade högre hälsokostnader de sjukare och personerna med lägre hälsoutgifter var de friskare de.
" Problemet med detta är att det lärde sig att diskriminera afroamerikaner eftersom de systematiskt totalt sett hade lägre sjukvårdskostnader, inte för att de var mindre sjuka utan för att de hade mindre tillgång till vård.
Detta är ett klassiskt exempel där, när du har ett mål, är det svårt att rikta det målet eller skulle kräva en dyrare datainsamlingsprocess.
Sedan använder de denna proxy och den proxyen försvagade i huvudsak denna partiskhet i sin modell.
Det är intressant för när du hör om fördomar i algoritmen, tror du att det verkligen är någon punkt där du frågar om rasbakgrund.
Det är faktiskt väldigt sällan, det är de sekundära konsekvenserna, de korrelationer som du kanske inte förstår när du först programmerar algoritmen.
Det är rätt.
Jag tror faktiskt att en av de saker vi har lärt oss de senaste åren är att, bara för att du inte inkluderar en variabel som ras eller kön i din modell är det absolut ingen garanti att din modell inte kommer att bli diskriminerande efter ras och efter kön.
Det finns ett antal anledningar till varför detta kan hända, och det är intressant eftersom det till exempel i utlåning och kredit finns långvariga lagar i USA som säger "Du ska inte använda ras som en input till dina förutsägbara modeller." Under den tid då dessa lagar utvecklades tror jag att avsikten var att skydda rasminoriteter från modelleringsdiskriminering, men det händer ändå.
En av de många anledningarna till att det kan hända är att det idag, särskilt när så mycket är känt om oss, finns det så många datakällor som finns tillgängliga om oss.
Det finns alldeles för många ombud för saker som ras.
Jag menar, du behöver inte berätta för mig vad din ras är för att jag ska kunna räkna ut det, åtminstone i statistisk mening från andra datakällor.
Ett olyckligt exempel är att ditt postnummer i USA redan är en ganska bra indikator på ditt lopp.
Så det här är den typ av saker som kan hända.
Låt oss prata om ett annat exempel på en missförstådd algoritm.
Du pratade om kriminella riskbedömningsalgoritmer, som omfattar en av dessa algoritmer som har använts i nästan 20 år nu.
Många har gått igenom systemet, det har rapporterats att det finns brister, rättvisa problem i algoritmen, men problemet är faktiskt ganska komplicerat och nyanserat.
Det var återigen en mycket relativt ny kontrovers som jag tror hjälpte till att öka vår förståelse av utmaningarna med algoritmisk rättvisa.
Ett campus byggde denna kriminella förutsägelsesmodell för återfall, typ av nästan en Minoritetsrapport-typ av modell som, baserat på någons kriminella historia, försöker förutsäga om de kommer att återuppta eller i huvudsak begå ett våldsbrott någon gång under de kommande två åren.
Denna typ av riskbedömningsmodeller används ofta i olika jurisdiktioner av domare som beslutar om de vill ge människor skiljaktighet eller inte.
Så det är väldigt, väldigt följaktiga saker.
Den undersökande ideella ProPublica tittade hårt på den här modellen och visade att den hade en systematisk rasförskjutning, att den diskriminerade afroamerikaner och andra rasminoriteter.
Så det var kontrovers och det fanns fram och tillbaka mellan ProPublica och företaget som hade utvecklat modellen, med ProPublica som sa: "Din modell är orättvis." Då kom NorthPointe, som var företaget som utvecklade det, tillbaka och sa, "Nej, vi var medvetet medvetna om dessa frågor och vi såg till att vår modell var rättvis, men vi använde denna andra definition av rättvisa.
Om du gräver i ogräset.
på detta är båda dessa definitioner av rättvisa helt rimliga och önskvärda.
I själva verket skulle du vilja ha dem båda.
" Sedan började forskare skrapa på huvudet och säga: "Okej, vem är här?" Sedan satte sig några av dem mer teoretiskt lutande och tänkte: "Är det till och med matematiskt möjligt att tillfredsställa båda dessa rättvisa definitioner samtidigt?" Sedan bevisade de att det inte var.
Detta är särskilt upplysande eller störande beroende på din synvinkel eftersom det visar att den algoritmiska studien av rättvisa eller genomförande av rättvisa kommer att bli lite rörigt och att du kanske måste, när du ber om en typ av rättvisa, kan du ha att ge upp en annan.
Jag tror att vi har varit ganska tydliga om hur komplicerat detta blir väldigt snabbt.
I din bok erbjuder du några råd för hur man bygger in etik i dessa algoritmer från början.
Hur ska vi göra det?
Huvudsyftet med vår bok är att vi är optimister, vi är maskininlärningsforskare, men vi är också medvetna om det antisociala beteende som algoritmer har visat under de senaste fem åren och den stigande typen av populärt larm över det.
Vi delar det larmet och vi kände att de flesta av de böcker som vi har läst, varav många vi gillat mycket, är mycket bra på att påpeka vad problemen är; men...
