Så Amazons ansiktsigenkänningssystem kinda sorta kan vara rasistiskt (påstås)

Så Amazons ansiktsigenkänningssystem kinda sorta kan vara rasistiskt (påstås)

När det gäller mycket skadade teknikföretag som leds av lutherska miljardärer, tror du att det skulle vara svårt att argumentera för att någon hade en sämre sak i dag än Facebook – och du skulle ha rätt, men bara knappt.

Samma eftermiddag som såg Facebooks aktier sjunka till rekordlåga (kostar verkställande direktören / grundaren Mark Zuckerberg uppåt 15 miljarder dollar under processen) har Amazon drabbats av en tidvattenreaktion från både allmänheten och lagstiftarna om sitt ansiktsigenkänning system, Erkännande. Huvudsakligen att det ganska sorta kan vara rasistiskt.

Skriket kommer efter en hård rapport av programvaran som publicerats av American Civil Liberties Union (ACLU), där Rekognition felaktigt matchade 28 kongressledamöter – de flesta svarta och latinoer – med bilder som hämtats från biblioteket med 25 000 offentligt tillgängliga mugshots.

Bland de felaktiga matchade kongressledamöterna fanns ingen ringare än Black Caucus-medlemmar (och medborgerliga ledare) Representanten Bobby L. Rush och representanten John Lewis från Georgia, som båda följde upp testet med ett brev till Amazons vd Jeff Bezos och hävdade att det fanns “Allvarliga frågor om Amazon bör sälja sin teknik till brottsbekämpning just nu.” Du vet, som en kongressledamot som felaktigt identifieras som en brottsling inte brukar göra.

Enligt Amazon Web Services-representant Nina Lindsey berodde dock den enda anledningen till att Rekognition såg dåligt ut i ACLU: s test på grund av det opraktiska sättet på vilket testet levererades.

“Det är värt att notera att Amazon-erkännande i verkliga scenarier nästan uteslutande används för att hjälpa till att begränsa fältet och låta människor snabbt granska och överväga alternativ med hjälp av deras bedömning”, säger Lindsey i ett uttalande och ser till att också notera att ACLU: s användning av systemets standard “konfidensgräns” på 80 procent sjönk betydligt under den inställning på 95 procent som företaget rekommenderar till de brottsbekämpande myndigheter som för närvarande använder systemet.

Detta är inte den första kontroversen som har omringat Rekognition sedan lanseringen sommaren 2017. Bara förra månaden publicerade ACLU ett öppet brev till Bezos där man uppmanade Amazon att upphöra med att beväpna regeringsorgan med tekniken på en gång. Dess resonemang? Att ansiktsigenkänningssystemets förmåga att samtidigt känna igen upp till 100 personer i en folkmassa och jämföra dem med brottsliga och domstolsdatabaser i realtid skulle kunna användas ”mot marginaliserade grupper som invandrargrupper eller svarta aktivister.”

Utöver det är det bara fan att tänka på de bredare övervakningsproblemen som en sådan enhet kan skapa när den implementeras som den för närvarande är i Orlando. Som senior personaladvokat vid Electronic Frontier Foundation (EFF), Adam Schwartz, uttalade i en nyligen intervju med

Innan någon övervakningsteknik plockas upp av polisen, bör den genomgå en öppen, ansvarsskyldig och transparent process, som för polisen är en omröstning inför kommunfullmäktige, och [should] ges till allmänheten. Vi samlar som inte inträffade i det här fallet med de samhällen som rapporteras om. Så vi har både materiella och processuella invändningar.

Så är Rekognition rasistiskt? Så rasistisk som en AI kan vara, antar man (som, om Microsofts chatbot lärde oss något, är ganska jävla rasistiska), men det är ganska uppenbart att de bredare konsekvenserna av Erkännande borde vara ganska nervösa för människor av någon tro eller färg. I det minsta fallet fungerar ACLU: s test verkligen inte som en stor PR-uppföljning för ett företag som bara anklagades för att öppet sälja nynazistiska memorabilia.

För mer tekniska nyheter, kolla in: