Rekommenderad, 2024

Redaktörens val

Låt oss hoppas att NSA inte har använt den här maskinlärningsmodellen för att rikta droneattacker. USA: s säkerhetsbyrå skulle kunna förlita sig på en allvarligt felaktig maskinlärningsmodell för att rikta droneattacker i Pakistan, enligt en ny analys av bilder som upptäcktes i fjol av whistleblower Edward Snowden.

G som i hemlig

G som i hemlig
Anonim

Publicerad i maj av The Intercept, släverna detaljerar NSA: s Skynet-program, i vilken maskininlärning som uppenbarligen används för att identifiera sannolika terrorister i Pakistan. Även om det är oklart om maskininlärningsmodellen har använts i NSA: s verkliga insatser, har det allvarliga problem som skulle kunna leda till risker om det enligt Patrick Ball, forskningschef vid Human Rights Data Analysis Group.

"Jag har ingen aning om något av detta någonsin använts i verkliga strejker eller till och med gjort det till ett möte," sa Ball på måndag. Men "ingen rationell skulle använda en analys för att göra beslut om vem som ska döda."

Från och med 2012 beskriver bilderna användningen av GSM-metadata för beteendemässig profilering av 55 miljoner mobiltelefonanvändare, inklusive faktorer som körbeteende och sociala nätverk. Utrustad med dessa data syftar modellen till att förutsäga vilka personer som sannolikt kommer att vara terrorister. Det är ingen hemlighet att USA har använt obemannade droner för att attackera militärer i Pakistan under det senaste decenniet. Mellan 2500 och 4000 Pakistaner har dödats av dronor sedan 2004, enligt presidiet för undersökande journalistik, en ideell nyhetsorganisation. Många av de dödade var medlemmar i grupper som al-Qaida, säger organisationen.

General Michael Hayden, tidigare direktör för NSA och CIA, har uttryckt anslutningen uttryckligen: "Vi dödar folk baserat på metadata."

Särskilt oroande är dock att dronorna har dödat mer än 400 civila - kanske mer än 900 - under vägen.

Det är där modellens specifika brister blir relevanta. Först och främst är att NSA inte använde tillräckligt mycket data om kända terrorister för att kunna träna modellen för att skilja terrorister från andra människor med någon rimlig noggrannhet, förklarade Ball.

Faktum är att modellen utbildades använder data om bara sju kända terrorister, enligt bilderna. "Det är helt otillräckligt," sa Ball.

Algoritmen i sig är bra, men det mesta av data som används för att träna det leder till en oacceptabelt hög chans att "falska positiva" eller oskyldiga människor klassificeras som terrorister. Det var faktiskt vanligt att styra droneattacker, det skulle innebära förlusten av oskyldiga liv.

NSA är "inte dum, och det här är en dum analys", sa Ball. "Min gissning är att det här var någon i teknisk förvaltning hos NSA som sålde upp kedjan, men det fungerade inte riktigt - det är ett misslyckat experiment."

Det är inte att säga att droneverkningar inte pågår, eller att möjligheten att en modell som den här kan användas för att styra dem inte berör.

"Ja, det finns droneattacker i Pakistan, och ja, de dödar oskyldiga människor - dessa saker är inte i strid". Ball sa. Men i fallet med denna modell är "allt vi vet är det som är på några bilder, och det är oroligt."

NSA svarade inte på en begäran om kommentarer.

Top