År 1969 myntade freds- och konfliktforskaren Johan Galtung begreppet strukturellt våld. Det är en beskrivning av hur sociala strukturer och institutionell logik skadar människor genom att hindra dem från att få sina grundläggande behov uppfyllda. Även om fenomenet är relativt osynligt dödas det fler människor varje år av strukturellt våld än av krigshandlingar.
Strukturellt våld kan ta sig olika uttryck som t ex köns- eller åldersförtryck, ekonomiskt utanförskap, apartheid eller rasism. Och även om effekten för individen är extremt påtaglig kan det vara svårare att frilägga orsakerna eftersom komplexa samverkande strukturer och system döljer dem.
För ett par år sedan myntade forskaren och konstnären Mimi Ohuoha uttrycket algoritmiskt våld. Begreppet kopplar förstås tillbaka till Galtungs begrepp och avser det våld som olika former av automatiska och datadrivna beslutsystem utövar på människor.
Algorithmic violence refers to the violence that an algorithm or automated decision-making system inflicts by preventing people from meeting their basic needs.
I en värld där data och algoritmer allt mer bäddar in världen med en digital superstruktur är det förstå viktigt att fördjupa oss i dess konsekvenser och mekanismer. Eftersom automatiserade och databaserade beslut påverkar våra liv mer för varje dag kan kanske begreppet algoritmiskt våld hjälpa oss spetsa till och därmed förstå vad det egentligen kan innebära.
Vad skulle algoritmiskt våld kunna betyda?
På våra digitala plattformar och sociala medier får det algoritmiska våldet konsekvenser dagligen. Där kan någon algoritm på Google anse att du försökt påverka antalet tittare med din youtube-kanal och därmed stänga av ditt konto, och därmed din inkomst. Överklaga går ju inte då du faktiskt inte förstår eller kan förklara vad som hänt. Eller så har Facebooks algoritm gjort någon bedömning så de gradvis slutat sprida dina inlägg. Och gradvis blir du allt mer osynlig för dina vänner.
Även i den fysiska vardagen händer det saker som vi kanske inte alltid kopplar till de bakomliggande algoritmerna. Vad tror du händer när du skickar in en jobbansökan? Vem gör bedömningen om du får komma till intervju? Automatiserade rekryteringsalgoritmer utför allt oftare företags bedömningar av ansökningar. Ibland är de viktade gentemot dagens situation eftersom datamängden den tränats på representerar hur det ser ut nu. T ex premierades män före kvinnor till tekniska yrken i det automatiska screening program Amazon började använda.
Ibland kan det bli ännu mer konkret och direkt våldsamt. Varför blev t ex läkaren David Dao brutalt utsläpad mot sin vilja från sin flygplansstol när han skulle flyga hem med United Airlines den där söndagskvällen på O’Hare den 9 april 2017? (se Youtube-klippet av händelsen). John Robb, författare till boken Brave New War: : The Next Stage of Terrorism and the End of Globalization: How They Organize and Operate in Iraq and Beyond , gjorde lite research för att beskriva beskriver förloppet dvs händelsekedjan som resulterade i att Dao blev avsläpad:
- Ett planeringssystem kommer fram till att en av företagets besättningar bestående av fyra personer behöver transporteras till en annan flygplats – och har därmed prioritet över vanliga passagerare
- En finansiell algoritm erbjuder de redan sittande passagerarna upp till US$800 för sina platser (ingen antog detta erbjudande)
- En värderingsalgoritm räknar ut vilka fyra passagerare som är värda minst för United Airlines och som därmed skall avvisas från planet
Det är alltså tre olika system som dels initierar händelsen och därefter väljer ut vem skall få stå för konsekvenserna.
När tre av de utpekade passagerarna accepterade att gå av, vägrade David Dao med hänvisning att han skulle träffa en patient dagen efter. Då tillkallar United Airlines in flygplatspolisen som släpar av honom mot sin vilja.
Även om det är personer som utför handlingarna är det alltså flygbolagets programvaror och rutiner som baserat på tillgänglig data ersatt mänsklig bedömning och val.
Ett alldeles nytt exempel kommer från Kina. Där började myndigheterna tillsammans med Alibaba under februari använda en app för att begränsa spridningen av Coronaviruset. Appen fungerar så att varje användare scannar en QR-kod. Därefter visas en grön, gul eller röd symbol. Är den grön får du röra dig fritt. Om den istället blir gul betyder det 7 dagars karantän och röd 14 dagars karantän. Appen använder fler källor med data om varje individ och delar dessutom också data med polisen. Flera som tvingats använda appen verkar dess bedömningar, enligt vittnesmål, vara svåra att förstå. Men säger appen rött så har du inte så mycket val.
Algoritmerna formar allt mer vår värld
Idag handlar diskussionen gärna om hur rädda vi är för AI och när maskinerna blir smartare riskerar de att ta över samhället. Ja, det är kanske en risk. Åtminstone i det lite längre perspektivet.
Ett mer närliggande problem är dock att de ”dumma” algoritmer vi redan omger oss med har en otroligt mycket större makt över oss än vad vi anar. För inte är det så att vi misstror de siffror våra smartklockor eller bankappar visar oss? Det är snarare så att vi blir allt mer osäkra på om vi människor skall klara av något. Maskinerna gör ju inte fel…
I takt med varje kris där maskinerna kallas in för att lösa problem människor inte kan hantera verkar algoritmsamhället komma allt närmare.
Är det slut på lönnmord och hemliga polisaktioner i framtiden?
Politisk makt har historiskt alltid varit kopplat till våld. Antingen behövde någon röja undan sina meningsmotståndare. Eller så behövdes kontroll över samhällets våldsapparat för att upprätthålla sin maktposition.
Men med algoritmsamhället kanske den tiden är förbi?
Om man istället har makt över samhällets digitala superstruktur behöver ingen använda traditionellt våld. Det räcker ju att skruva lite i programmen eller ändra på data så kommer systemet helt enkelt eliminera personer med en avvikande åsikt. Människor kan alltså förgöras betydligt enklare. Genom att t ex hindra någon att kommunicera andra, misskreditera personen genom påhittade berättelser och sedan strypa personens sociala försörjningssystem genom ändra på någon parameter kan
Och även om dagens diskussion om algoritmiskt våld inte går så långt är det lätt att dra tankarna tankarna dit…
Att läsa mera
För att läsa mera om hur algoritmerna formar vårt samhälle kan t ex rekommenderas:
- Cathy O’Neils bok Weapons of Math Destruction beskriver hur olika former av program som gör analyser och ger beslutsrekommendationer får oförutsedda och ibland rent inhumana konsekvenser
- Nicholas Carrs bok The Shallows är ett inlägg i debatten om vad Internet gör med våra hjärnor
- David Graebers bok The Utopia of Rules handlar om hur regler leder till orimlighet, men idén kan förstås överföras till algoritmer
- Shoshanna Zuboffs bok Surveillance Capitalism handlar om hur det växt fram en enorm global marknad runt vår insamlade beteendedata.
