Algoritmiskt våld

År 1969 myntade freds- och konfliktforskaren Johan Galtung begreppet strukturellt våld. Det är en beskrivning av hur sociala strukturer och institutionell logik skadar människor genom att hindra dem från att få sina grundläggande behov uppfyllda. Även om fenomenet är relativt osynligt dödas det fler människor varje år av strukturellt våld än av krigshandlingar.

Strukturellt våld kan ta sig olika uttryck som t ex köns- eller åldersförtryck, ekonomiskt utanförskap, apartheid eller rasism. Och även om effekten för individen är extremt påtaglig kan det vara svårare att frilägga orsakerna eftersom komplexa samverkande strukturer och system döljer dem.

För ett par år sedan myntade forskaren och konstnären Mimi Ohuoha uttrycket algoritmiskt våld. Begreppet kopplar förstås tillbaka till Galtungs begrepp och avser det våld som olika former av automatiska och datadrivna beslutsystem utövar på människor.

Algorithmic violence refers to the violence that an algorithm or automated decision-making system inflicts by preventing people from meeting their basic needs.

I en värld där data och algoritmer allt mer bäddar in världen med en digital superstruktur är det förstå viktigt att fördjupa oss i dess konsekvenser och mekanismer. Eftersom automatiserade och databaserade beslut påverkar våra liv mer för varje dag kan kanske begreppet algoritmiskt våld hjälpa oss spetsa till och därmed förstå vad det egentligen kan innebära.

Vad skulle algoritmiskt våld kunna betyda?

På våra digitala plattformar och sociala medier får det algoritmiska våldet konsekvenser dagligen. Där kan någon algoritm på Google anse att du försökt påverka antalet tittare med din youtube-kanal och därmed stänga av ditt konto, och därmed din inkomst. Överklaga går ju inte då du faktiskt inte förstår eller kan förklara vad som hänt. Eller så har Facebooks algoritm gjort någon bedömning så de gradvis slutat sprida dina inlägg. Och gradvis blir du allt mer osynlig för dina vänner.

Även i den fysiska vardagen händer det saker som vi kanske inte alltid kopplar till de bakomliggande algoritmerna. Vad tror du händer när du skickar in en jobbansökan? Vem gör bedömningen om du får komma till intervju? Automatiserade rekryteringsalgoritmer utför allt oftare företags bedömningar av ansökningar. Ibland är de viktade gentemot dagens situation eftersom datamängden den tränats på representerar hur det ser ut nu. T ex premierades män före kvinnor till tekniska yrken i det automatiska screening program Amazon började använda.

Ibland kan det bli ännu mer konkret och direkt våldsamt. Varför blev t ex läkaren David Dao brutalt utsläpad mot sin vilja från sin flygplansstol när han skulle flyga hem med United Airlines den där söndagskvällen på O’Hare den 9 april 2017? (se Youtube-klippet av händelsen). John Robb, författare till boken Brave New War: : The Next Stage of Terrorism and the End of Globalization: How They Organize and Operate in Iraq and Beyond , gjorde lite research för att beskriva beskriver förloppet dvs händelsekedjan som resulterade i att Dao blev avsläpad:

  1. Ett planeringssystem kommer fram till att en av företagets besättningar bestående av fyra personer behöver transporteras till en annan flygplats – och har därmed prioritet över vanliga passagerare
  2. En finansiell algoritm erbjuder de redan sittande passagerarna upp till US$800 för sina platser (ingen antog detta erbjudande)
  3. En värderingsalgoritm räknar ut vilka fyra passagerare som är värda minst för United Airlines och som därmed skall avvisas från planet

Det är alltså tre olika system som dels initierar händelsen och därefter väljer ut vem skall få stå för konsekvenserna.

När tre av de utpekade passagerarna accepterade att gå av, vägrade David Dao med hänvisning att han skulle träffa en patient dagen efter. Då tillkallar United Airlines in flygplatspolisen som släpar av honom mot sin vilja.

Även om det är personer som utför handlingarna är det alltså flygbolagets programvaror och rutiner som baserat på tillgänglig data ersatt mänsklig bedömning och val.

Ett alldeles nytt exempel kommer från Kina. Där började myndigheterna tillsammans med Alibaba under februari använda en app för att begränsa spridningen av Coronaviruset. Appen fungerar så att varje användare scannar en QR-kod. Därefter visas en grön, gul eller röd symbol. Är den grön får du röra dig fritt. Om den istället blir gul betyder det 7 dagars karantän och röd 14 dagars karantän. Appen använder fler källor med data om varje individ och delar dessutom också data med polisen. Flera som tvingats använda appen verkar dess bedömningar, enligt vittnesmål, vara svåra att förstå. Men säger appen rött så har du inte så mycket val.

Algoritmerna formar allt mer vår värld

Idag handlar diskussionen gärna om hur rädda vi är för AI och när maskinerna blir smartare riskerar de att ta över samhället. Ja, det är kanske en risk. Åtminstone i det lite längre perspektivet.

Ett mer närliggande problem är dock att de ”dumma” algoritmer vi redan omger oss med har en otroligt mycket större makt över oss än vad vi anar. För inte är det så att vi misstror de siffror våra smartklockor eller bankappar visar oss? Det är snarare så att vi blir allt mer osäkra på om vi människor skall klara av något. Maskinerna gör ju inte fel…

I takt med varje kris där maskinerna kallas in för att lösa problem människor inte kan hantera verkar algoritmsamhället komma allt närmare.

Är det slut på lönnmord och hemliga polisaktioner i framtiden?

Politisk makt har historiskt alltid varit kopplat till våld. Antingen behövde någon röja undan sina meningsmotståndare. Eller så behövdes kontroll över samhällets våldsapparat för att upprätthålla sin maktposition.

Men med algoritmsamhället kanske den tiden är förbi?

Om man istället har makt över samhällets digitala superstruktur behöver ingen använda traditionellt våld. Det räcker ju att skruva lite i programmen eller ändra på data så kommer systemet helt enkelt eliminera personer med en avvikande åsikt. Människor kan alltså förgöras betydligt enklare. Genom att t ex hindra någon att kommunicera andra, misskreditera personen genom påhittade berättelser och sedan strypa personens sociala försörjningssystem genom ändra på någon parameter kan

Och även om dagens diskussion om algoritmiskt våld inte går så långt är det lätt att dra tankarna tankarna dit…

Att läsa mera

För att läsa mera om hur algoritmerna formar vårt samhälle kan t ex rekommenderas:

  • Cathy O’Neils bok Weapons of Math Destruction beskriver hur olika former av program som gör analyser och ger beslutsrekommendationer får oförutsedda och ibland rent inhumana konsekvenser
  • Nicholas Carrs bok The Shallows är ett inlägg i debatten om vad Internet gör med våra hjärnor
  • David Graebers bok The Utopia of Rules handlar om hur regler leder till orimlighet, men idén kan förstås överföras till algoritmer
  • Shoshanna Zuboffs bok Surveillance Capitalism handlar om hur det växt fram en enorm global marknad runt vår insamlade beteendedata.

Dags att förändra våra Governance-strukturer?

I en föränderlig och komplex värld är det svårt att leda, styra och peka ut riktningen. Dels är det förstås för att allting rör sig och håller på att anta nya former. Men också för att de metoder och strukturer vi använder föra att leda och styra inte längre fungerar i den förändrade världen vi lever i.

Hur skall vi förstå detta?

Fortsätt läsa “Dags att förändra våra Governance-strukturer?”

Ökande samhällskomplexitet – den största utmaningen

Ordet komplexitet har börjat poppa upp lite överallt på senaste tiden. Jag tror det beror på att fler har börjat lida av den ökande komplexiteten både i vardagen och i sina professionella liv. De får helt enkelt inte ihop pusslet längre.

Vi har helt enkelt börjat förstå att vi lever i en VUCA-värld (där akronymen står för Volatile, Uncertain, Complex och Ambiguous).

Men vi kanske inte har förstått de djupare konsekvenserna av den ökande komplexiteten?

Fortsätt läsa “Ökande samhällskomplexitet – den största utmaningen”

AI – ett irrelevant begrepp

Efter att Frey och Osbourne publicerade sin artikel The Future of Employment: How Susceptible are Jobs to Computerisation i september 2013 blev Artificiell Intelligens – AI – central för diskussionen om hur automatisering påverkar arbete och samhällets välfärdssystem.

När sedan AlphaGoZero 2017 utan mänsklig hjälp lärde sig bli världsbäst i Go tog AI dessutom över efter atombomben och rymdprogrammen som det spjutspetsområde de stora världsmakterna tävlar om att bemästra.

Fortsätt läsa “AI – ett irrelevant begrepp”

Har vi förstått att vi är mitt i en digital transformation?

En vanlig citerad insikt om förändringar är att

Vi tenderar att överskatta förändringar i det korta perspektivet men underskatta dem i det längre.

När det gäller digitalisering är detta mer sant än någonsin. Vi håller nu på att upptäcka att vi överskattat hur snabbt både självkörande bilar och artificiell intelligens kommer att förändra våra liv. Rapporteringen av framstegen har förlett oss att tro att dagens teknik är mer kapabel och generell än vad den är. Och det är för att vi som vanligt enbart sett tekniken och inte de bromsande sociala, politiska och juridiska faktorerna.

Fortsätt läsa “Har vi förstått att vi är mitt i en digital transformation?”

Vikten av att vidga den temporala bandbredden

I algoritmsamhället går allt fortare. Och när allt ökar med datorernas hastighet tvingas vi vara alerta och reagera snabbt för att vara relevanta. Då hinner vi inte tänka så mycket – ibland kanske inte alls.

Donald Trump är förstås ytterligheten som blivit känd för att reagera instinktivt och twittra direkt – helt utan att tänka. Något som belönas av den nuvarande sociala media-logiken.

Med algoritmer och datorisering verkar vårt Nu bli kortare och kortare.

Men vilka konsekvenser får det? Och kan vi motverka utvecklingen på något sätt??

Fortsätt läsa “Vikten av att vidga den temporala bandbredden”