Algoritmiskt våld

År 1969 myntade freds- och konfliktforskaren Johan Galtung begreppet strukturellt våld. Det är en beskrivning av hur sociala strukturer och institutionell logik skadar människor genom att hindra dem från att få sina grundläggande behov uppfyllda. Även om fenomenet är relativt osynligt dödas det fler människor varje år av strukturellt våld än av krigshandlingar.

Strukturellt våld kan ta sig olika uttryck som t ex köns- eller åldersförtryck, ekonomiskt utanförskap, apartheid eller rasism. Och även om effekten för individen är extremt påtaglig kan det vara svårare att frilägga orsakerna eftersom komplexa samverkande strukturer och system döljer dem.

För ett par år sedan myntade forskaren och konstnären Mimi Ohuoha uttrycket algoritmiskt våld. Begreppet kopplar förstås tillbaka till Galtungs begrepp och avser det våld som olika former av automatiska och datadrivna beslutsystem utövar på människor.

Algorithmic violence refers to the violence that an algorithm or automated decision-making system inflicts by preventing people from meeting their basic needs.

I en värld där data och algoritmer allt mer bäddar in världen med en digital superstruktur är det förstå viktigt att fördjupa oss i dess konsekvenser och mekanismer. Eftersom automatiserade och databaserade beslut påverkar våra liv mer för varje dag kan kanske begreppet algoritmiskt våld hjälpa oss spetsa till och därmed förstå vad det egentligen kan innebära.

Vad skulle algoritmiskt våld kunna betyda?

På våra digitala plattformar och sociala medier får det algoritmiska våldet konsekvenser dagligen. Där kan någon algoritm på Google anse att du försökt påverka antalet tittare med din youtube-kanal och därmed stänga av ditt konto, och därmed din inkomst. Överklaga går ju inte då du faktiskt inte förstår eller kan förklara vad som hänt. Eller så har Facebooks algoritm gjort någon bedömning så de gradvis slutat sprida dina inlägg. Och gradvis blir du allt mer osynlig för dina vänner.

Även i den fysiska vardagen händer det saker som vi kanske inte alltid kopplar till de bakomliggande algoritmerna. Vad tror du händer när du skickar in en jobbansökan? Vem gör bedömningen om du får komma till intervju? Automatiserade rekryteringsalgoritmer utför allt oftare företags bedömningar av ansökningar. Ibland är de viktade gentemot dagens situation eftersom datamängden den tränats på representerar hur det ser ut nu. T ex premierades män före kvinnor till tekniska yrken i det automatiska screening program Amazon började använda.

Ibland kan det bli ännu mer konkret och direkt våldsamt. Varför blev t ex läkaren David Dao brutalt utsläpad mot sin vilja från sin flygplansstol när han skulle flyga hem med United Airlines den där söndagskvällen på O’Hare den 9 april 2017? (se Youtube-klippet av händelsen). John Robb, författare till boken Brave New War: : The Next Stage of Terrorism and the End of Globalization: How They Organize and Operate in Iraq and Beyond , gjorde lite research för att beskriva beskriver förloppet dvs händelsekedjan som resulterade i att Dao blev avsläpad:

  1. Ett planeringssystem kommer fram till att en av företagets besättningar bestående av fyra personer behöver transporteras till en annan flygplats – och har därmed prioritet över vanliga passagerare
  2. En finansiell algoritm erbjuder de redan sittande passagerarna upp till US$800 för sina platser (ingen antog detta erbjudande)
  3. En värderingsalgoritm räknar ut vilka fyra passagerare som är värda minst för United Airlines och som därmed skall avvisas från planet

Det är alltså tre olika system som dels initierar händelsen och därefter väljer ut vem skall få stå för konsekvenserna.

När tre av de utpekade passagerarna accepterade att gå av, vägrade David Dao med hänvisning att han skulle träffa en patient dagen efter. Då tillkallar United Airlines in flygplatspolisen som släpar av honom mot sin vilja.

Även om det är personer som utför handlingarna är det alltså flygbolagets programvaror och rutiner som baserat på tillgänglig data ersatt mänsklig bedömning och val.

Ett alldeles nytt exempel kommer från Kina. Där började myndigheterna tillsammans med Alibaba under februari använda en app för att begränsa spridningen av Coronaviruset. Appen fungerar så att varje användare scannar en QR-kod. Därefter visas en grön, gul eller röd symbol. Är den grön får du röra dig fritt. Om den istället blir gul betyder det 7 dagars karantän och röd 14 dagars karantän. Appen använder fler källor med data om varje individ och delar dessutom också data med polisen. Flera som tvingats använda appen verkar dess bedömningar, enligt vittnesmål, vara svåra att förstå. Men säger appen rött så har du inte så mycket val.

Algoritmerna formar allt mer vår värld

Idag handlar diskussionen gärna om hur rädda vi är för AI och när maskinerna blir smartare riskerar de att ta över samhället. Ja, det är kanske en risk. Åtminstone i det lite längre perspektivet.

Ett mer närliggande problem är dock att de ”dumma” algoritmer vi redan omger oss med har en otroligt mycket större makt över oss än vad vi anar. För inte är det så att vi misstror de siffror våra smartklockor eller bankappar visar oss? Det är snarare så att vi blir allt mer osäkra på om vi människor skall klara av något. Maskinerna gör ju inte fel…

I takt med varje kris där maskinerna kallas in för att lösa problem människor inte kan hantera verkar algoritmsamhället komma allt närmare.

Är det slut på lönnmord och hemliga polisaktioner i framtiden?

Politisk makt har historiskt alltid varit kopplat till våld. Antingen behövde någon röja undan sina meningsmotståndare. Eller så behövdes kontroll över samhällets våldsapparat för att upprätthålla sin maktposition.

Men med algoritmsamhället kanske den tiden är förbi?

Om man istället har makt över samhällets digitala superstruktur behöver ingen använda traditionellt våld. Det räcker ju att skruva lite i programmen eller ändra på data så kommer systemet helt enkelt eliminera personer med en avvikande åsikt. Människor kan alltså förgöras betydligt enklare. Genom att t ex hindra någon att kommunicera andra, misskreditera personen genom påhittade berättelser och sedan strypa personens sociala försörjningssystem genom ändra på någon parameter kan

Och även om dagens diskussion om algoritmiskt våld inte går så långt är det lätt att dra tankarna tankarna dit…

Att läsa mera

För att läsa mera om hur algoritmerna formar vårt samhälle kan t ex rekommenderas:

  • Cathy O’Neils bok Weapons of Math Destruction beskriver hur olika former av program som gör analyser och ger beslutsrekommendationer får oförutsedda och ibland rent inhumana konsekvenser
  • Nicholas Carrs bok The Shallows är ett inlägg i debatten om vad Internet gör med våra hjärnor
  • David Graebers bok The Utopia of Rules handlar om hur regler leder till orimlighet, men idén kan förstås överföras till algoritmer
  • Shoshanna Zuboffs bok Surveillance Capitalism handlar om hur det växt fram en enorm global marknad runt vår insamlade beteendedata.

AI – ett irrelevant begrepp

Efter att Frey och Osbourne publicerade sin artikel The Future of Employment: How Susceptible are Jobs to Computerisation i september 2013 blev Artificiell Intelligens – AI – central för diskussionen om hur automatisering påverkar arbete och samhällets välfärdssystem.

När sedan AlphaGoZero 2017 utan mänsklig hjälp lärde sig bli världsbäst i Go tog AI dessutom över efter atombomben och rymdprogrammen som det spjutspetsområde de stora världsmakterna tävlar om att bemästra.

Fortsätt läsa “AI – ett irrelevant begrepp”

Har vi förstått att vi är mitt i en digital transformation?

En vanlig citerad insikt om förändringar är att

Vi tenderar att överskatta förändringar i det korta perspektivet men underskatta dem i det längre.

När det gäller digitalisering är detta mer sant än någonsin. Vi håller nu på att upptäcka att vi överskattat hur snabbt både självkörande bilar och artificiell intelligens kommer att förändra våra liv. Rapporteringen av framstegen har förlett oss att tro att dagens teknik är mer kapabel och generell än vad den är. Och det är för att vi som vanligt enbart sett tekniken och inte de bromsande sociala, politiska och juridiska faktorerna.

Fortsätt läsa “Har vi förstått att vi är mitt i en digital transformation?”

Vad är hemligheten bakom att möta de digitala utmaningarna?

En av de vanligaste frågorna jag får efter mina föredrag om algoritmsamhället är: Hur kan vi som företag arbeta med digitalisering och förbli konkurrenskraftiga i framtiden?

Det korta svaret för de allra flesta är: genomgå en digital transformation!

Men vad är digital transformation? Handlar det inte om digitalisering?

Fortsätt läsa “Vad är hemligheten bakom att möta de digitala utmaningarna?”

Självkörande bilar är bara EN tillämpning

När det gäller AI och självkörande bilar känns det som om vi redan hamnat i framtiden. För 10 år sedan användes bilkörning som ett exempel på något datorer aldrig skulle kunna klara själva. Idag diskuteras självkörande bilar som en självklarhet. Trots att de faktiskt inte slagit igenom än. Dessutom finns en lång rad problem som behöver lösas innan de kan släppas fritt bland människor på vägarna.

Men vår framtidsbild verkar klar. Därför har det nu börjat diskuteras konsekvenser på olika plan. Allt ifrån etiska och juridiska konsekvenser till affärsstrategiska effekter för försäkrings-, energi-, bil- och transportbranscherna och till hur städerna måste planeras om .

Det är nu jag tror vi behöver ta nästa steg i tanken: vad händer när allt annat också får möjligheten att bli självkörande?

Fortsätt läsa “Självkörande bilar är bara EN tillämpning”

Nya Apple Watch och algoritmsamhällets hälso- och sjukvårdslogik

I Västvärlden, och inte minst i Göteborg, vill vi gärna tro att morgondagens hälso- och sjukvårdstillämpningar utvecklas inom Life Science-branschen. För det är där nyckelkunskapen inom medicin, kirurgi, genteknik och biokemi m m finns.

Det finns bara ett litet krux.

I en framväxande algoritmvärld är denna djupa ämneskunskap inte lika mycket värd som tidigare. Åtminstone inte relativt sett. Och inte ensam. Kunskap och analysförmåga paketeras nämligen allt mer in i algoritmer och plattformar.

Fortsätt läsa “Nya Apple Watch och algoritmsamhällets hälso- och sjukvårdslogik”

Den tekniska utvecklingen sätter politiken i centrum

Vi lever i en tid då AI och smarta algoritmer håller på att förändra vårt samhälle. För varje dag tas fler beslut tas av datorer – maskiner med förmågor som överstiger de mänskliga. Tack vare att de kan sammanställa otroligt stora datamängder och allt snabbare lär sig tolka mönster utan att påverkas av ovidkommande faktorer tar de korrekta beslut i en allt snabbare takt och i en ofattbar skala.

Datorerna verkar helt enkelt att vara på väg att bli bättre än oss inom nästan alla områden.

Fortsätt läsa “Den tekniska utvecklingen sätter politiken i centrum”

Algoritmsamhället tar form – noteringar mars 2017

Strömmen av signaler om algoritmiseringen av samhället tilltar i styrka. Framtiden karvas ut kodrad för kodrad. Dock är det viktigt att påminna oss om att det inte är förutsägelser utan möjliga scenarier vi ser framför oss.

Denna gång handlar mina noteringar om signaler om fem områden:

  • Utvecklingen runt självkörande bilar tar ytterligare ett steg
  • Växande insikt: Blockchain och AI kan förändra affärsorganisationerna
  • Automatisering av juridiska processer
  • Den digitala tsunamin närmar sig sjukvården med stormsteg
  • Programvara som styr produkterna öppnar också upp för hacking

Fortsätt läsa “Algoritmsamhället tar form – noteringar mars 2017”