Vad händer när offentliga beslut delegeras till algoritmerna?
Maja Fjaestad och Simon Vinge påminner om teknikens politiska dimensioner och varnar för att medborgarna blir slavar under algoritmerna.
Ordet byråkrati har en negativ klang. Tankarna leds till Kafkas ”Processen” där huvudpersonen K hänvisas runt i en evig labyrint av anonyma tjänstemän där ingen är ansvarig och ingenting är begripligt. De flesta av oss har nog stött på en sådan byråkrati i form av ett offentligt beslut som inte går att förstå och som inte förklaras. Ännu fler av oss har kanske upplevt byråkratins onda kusin: det vi vill kalla algokrati.
Varje Stockholmare som inte kunde frånvaroanmäla genom kommunens miljard-app, men förbjöds att mejla. De invånare i Kungsbacka som nekades socialbidrag utan förklaring eller orsak. De tolv tusen göteborgare som skulle börja skolan 2020 – ett läsår där elever placerades kors och tvärs över staden. I algokratin har byråkratins regler flyttats över till algoritmer som utövar makten i samhället, men inte nödvändigtvis i samhällets tjänst.
För byråkrati är samtidigt oundvikligt och oundgängligt. Varje institution som utövar makt behöver regler och föreskrifter som styr hur denna makt ska utövas. Byråkrati kan, trots ordets negativa klang, också vara välfungerande: transparent, begriplig, effektiv, gå att överklaga, och möjliggöra för olika intressen att komma till tals. Sveriges offentliga sektor har ofta – om än kanske inte alltid – levt upp dessa värden.
Varje sekund fattas offentliga beslut med helt livsavgörande konsekvenser för medborgaren. Det kan handla om vilken akutsjukvård du får, var dina barn hamnar i skola, om du har rätt till ekonomiskt bistånd, vilken arbetsförmåga du har, om du får behålla jobbet eller längden på ditt fängelsestraff.
Ovanstående uppräkning är också exempel på byråkratiska processer som gjorts om till algoritmer, i Sverige och i andra länder. Många gånger är det företag som utformar och driver algoritmerna, och därmed äger nyckeln till hur maktutövandet går att begripa, överklaga, och vilka intressen som avvägs.
Byråkratin lyder under lagen men algokratin gömmer sig alltför ofta bakom ett raster av obegriplighet.
Årets ekonomipristagare till Nobels minne, Daron Acemoglu, sätter tekniken i ett maktperspektiv och understryker att ”arbetstagarna behöver ta makten över AI.”
Acemoglu utvecklar hur det i dag är en handfull mäktiga företag som avgör hur beslut ska fattas. Dels handlar detta om vad som syns och får synas i våra nya offentliga rum, de sociala medierna. Deras styrande algoritmer är svarta lådor, utformade för att maximera vår tid framför skärmarna. Men vi ser detta även inom den offentliga förvaltningen där ett antal stora företag ser potentialen att ta över byråkratin från den offentliga sektorn, med en rikedom av data därtill.
Byråkratin lyder under lagen men algokratin gömmer sig alltför ofta bakom ett raster av obegriplighet. Begreppet ”machine bias” beskriver hur vi människor har en tendens att lita på vad maskiner spottar ur sig.
I det konkreta exempel som nämndes ovan får juristen Charlotta Kronblad, som ville föra i bevis att Göteborgs kommun använt algoritmiskt beslutsfattande i skolplaceringar, inte överklaga detta beslut, med hänvisning till att hon inte kunde bevisa sin argumentation med algoritmens källkod. En kod hon nekats att ta del av när hon tidigare begärde ut den. Franz Kafkas Processen möter Joseph Hellers Moment 22.
Hur data hanteras är politiskt, och vår frihet på internet en politisk fråga och ska lyda under demokratiska spelregler – inte oligarkernas.
Här finns skriande behov av och utrymme för socialdemokratisk teknikpolitik. Den följer skiljelinjer om solidaritet, beroenden och makt som vi väl känner till, och det är ingen slump att Elon Musks datadriva affärsmodeller lierat sig med Donald Trump. Hur data hanteras är politiskt, och vår frihet på internet en politisk fråga och ska lyda under demokratiska spelregler – inte oligarkernas.
Teknik är alltid byggd av någon, på visst sätt, med ett speciellt syfte i åtanke, och detta syfte kommer också att avspeglas i teknikens utformning. Om teknikens politiska dimensioner glöms bort riskerar vi att osynliggöra samhällsbeslut som borde fattas i demokratiska församlingar. Motmedlet är en medvetenhet om att den tekniska utvecklingen inte är självgående utan att den kan och bör underkastas demokratins principer.
Ur ett fackligt perspektiv bör det också uppmärksammas att den nya tekniken ger stor makt till arbetsgivaren. Den ena parten i detta maktförhållande kan plötsligt se var den andra har varit, exakt presterat och vilka knappar hen har tryckt på varje sekund av dygnet. Denna data kommer användas till att styra arbetet och maximera vad arbetsgivaren kan få ut av varje individ; den kommer användas för att sätta löner och för att avskeda.
Vi har här lämnat idén om rent mjöl i påsen: i algokratin är det algoritmen som avgör vilket mjöl du har. Tryck för all del ”appeal” i det upphandlade app-gränssnittet som kommunen köpt in, men hoppas inte på att det ska leda till något överklagande i ordets rätta bemärkelse. Sådant lämnade vi kvar i den gamla byråkratin.
All offentlig makt utgår fortfarande från folket. Den passerar genom byråkratin och låt oss för allt i världen låta den fortsätta passera där. Alternativet, algokratin, riskerar att innebära slutet av demokratin som vi känner den. Men vi har alla möjligheter att öppna algokratins svarta låda och släppa in demokratisk insyn. Låt oss göra det, med skyndsamhet och med medvetenhet om teknikens underbara möjligheter.
Maja Fjaestad & Simon Vinge
