Hvad nu, hvis det nogle gange er den etisk rigtige løsning, at ingen kan stilles til ansvar, når en AI laver en fejl?

I dette afsnit af AI, en Dans på Roser udfordrer vi en af de mest hellige køer i AI-debatten: Kravet om altid at have et "human in the loop". Gæsten er Jakob Mainz, ph.d. i AI-etik, adjungeret lektor på Aalborg Universitet og til daglig leder af et AI governance-team i Novo Nordisk. Han er medforfatter til det opsigtsvækkende paper "The Value of Responsibility Gaps in Algorithmic Decision-Making", der argumenterer for, at ansvarshuller nogle gange skal bydes velkommen – ikke lukkes.

Det her er ikke AI-etik som kaffeklub og åbne spørgsmål uden svar. Det er anvendt filosofi med konkrete bud, der allerede har ændret beslutninger – blandt andet på et stort hospital i London.

I afsnittet dykker vi ned i:

• Ansvarshuller som design-valg: Hvorfor det kan være moralsk forsvarligt – ja, nogle gange bedst – at automatisere en beslutning, selvom ingen kan stilles til ansvar, når det går galt. Fordi det også er en omkostning at gøre mennesker ansvarlige for fejl.
• Human in the loop som syndebuk: Forskellen på at være ansvarlig, at være egnet til at bære ansvar og at blive holdt ansvarlig. Og hvorfor du som medarbejder skal være kritisk, når din arbejdsgiver pludselig vil have dig i loopet – er det for kvalitetens skyld, eller bare så de kan "fyre Henning"?
• Skal AI holdes til lavere standarder end mennesker? Det provokerende argument om, at en mindre præcis AI kan redde flere liv end lægen – illustreret med sepsis-overvågning, hvor hastighed trumfer akkuratesse.
• Bias, støj og kravet om forklaringer: Hvorfor mennesker hverken er så forklarlige eller så upartiske, som vi tror – og hvorfor vi kan gentræne en model, men ikke "overlægen Ole nede på Riget".
• Etik er ikke jura: Hvorfor compliance-tjeklisten ikke fritager dig for etisk ansvar, hvorfor AI Act risikerer at blive en sovepude, og hvorfor en "AI Ethics Officer" skal være consulted – aldrig accountable.

Til sidst får du Jakobs AI-kæphest: Opgøret med "AI first"-tilgangen, hvor teknologien vælges, før nogen har spurgt hvorfor.

Links nævnt i afsnittet:

• The Value of Responsibility Gaps in Algorithmic Decision-Making (Munch, Mainz & Bjerring, Ethics and Information Technology, 2023): Læs paperet her: https://link.springer.com/article/10.1007/s10676-023-09699-6
• Jakob Mainz' øvrige forskning i AI-etik, dobbeltstandarder og retten til forklaring: https://philpeople.org/profiles/jakob-mainz

Hvorfor tager simple AI-beslutninger ni måneder hos selv de mest velkørte virksomheder? Og hvorfor er konsekvensen, at AI-værdien udebliver — uanset hvor mange licenser man har købt?

I andet afsnit af mini-serien om AI-governance dykker Dan Rose ned i det, der følger af forrige afsnits pointe: når governance i sin kerne er organisationsdesign, så er det næste spørgsmål, hvor i organisationen beslutningerne om AI skal placeres. Hvem ejer hvad. Hvor hurtigt skal det gå. Og hvorfor de fleste danske virksomheder lige nu sidder fast i en model, de aldrig har valgt.

Du skal blandt andet høre om:

• Beslutninger, der hænger fast lige nu: Connections, projektstart, adoption, kommunikation og procedurer. Hvorfor de tager måneder — og hvordan en god beslutning (om fx Claude koblet på Teams eller Salesforce) faktisk burde tages på en uge.
• De tre governance-modeller — og den fjerde, ingen har valgt: Hub-and-spoke, fødereret governance og platform-as-a-product. Hvornår man bruger hvad, og hvorfor den tilstand, de fleste virksomheder rent faktisk befinder sig i, er den værste model overhovedet.
• AI Centers of Excellence skal omdøbes til Centers of Enablement: Hvorfor de fleste CoE'er prøver at være alle fire team-typer fra Team Topologies samtidigt — og hvorfor det aldrig går godt.
• RACI på AI: Den 40 år gamle metode fra projektledelse er god AI governance. Hvorfor forretningen skal være Accountable, og IT må ingenting eje.
• Hvornår en AI-agent er kritisk: Fem parametre der afgør, om en løsning er krydset fra skygge til kritisk — antal brugere, kritikalitet af processen, datatype, frekvens og grad af agency.
• Viden er et governance-element: Hvorfor ambassadører ikke er en blød tilføjelse, men en forudsætning for, at governance overhovedet kan fungere.

Kilder og referencer nævnt i afsnittet:

• Matthew Skelton & Manuel Pais: Team Topologies (2019) — de fire team-typer (stream-aligned, platform, enabling, complicated-subsystem)
• Bent Flyvbjerg: Forskning der peger på kalendertid som den største risikofaktor i projekter

Hvorfor er det de færreste organisationer, der får ordentlig værdi ud af AI? Og hvorfor er svaret ikke teknisk, men strukturelt?

I første afsnit af en tre-delt mini-serie tager Dan Rose fat på et begreb, mange tror handler om compliance og begrænsning, men som i virkeligheden er den vigtigste disciplin for at skabe AI-værdi: governance. Eller på dansk — forvaltning.

Dan argumenterer for, at AI-værdi ikke ligger i teknologien, men i den måde, organisationen forvalter sine indsatser på. Og at den misforståelse, der lige nu hersker omkring governance, koster danske virksomheder enormt mange penge.

Du skal blandt andet høre om:

• Den dyre misforståelse: Hvorfor AI-policy og AI Act ikke er governance — og hvad governance så er. Spoiler: Det handler om alignment, risikostyring og efficiens.
• Excitement Trap og pilot purgatory: Hvorfor AI er en opportunisme-maskine, og hvordan governance er den eneste modgift, der sikrer, at I bygger de rigtige løsninger til de rigtige problemer.
• Retning vs. kontrol: Hvorfor de fleste medarbejdere ikke kan svare på, hvad deres organisations AI-retning er — og hvad John Kotter lærer os om, hvorfor ledelser typisk underkommunikerer deres vision med en faktor ti.
• Conway's Law og Reverse Conway Maneuver: Hvorfor stort set alle organisationer skal omorganisere sig for at få ordentlig værdi ud af AI — og hvorfor Amazons "two-pizza teams" er mere relevant end nogensinde.
• Brain Fry som organisationsdesign-fejl: Hvorfor konsekvensen af, at alle nu er udviklere, er at teams skal blive mindre, ikke større — og hvorfor de organisationer, der ikke tager det seriøst, kommer til at se en bølge af stress-tilfælde.
• 50 års governance-håndværk: Hvorfor du skal stoppe med at genopfinde metoderne, bare fordi teknologien er ny.

Kilder og referencer nævnt i afsnittet:

• John Kotter: Forandringsledelse og kommunikation af vision
• Melvin Conway (1968): Conway's Law
• Matthew Skelton & Manuel Pais: Team Topologies (2019)
• Tidligere afsnit nævnt: Pernille Pagh fra Fibia Waoo, Thor fra Zendesk, samt soloafsnittet om AI Brain Fry

Næste afsnit i serien handler om, hvor i organisationen beslutningerne om AI skal placeres — og hvorfor Centers of Excellence skal omdøbes til Centers of Enablement.

Har du ønsker til emner eller gæster? Skriv til dan.rose@todai.ai