Hvad nu, hvis det nogle gange er den etisk rigtige løsning, at ingen kan stilles til ansvar, når en AI laver en fejl?

I dette afsnit af AI, en Dans på Roser udfordrer vi en af de mest hellige køer i AI-debatten: Kravet om altid at have et "human in the loop". Gæsten er Jakob Mainz, ph.d. i AI-etik, adjungeret lektor på Aalborg Universitet og til daglig leder af et AI governance-team i Novo Nordisk. Han er medforfatter til det opsigtsvækkende paper "The Value of Responsibility Gaps in Algorithmic Decision-Making", der argumenterer for, at ansvarshuller nogle gange skal bydes velkommen – ikke lukkes.

Det her er ikke AI-etik som kaffeklub og åbne spørgsmål uden svar. Det er anvendt filosofi med konkrete bud, der allerede har ændret beslutninger – blandt andet på et stort hospital i London.

I afsnittet dykker vi ned i:

• Ansvarshuller som design-valg: Hvorfor det kan være moralsk forsvarligt – ja, nogle gange bedst – at automatisere en beslutning, selvom ingen kan stilles til ansvar, når det går galt. Fordi det også er en omkostning at gøre mennesker ansvarlige for fejl.
• Human in the loop som syndebuk: Forskellen på at være ansvarlig, at være egnet til at bære ansvar og at blive holdt ansvarlig. Og hvorfor du som medarbejder skal være kritisk, når din arbejdsgiver pludselig vil have dig i loopet – er det for kvalitetens skyld, eller bare så de kan "fyre Henning"?
• Skal AI holdes til lavere standarder end mennesker? Det provokerende argument om, at en mindre præcis AI kan redde flere liv end lægen – illustreret med sepsis-overvågning, hvor hastighed trumfer akkuratesse.
• Bias, støj og kravet om forklaringer: Hvorfor mennesker hverken er så forklarlige eller så upartiske, som vi tror – og hvorfor vi kan gentræne en model, men ikke "overlægen Ole nede på Riget".
• Etik er ikke jura: Hvorfor compliance-tjeklisten ikke fritager dig for etisk ansvar, hvorfor AI Act risikerer at blive en sovepude, og hvorfor en "AI Ethics Officer" skal være consulted – aldrig accountable.

Til sidst får du Jakobs AI-kæphest: Opgøret med "AI first"-tilgangen, hvor teknologien vælges, før nogen har spurgt hvorfor.

Links nævnt i afsnittet:

• The Value of Responsibility Gaps in Algorithmic Decision-Making (Munch, Mainz & Bjerring, Ethics and Information Technology, 2023): Læs paperet her: https://link.springer.com/article/10.1007/s10676-023-09699-6
• Jakob Mainz' øvrige forskning i AI-etik, dobbeltstandarder og retten til forklaring: https://philpeople.org/profiles/jakob-mainz