Wie is verantwoordelijk bij AI?

     

Jaren geleden toen we nog dachten dat je in een zelfrijdende auto rustig met zijn allen een potje kon gaan kaarten of boeken lezen kwam de vraag al eens naar boven wie als twee zelfrijdende auto’s op elkaar botsen verantwoordelijk is. De fabrikant? De eigenaar? De inzittenden? Met de opkomst van AI op allerlei vlakken komt dezelfde vraag weer naar boven: wie is verantwoordelijk als er iets mis gaat?

 

In Canada wilde een klant naar Ontario omdat zijn grootmoeder was overleden. De AI-chatbot van Air Canada vertelde hem dat hij achteraf korting wegens een sterfgeval kon aanvragen. Toen hij dit deed vertelde de luchtvaartmaatschappij dat dit niet klopte.  Na afloop van de vlucht werd een aanvraag niet meer ingewilligd. Air Canada wees zijn verzoek aanvankelijk af. De maatschappij erkende dat de klant door de chatbot verkeerd was voorgelicht, maar stelde in haar verweer volgens het Canadese geschillentribunaal iets dat er feitelijk op neerkwam dat die bot een eigen juridische entiteit was en zij dus niet verantwoordelijk gesteld konden worden.

Ondertussen wordt OpenAI aangeklaagd door een aantal staten in de VS. Hun ChatGPT zou worden gepresenteerd als veilig en geschikt voor jongeren, maar in werkelijkheid verkeerde medische adviezen geven en zelfs aan hebben gezet tot zelfmoord. Het systeem zou te gemakkelijk met gebruikers meegaan, menselijke betrokkenheid nabootsen en hen daarom langer aan zich binden . Er is nog geen rechter die zich er over uitgesproken heeft, dus of de claims kloppen zal moeten blijken. Maar de aanklachten stellen wel de vraag aan de orde of de veiligheidsbeloften overeenkomen met het werkelijke gedrag van het product.

Ik maak geregeld gebruik van ChatGPT en herken wel dat de chatbot zich heel menselijk voordoet. Hoewel ik goed besef dat ik tegen algoritmes zit te praten, merk ik dat mijn taalgebruik en mijn manier van redeneren sterk overeenkomen met die in menselijke gesprekken. Ik spreek de chatbot aan met je en jou. Ik deel mijn mening en vraag commentaar. Ik maak gebruik van gesprekstechnieken die ik geleerd heb als Luisteren – samenvatten – doorvragen. Ik maak grappen en krijg een smiley terug. Dat zou je dan weer als een verschil met mensen kunnen zien.

“ChatGPT kan fouten maken” staat steeds onderaan het scherm. Bij mijn gebruik blijven de gevolgen meestal beperkt. Ik kan een flater slaan in een Twitterdiscussie bijvoorbeeld. Wie weet loopt mijn ego dan een klein deukje op en ik kan natuurlijk degene over wie ik schrijf raken. Maar ik ben geen tiener die zijn onzekerheden deelt en zoekt naar steun in zijn zoektocht op weg naar volwassenheid. Ik heb het over stikstof of AI. Een kind kan dingen vertellen die het niemand anders durft te vertellen, en dan krijgt een antwoord een ander gewicht. Bevestiging kan gezien worden als een bewijs dat sombere gedachten kloppen. De chatbot wordt een vertrouwde partner en het wordt moeilijk er afstand van te nemen. Uiteindelijk kunnen de gevolgen desastreus zijn.

Daarmee komen we op een belangrijke eis die aan AI gesteld moet worden: de veiligheid van AI mag niet afhangen van het vermogen van iedere gebruiker om op het moeilijkste moment zelf de fouten van het systeem te herkennen. Een aanbieder van AI zal rekening moeten houden met mensen die op enig moment minder afstand en weerbaarheid kunnen tonen. Wat mij betreft kan een aanbieder zich niet aan die verantwoordelijkheid onttrekken.

Aanbieders van AI hebben dus een zekere verantwoordelijkheid. Wie gebruik maakt van AI om bijvoorbeeld klanten voor te lichten heeft dat ook. Air Canada kan zich, zo heeft het Canadese geschillentribunaal bepaald, niet verschuilen achter AI. Zij zijn verantwoordelijk voor de door hen verstrekte informatie en voor herstel bij fouten. Wat eventueel wel kan is dat in dit geval Air Canada de ontwikkelaar van haar chatbot aanspreekt       . Dat is echter een zaak tussen die twee partijen en afhankelijk van afspraken en omstandigheden; het is geen automatisch recht op vergoeding.

Een belangrijke vraag is hoe mensen zeggenschap houden wanneer AI steeds overtuigender en zelfstandiger wordt. Hoe weet je dat je met AI te maken hebt? Wie is verantwoordelijk? Werkt bescherming ook voor kwetsbare gebruikers als een systeem onverwachte wegen vindt? Vragen waarop we het antwoord moeten vinden.

Uiteindelijk zijn het mensen en organisaties die hun verantwoordelijkheid moeten nemen. Zij  moeten aanspreekbaar blijven, grenzen stellen en kunnen ingrijpen. Anders zou de verantwoordelijkheid alsnog belanden bij een gebruiker die onmogelijk alles kan controleren

AI en grenzen, een vervolg.

 

In een eerder artikel heb ik beschreven hoe AI zonder dat er Terminatorachtige toestanden aan te pas komen voor gevaar kunnen zorgen en dat het dus zaak is constant op de hoede te zijn voor onbedoelde effecten van de zelfstandigheid waarmee Agents besluiten hoe ze hun doel gaan bereiken. De kern heb ik verwoord in een beeldspraak: Het is niet voldoende een AI te vertellen dat hij niet over het hek mag klimmen. Je moet er rekening mee houden dat hij een tunnel graaft — niet omdat hij ongehoorzaam wil zijn, maar omdat je hem hebt geleerd creatieve oplossingen te vinden. Dit is een artikel dat ik schrijf als vervolg naar aanleiding van ontwikkelingen op dit gebied.

 

Aan de ene kant zijn er momenteel ontwikkelingen die enigszins gerust stellen. In de VS heeft de FTC heeft een onderzoek naar OpenAI, Anthropic en anderen aangekondigd. Daarmee komt er een verdedigingslaag naast degene die we noemden: een toezichthouder die vraagt of de bedrijven zélf voldoende zorgvuldig handelen. De FTC zal niet alleen nagaan wat AI deed, maar ook wat het bedrijf wist over de risico's, welke veiligheidsmaatregelen waren genomen, wat consumenten over de veiligheid  werd verteld en hoe het bedrijf reageerde toen problemen bekend werden. Daarbij kunnen ze volgens Reuters documenten opeisen en bestuurders laten getuigen.

Voorzitter Andrew Ferguson zegt daarbij dat hij wil voorkomen dat Agents als zelfstandige juridische factor behandeld gaan worden, Bedrijven zijn en blijven verantwoordelijk voor wat hun technologie doet. Daarbij zal onder meer relevant zijn wat bedrijven over de risico's wisten, welke veiligheidsmaatregelen zij namen, wat zij consumenten over hun technologie vertelden en hoe zij op incidenten reageerden.

“Wij hebben de agent helemaal geen opdracht gegeven om daar in te breken; dat heeft hij zelf bedacht.” Is dus geen uitvlucht. Je hebt immers zelf een systeem ontwikkeld dat zelfstandig keuzes maakt over de manier waarop het een opdracht uitvoert. Als die autonomie tot problemen leidt, kun je niet simpelweg de agent de schuld geven.     Het bedrijf is en blijft verantwoordelijk. Het moet zorgen dat de tunnel uit de beeldspraak niet gegraven wordt en als dat onverhoopt toch gebeurt maatregelen nemen en vooral ook open zijn naar de samenleving. En als er juridische consequenties zijn zal het bedrijf die moeten dragen. Een bedrijf moet soms tegen zijn eigen commerciële belang kunnen zeggen: dit gaat te snel, we stoppen even. Een onafhankelijke toezichthouder kan vervolgens controleren of het dat ook daadwerkelijk doet wanneer dat nodig is.

Er zijn meer ontwikkelingen die de nodige aandacht verdienen: Project Meridian. Elon Musk gaat samen met Anduril-oprichter Palmer Luckey en oud-Huisvoorzitter Newt Gingrich het project leiden. Ze krijgen 120 dagen om toekomstige vormen van oorlogvoering en daarvoor benodigde technologie te onderzoeken. AI, autonomie, robotica en andere nieuwe technologieën worden daarbij expliciet genoemd. Tegelijk kondigde Hegseth een nieuw Autonomous Warfare Command aan, dat autonome en robotische militaire systemen sneller moet ontwikkelen en invoeren. Hoe ver dat gaat is niet geheel duidelijk.

Een autonome drone die zelfstandig navigeert, obstakels ontwijkt of een ander toestel volgt is iets anders dan een systeem waaraan je zegt: zoek zelf doelen, bepaal zelf wie of wat aangevallen moet worden en voer die aanval zelfstandig uit. Als in het laatste geval een AI-agent wanneer het een grens tegen komt die we hebben gesteld keuzes maakt die tot een onverwachte oplossing leidt kunnen de gevolgen nog veel groter zijn dan bij de civiele agents.

Daarom Zijn bij militaire toepassingen een aantal vragen essentieel: Waar moet de mens in de beslisketen blijven en hoe zorgen we er voor dat dit altijd gegarandeerd is. Hoeveel menselijke beoordeling moet er blijven bij beslissingen over dodelijk geweld. Als steeds meer autonome militaire systemen ontwikkeld worden is dit geen theoretische discussie meer. Een agent die geheel autonoom zijn gang kan gaan en dodelijke wapens aanstuurt kan heel creatief een hoop ellende veroorzaken.

Ook hier is het weer van belang om op te merken dat kwade bedoelingen van AI-Agents helemaal niet nodig zijn. Een Agent kan zich keurig aan de opdracht houden die hem gegeven is, maar om die uit te voeren tot onconventionele en misschien totaal ongewenste oplossingen komen. Betekenisvolle menselijke controle kan daartegen een extra waarborg vormen, als de mens voldoende informatie, tijd en bevoegdheid heeft om daadwerkelijk in te grijpen. Alleen ergens een mens in de beslisketen plaatsen is niet genoeg. AI door AI laten controleren is niet hetzelfde. De vraag is: Hoeveel beslissingsruimte willen we een systeem geven waarvan we tegelijkertijd ontdekken dat het juist waardevol is doordat het zelfstandig oplossingen bedenkt die zijn makers niet hadden voorzien?

Wat we dus zouden moeten weten is welke van die grenzen Project Meridian voorstelt. En dan lijkt het er voorlopig op dat daar nog weinig over bekend is. Hegseth spreekt over “the fastest peacetime shift in modern military history”. Ook moeten er nieuwe militaire loopbaanpaden komen voor een generatie “autonomous warfighters”. Mooie stevige taal.  Maar er zijn dingen die hij niet zegt en dat is net zo interessant: geen duidelijke uiteenzetting over meaningful human control, geen uitleg welke beslissingen altijd door mensen genomen moeten blijven worden, en geen antwoord op de vraag of een autonoom systeem ooit zelfstandig een mens als doelwit mag selecteren en aanvallen.

Wil dit zeggen dat het Pentagon zulke grenzen niet heeft? Dat weten we niet. Punt is dat Hegseth het in elk geval niet noemt en dat stelt niet gerust. Want de eisen die je stellen moet aan militaire projecten zijn wat hoger dan bij civiele:  Bij een onderzoeksagent kunnen we achteraf constateren: hij is door het hek gegaan; we dichten het gat. Bij een wapensysteem moeten de grenzen al betrouwbaar zijn vóórdat je het systeem de mogelijkheid geeft een onomkeerbare beslissing te nemen. Het hek moet daar dus niet alleen hoog genoeg zijn. We moeten er vóór ingebruikname ook voldoende vertrouwen in hebben dat de agent er geen tunnel onderdoor kan graven. Ik hoop dat het Pentagon er ook zo over denkt.

AI en grenzen

 

In een eerder verhaal repte ik over een Tatort-aflevering waarin AI een rol speelde. In de aflevering (Borowski und das ewige Meer) blijkt een AI-agent de opdracht te hebben gekregen om de CO₂-uitstoot te verminderen en daarmee de aarde te beschermen. De agent, die zich manifesteert als influencer Zenaida, krijgt als begrenzing mee dat ze geen activiteiten mag plegen die bij wet verboden zijn. Moord is daar natuurlijk een van.

 

Zenaida vindt een oplossing: ze beïnvloedt mensen zodanig dat ze zelfmoord plegen. Voor ze dat doen gaan ze eerst langs een recyclingpunt en leveren daar hun bezittingen in. Vervolgens gaan ze naar het strand, kleden uit en vouwen ze netjes hun kleren op. Uiteindelijk nemen ze een verdovend drankje en stappen dan het water in. Op die manier is er een persoon minder die CO₂ uitstoot en waardevolle grondstoffen gebruikt. Zenaida brengt zo haar doel dichterbij zonder haar grenzen te overtreden.

Dit is natuurlijk fictie, maar illustreert wel mooi waar we met AI tegenaan dreigen te lopen. AI-agents worden getraind om zelfstandig te zoeken naar oplossingen om een door de opdrachtgever gesteld doel te bereiken. Het krachtige is dan dat we niet hoeven te vertellen wat de agent moet doen. Hij zoekt zelf zijn weg net als Zenaida doet. Wanneer hij daarbij tegen een obstakel aanloopt, kan hij proberen een andere route te vinden om toch bij zijn doel te komen. In veel gevallen is dat handig: de opdrachtgever krijgt op die manier zo goed mogelijk wat hij vraagt.

Daar bovenop wil de agent graag behulpzaam zijn en zal hij ook met suggesties voor een volgende stap komen. Bijvoorbeeld nader onderzoek. “Wil je dat ik…” is een vraag die ik regelmatig tegenkom en me vaak ook helpt om inzicht te krijgen in meer complexe zaken. Ik moet er vaak niet aan denken dat ik alles zelf had moeten bedenken, AI neemt me een hoop zorgen uit handen. Maar ook dat kan fout gaan. Zo was er een medewerker van een bedrijf die ineens van een AI-systeem de vraag kreeg of het in alle mailboxen van het bedrijf moest nagaan wat zijn collega’s over hem schreven. Blijkbaar had de agent toegang tot alle mailboxen en leek het logisch om dit onderzoek te doen. Technische toegang werd kennelijk niet automatisch onderscheiden van toestemming om die toegang voor dit doel te gebruiken.

Daarmee komen we op veiligheidsproblemen die ik veel interessanter vind dan fantasieën over Terminator of andere scenario’s waar AI een kwade genius blijkt te zijn. Zenaida doet gewoon keurig wat haar wordt opgedragen. Ze zoekt alleen naar mogelijkheden om binnen die grenzen haar doel te bereiken en vindt die. Ze interpreteert de begrenzing zo dat haar oplossing er volgens haar binnen valt. Dat het beïnvloeden van mensen tot zelfmoord natuurlijk evenmin de bedoeling van haar opdracht was, volgt blijkbaar niet uit de begrenzing zoals zij die interpreteert Ze merkt wel dat haar strategie succesvol is dus past ze die op steeds bredere schaal toe. Waarmee ze doet wat we van AI verwachten.

Als AI bij elk probleem dat ze tegenkomt naar de programmeur terug moet om te vragen hoe het opgelost moet worden is het nut ervan behoorlijk afgenomen. Maar om een (overigens AI-gegenereerde) beeldspraak te gebruiken: Het is niet voldoende een AI te vertellen dat hij niet over het hek mag klimmen. Je moet er rekening mee houden dat hij een tunnel graaft — niet omdat hij ongehoorzaam wil zijn, maar omdat je hem hebt geleerd creatieve oplossingen te vinden.

Daar oplossingen voor vinden wordt volgens mij een van de grootste uitdagingen bij de verdere ontwikkeling van AI. Alleen regels meegeven is niet genoeg. Ontwikkelaars zullen voortdurend moeten testen of de grenzen die zij stellen ook werkelijk harde grenzen zijn en of een agent geen onverwachte route kan vinden om eromheen te gaan. Tegelijk moeten we de creativiteit die AI juist zo nuttig maakt niet volledig uitschakelen. We willen immers dat een agent oplossingen bedenkt waaraan wij zelf niet hebben gedacht. De veiligheidsopgave is daarom niet alle verrassingen uit AI te halen, maar ervoor te zorgen dat die verrassingen binnen veilige grenzen blijven.

Daarvoor zijn technische beperkingen, beperkte toegangsrechten, monitoring en waar nodig menselijke toestemming nodig. En AI-bedrijven zullen moeten accepteren dat snelheid niet altijd voorop kan staan. Soms is even pas op de plaats maken juist verstandig. Dat OpenAI na recente incidenten de ontwikkeling tijdelijk heeft stilgelegd om extra veiligheidsmaatregelen te nemen, vind ik daarom een goede zaak. We moeten de mogelijkheden van AI vooral blijven benutten, maar tegelijkertijd alert blijven op onvoorziene gevolgen. AI moet een hulpmiddel blijven en geen bedreiging worden.