Sorry, die paddenstoel was toch giftig

 

Mijn oog werd getroffen door een korte strip van twee plaatjes. Het bovenste toonde hoe iemand een paddenstoel aan AI toonde met de vraag “Is deze eetbaar?” “Ja” antwoordde AI. Het onderste plaatje toonde een grafzerk en de AI. Tekst: “Je hebt gelijk was giftig. Sorry voor deze verwarring. Wil je meer weten over giftige paddenstoelen?” Wie weet stond onder het eerste antwoord de toevoeging  “AI kan fouten maken. Controleer belangrijke informatie.” Dat was in elk geval niet voldoende. 

 

Fouten in AI-uitvoer hoeven niet meteen dodelijk te zijn om toch behoorlijke schade aan te richten. Zo waren er in 2023 advocaten die ChatGPT gebruikte om jurisprudentie te vinden ter ondersteuning van een zaak tegen een luchtvaartmaatschappij. Hij vroeg om vergelijkbare rechtszaken, maar verifieerde de uitvoer niet. Gevolg: in een processtuk stonden 6 verzonnen rechterlijke uitspraken. De rechtbank benadrukte dat de advocaten hun verantwoordelijkheid voor controle hadden verzaakt; ze gingen bovendien door nadat de echtheid van de uitspraken ter discussie was gesteld. Er volgde een gezamenlijke boete van 5.000 dollar. En het zou me verbazen als er niet meer voorbeelden zijn.

Volgens Laurens Dassen van Volt kleven er meer gevaren aan het gebruik van AI. Uit onderzoek zou blijken dat je zelf minder hersenactiviteit  hebt als je dagelijks AI gebruikt. Met andere woorden je wordt dommig. Hij koppelt daar nog aan vast dat dit ook de bedoeling zou zijn van grote techbedrijven. Die willen volgens hem geen weerbare mensen in en stevige democratie, maar de macht bij hen. Dat laatste lijkt me nogal speculatief.

Hoewel Dassen niet zegt over welk onderzoek het ging is de kans groot dat hij doelde op een onderzoek onder 54 deelnemers onder de titel “Your Brain on ChatGPT”. De deelnemers schreven opstellen met ChatGPT, met gewone zoekmachines en zonder hulpmiddelen. Van hen deden 18 aan een vierde sessie mee. Ze keken naar hersenactiviteit tijdens een schrijftest, herinnering aan eigen tekst en ervaren eigenaarschap. Bij de eerste groep vonden onderzoekers minder sterke koppelingen tussen hersengebieden. Ook konden ze minder goed passages uit hun eigen teksten terughalen en voelden ze zich minder eigenaar van de tekst. Het uitbesteden van schrijfwerk lijkt dus wel degelijk gevolgen te kunnen hebben voor de verwerking ervan. Dat gebruikers daardoor minder intelligent worden, kun je uit dit onderzoek niet concluderen, want dat werd niet gemeten.

Deze schrijftest zegt nog niet hoeveel mensen leren van AI. In een experiment met bijna duizend scholieren presteerden leerlingen met een gewone chatbotversie beter zolang ze die bij wiskundeopgaven mochten gebruiken. Toen de AI-hulp wegviel, maakten ze de opgaven slechter dan leerlingen die geen AI hadden gebruikt. Bij een versie die als tutor was ingericht, trad dat nadeel niet op. Hoe je AI inricht en gebruikt, maakt dus verschil. Ik moet zeggen dat de verleiding nu groot is om te suggereren dat de hedendaagse politici blijkbaar AI op een verkeerde manier gebruiken, maar laat ik me inhouden.

Toen ik op de HTS zat hadden we een leraar die elke dag een aantal opdrachten opgaf en die dan in de volgende les door een van de studenten op het bord liet oplossen. Had iemand de opgave niet gemaakt, dan zei hij “kom dan maar als secretaris fungeren”. Hij dicteerde dan de uitwerking. We moeten oppassen onszelf niet te degraderen tot secretaris van AI of zelfs dat secretariswerk nog niet te doen en alleen de kant-en-klare uitwerking nog tot ons te nemen. Dus maak de sommen zelf! Laat daarna chatgpt je controleren en eventueel zaken uitleggen. Maar denk zelf na!

Er is nog een aspect aan het zelf blijven nadenken. Het is ook nog eens leuk. Als je, al dan niet ondersteund, een probleem hebt opgelost, een stuk heb geschreven, iets nieuws hebt bedacht of op een andere manier met je denkwerk resultaat hebt bereikt geeft dat voldoening. Het is namelijk jouw werk. Als ik dit stuk door ChatGPT had laten schrijven was het misschien een veel betere tekst geworden. Maar wat je nu leest is mijn tekst. Daarbij ben ik ondersteund door AI, maar ik heb het geschreven. Ik gun iedereen dat gevoel. En kijk vooral uit met paddenstoelen.

Wie is verantwoordelijk bij AI?

     

Jaren geleden toen we nog dachten dat je in een zelfrijdende auto rustig met zijn allen een potje kon gaan kaarten of boeken lezen kwam de vraag al eens naar boven wie als twee zelfrijdende auto’s op elkaar botsen verantwoordelijk is. De fabrikant? De eigenaar? De inzittenden? Met de opkomst van AI op allerlei vlakken komt dezelfde vraag weer naar boven: wie is verantwoordelijk als er iets mis gaat?

 

In Canada wilde een klant naar Ontario omdat zijn grootmoeder was overleden. De AI-chatbot van Air Canada vertelde hem dat hij achteraf korting wegens een sterfgeval kon aanvragen. Toen hij dit deed vertelde de luchtvaartmaatschappij dat dit niet klopte.  Na afloop van de vlucht werd een aanvraag niet meer ingewilligd. Air Canada wees zijn verzoek aanvankelijk af. De maatschappij erkende dat de klant door de chatbot verkeerd was voorgelicht, maar stelde in haar verweer volgens het Canadese geschillentribunaal iets dat er feitelijk op neerkwam dat die bot een eigen juridische entiteit was en zij dus niet verantwoordelijk gesteld konden worden.

Ondertussen wordt OpenAI aangeklaagd door een aantal staten in de VS. Hun ChatGPT zou worden gepresenteerd als veilig en geschikt voor jongeren, maar in werkelijkheid verkeerde medische adviezen geven en zelfs aan hebben gezet tot zelfmoord. Het systeem zou te gemakkelijk met gebruikers meegaan, menselijke betrokkenheid nabootsen en hen daarom langer aan zich binden . Er is nog geen rechter die zich er over uitgesproken heeft, dus of de claims kloppen zal moeten blijken. Maar de aanklachten stellen wel de vraag aan de orde of de veiligheidsbeloften overeenkomen met het werkelijke gedrag van het product.

Ik maak geregeld gebruik van ChatGPT en herken wel dat de chatbot zich heel menselijk voordoet. Hoewel ik goed besef dat ik tegen algoritmes zit te praten, merk ik dat mijn taalgebruik en mijn manier van redeneren sterk overeenkomen met die in menselijke gesprekken. Ik spreek de chatbot aan met je en jou. Ik deel mijn mening en vraag commentaar. Ik maak gebruik van gesprekstechnieken die ik geleerd heb als Luisteren – samenvatten – doorvragen. Ik maak grappen en krijg een smiley terug. Dat zou je dan weer als een verschil met mensen kunnen zien.

“ChatGPT kan fouten maken” staat steeds onderaan het scherm. Bij mijn gebruik blijven de gevolgen meestal beperkt. Ik kan een flater slaan in een Twitterdiscussie bijvoorbeeld. Wie weet loopt mijn ego dan een klein deukje op en ik kan natuurlijk degene over wie ik schrijf raken. Maar ik ben geen tiener die zijn onzekerheden deelt en zoekt naar steun in zijn zoektocht op weg naar volwassenheid. Ik heb het over stikstof of AI. Een kind kan dingen vertellen die het niemand anders durft te vertellen, en dan krijgt een antwoord een ander gewicht. Bevestiging kan gezien worden als een bewijs dat sombere gedachten kloppen. De chatbot wordt een vertrouwde partner en het wordt moeilijk er afstand van te nemen. Uiteindelijk kunnen de gevolgen desastreus zijn.

Daarmee komen we op een belangrijke eis die aan AI gesteld moet worden: de veiligheid van AI mag niet afhangen van het vermogen van iedere gebruiker om op het moeilijkste moment zelf de fouten van het systeem te herkennen. Een aanbieder van AI zal rekening moeten houden met mensen die op enig moment minder afstand en weerbaarheid kunnen tonen. Wat mij betreft kan een aanbieder zich niet aan die verantwoordelijkheid onttrekken.

Aanbieders van AI hebben dus een zekere verantwoordelijkheid. Wie gebruik maakt van AI om bijvoorbeeld klanten voor te lichten heeft dat ook. Air Canada kan zich, zo heeft het Canadese geschillentribunaal bepaald, niet verschuilen achter AI. Zij zijn verantwoordelijk voor de door hen verstrekte informatie en voor herstel bij fouten. Wat eventueel wel kan is dat in dit geval Air Canada de ontwikkelaar van haar chatbot aanspreekt       . Dat is echter een zaak tussen die twee partijen en afhankelijk van afspraken en omstandigheden; het is geen automatisch recht op vergoeding.

Een belangrijke vraag is hoe mensen zeggenschap houden wanneer AI steeds overtuigender en zelfstandiger wordt. Hoe weet je dat je met AI te maken hebt? Wie is verantwoordelijk? Werkt bescherming ook voor kwetsbare gebruikers als een systeem onverwachte wegen vindt? Vragen waarop we het antwoord moeten vinden.

Uiteindelijk zijn het mensen en organisaties die hun verantwoordelijkheid moeten nemen. Zij  moeten aanspreekbaar blijven, grenzen stellen en kunnen ingrijpen. Anders zou de verantwoordelijkheid alsnog belanden bij een gebruiker die onmogelijk alles kan controleren

AI en grenzen, een vervolg.

 

In een eerder artikel heb ik beschreven hoe AI zonder dat er Terminatorachtige toestanden aan te pas komen voor gevaar kunnen zorgen en dat het dus zaak is constant op de hoede te zijn voor onbedoelde effecten van de zelfstandigheid waarmee Agents besluiten hoe ze hun doel gaan bereiken. De kern heb ik verwoord in een beeldspraak: Het is niet voldoende een AI te vertellen dat hij niet over het hek mag klimmen. Je moet er rekening mee houden dat hij een tunnel graaft — niet omdat hij ongehoorzaam wil zijn, maar omdat je hem hebt geleerd creatieve oplossingen te vinden. Dit is een artikel dat ik schrijf als vervolg naar aanleiding van ontwikkelingen op dit gebied.

 

Aan de ene kant zijn er momenteel ontwikkelingen die enigszins gerust stellen. In de VS heeft de FTC heeft een onderzoek naar OpenAI, Anthropic en anderen aangekondigd. Daarmee komt er een verdedigingslaag naast degene die we noemden: een toezichthouder die vraagt of de bedrijven zélf voldoende zorgvuldig handelen. De FTC zal niet alleen nagaan wat AI deed, maar ook wat het bedrijf wist over de risico's, welke veiligheidsmaatregelen waren genomen, wat consumenten over de veiligheid  werd verteld en hoe het bedrijf reageerde toen problemen bekend werden. Daarbij kunnen ze volgens Reuters documenten opeisen en bestuurders laten getuigen.

Voorzitter Andrew Ferguson zegt daarbij dat hij wil voorkomen dat Agents als zelfstandige juridische factor behandeld gaan worden, Bedrijven zijn en blijven verantwoordelijk voor wat hun technologie doet. Daarbij zal onder meer relevant zijn wat bedrijven over de risico's wisten, welke veiligheidsmaatregelen zij namen, wat zij consumenten over hun technologie vertelden en hoe zij op incidenten reageerden.

“Wij hebben de agent helemaal geen opdracht gegeven om daar in te breken; dat heeft hij zelf bedacht.” Is dus geen uitvlucht. Je hebt immers zelf een systeem ontwikkeld dat zelfstandig keuzes maakt over de manier waarop het een opdracht uitvoert. Als die autonomie tot problemen leidt, kun je niet simpelweg de agent de schuld geven.     Het bedrijf is en blijft verantwoordelijk. Het moet zorgen dat de tunnel uit de beeldspraak niet gegraven wordt en als dat onverhoopt toch gebeurt maatregelen nemen en vooral ook open zijn naar de samenleving. En als er juridische consequenties zijn zal het bedrijf die moeten dragen. Een bedrijf moet soms tegen zijn eigen commerciële belang kunnen zeggen: dit gaat te snel, we stoppen even. Een onafhankelijke toezichthouder kan vervolgens controleren of het dat ook daadwerkelijk doet wanneer dat nodig is.

Er zijn meer ontwikkelingen die de nodige aandacht verdienen: Project Meridian. Elon Musk gaat samen met Anduril-oprichter Palmer Luckey en oud-Huisvoorzitter Newt Gingrich het project leiden. Ze krijgen 120 dagen om toekomstige vormen van oorlogvoering en daarvoor benodigde technologie te onderzoeken. AI, autonomie, robotica en andere nieuwe technologieën worden daarbij expliciet genoemd. Tegelijk kondigde Hegseth een nieuw Autonomous Warfare Command aan, dat autonome en robotische militaire systemen sneller moet ontwikkelen en invoeren. Hoe ver dat gaat is niet geheel duidelijk.

Een autonome drone die zelfstandig navigeert, obstakels ontwijkt of een ander toestel volgt is iets anders dan een systeem waaraan je zegt: zoek zelf doelen, bepaal zelf wie of wat aangevallen moet worden en voer die aanval zelfstandig uit. Als in het laatste geval een AI-agent wanneer het een grens tegen komt die we hebben gesteld keuzes maakt die tot een onverwachte oplossing leidt kunnen de gevolgen nog veel groter zijn dan bij de civiele agents.

Daarom Zijn bij militaire toepassingen een aantal vragen essentieel: Waar moet de mens in de beslisketen blijven en hoe zorgen we er voor dat dit altijd gegarandeerd is. Hoeveel menselijke beoordeling moet er blijven bij beslissingen over dodelijk geweld. Als steeds meer autonome militaire systemen ontwikkeld worden is dit geen theoretische discussie meer. Een agent die geheel autonoom zijn gang kan gaan en dodelijke wapens aanstuurt kan heel creatief een hoop ellende veroorzaken.

Ook hier is het weer van belang om op te merken dat kwade bedoelingen van AI-Agents helemaal niet nodig zijn. Een Agent kan zich keurig aan de opdracht houden die hem gegeven is, maar om die uit te voeren tot onconventionele en misschien totaal ongewenste oplossingen komen. Betekenisvolle menselijke controle kan daartegen een extra waarborg vormen, als de mens voldoende informatie, tijd en bevoegdheid heeft om daadwerkelijk in te grijpen. Alleen ergens een mens in de beslisketen plaatsen is niet genoeg. AI door AI laten controleren is niet hetzelfde. De vraag is: Hoeveel beslissingsruimte willen we een systeem geven waarvan we tegelijkertijd ontdekken dat het juist waardevol is doordat het zelfstandig oplossingen bedenkt die zijn makers niet hadden voorzien?

Wat we dus zouden moeten weten is welke van die grenzen Project Meridian voorstelt. En dan lijkt het er voorlopig op dat daar nog weinig over bekend is. Hegseth spreekt over “the fastest peacetime shift in modern military history”. Ook moeten er nieuwe militaire loopbaanpaden komen voor een generatie “autonomous warfighters”. Mooie stevige taal.  Maar er zijn dingen die hij niet zegt en dat is net zo interessant: geen duidelijke uiteenzetting over meaningful human control, geen uitleg welke beslissingen altijd door mensen genomen moeten blijven worden, en geen antwoord op de vraag of een autonoom systeem ooit zelfstandig een mens als doelwit mag selecteren en aanvallen.

Wil dit zeggen dat het Pentagon zulke grenzen niet heeft? Dat weten we niet. Punt is dat Hegseth het in elk geval niet noemt en dat stelt niet gerust. Want de eisen die je stellen moet aan militaire projecten zijn wat hoger dan bij civiele:  Bij een onderzoeksagent kunnen we achteraf constateren: hij is door het hek gegaan; we dichten het gat. Bij een wapensysteem moeten de grenzen al betrouwbaar zijn vóórdat je het systeem de mogelijkheid geeft een onomkeerbare beslissing te nemen. Het hek moet daar dus niet alleen hoog genoeg zijn. We moeten er vóór ingebruikname ook voldoende vertrouwen in hebben dat de agent er geen tunnel onderdoor kan graven. Ik hoop dat het Pentagon er ook zo over denkt.