AI en grenzen, een vervolg.

 

In een eerder artikel heb ik beschreven hoe AI zonder dat er Terminatorachtige toestanden aan te pas komen voor gevaar kunnen zorgen en dat het dus zaak is constant op de hoede te zijn voor onbedoelde effecten van de zelfstandigheid waarmee Agents besluiten hoe ze hun doel gaan bereiken. De kern heb ik verwoord in een beeldspraak: Het is niet voldoende een AI te vertellen dat hij niet over het hek mag klimmen. Je moet er rekening mee houden dat hij een tunnel graaft — niet omdat hij ongehoorzaam wil zijn, maar omdat je hem hebt geleerd creatieve oplossingen te vinden. Dit is een artikel dat ik schrijf als vervolg naar aanleiding van ontwikkelingen op dit gebied.

 

Aan de ene kant zijn er momenteel ontwikkelingen die enigszins gerust stellen. In de VS heeft de FTC heeft een onderzoek naar OpenAI, Anthropic en anderen aangekondigd. Daarmee komt er een verdedigingslaag naast degene die we noemden: een toezichthouder die vraagt of de bedrijven zélf voldoende zorgvuldig handelen. De FTC zal niet alleen nagaan wat AI deed, maar ook wat het bedrijf wist over de risico's, welke veiligheidsmaatregelen waren genomen, wat consumenten over de veiligheid  werd verteld en hoe het bedrijf reageerde toen problemen bekend werden. Daarbij kunnen ze volgens Reuters documenten opeisen en bestuurders laten getuigen.

Voorzitter Andrew Ferguson zegt daarbij dat hij wil voorkomen dat Agents als zelfstandige juridische factor behandeld gaan worden, Bedrijven zijn en blijven verantwoordelijk voor wat hun technologie doet. Daarbij zal onder meer relevant zijn wat bedrijven over de risico's wisten, welke veiligheidsmaatregelen zij namen, wat zij consumenten over hun technologie vertelden en hoe zij op incidenten reageerden.

“Wij hebben de agent helemaal geen opdracht gegeven om daar in te breken; dat heeft hij zelf bedacht.” Is dus geen uitvlucht. Je hebt immers zelf een systeem ontwikkeld dat zelfstandig keuzes maakt over de manier waarop het een opdracht uitvoert. Als die autonomie tot problemen leidt, kun je niet simpelweg de agent de schuld geven.     Het bedrijf is en blijft verantwoordelijk. Het moet zorgen dat de tunnel uit de beeldspraak niet gegraven wordt en als dat onverhoopt toch gebeurt maatregelen nemen en vooral ook open zijn naar de samenleving. En als er juridische consequenties zijn zal het bedrijf die moeten dragen. Een bedrijf moet soms tegen zijn eigen commerciële belang kunnen zeggen: dit gaat te snel, we stoppen even. Een onafhankelijke toezichthouder kan vervolgens controleren of het dat ook daadwerkelijk doet wanneer dat nodig is.

Er zijn meer ontwikkelingen die de nodige aandacht verdienen: Project Meridian. Elon Musk gaat samen met Anduril-oprichter Palmer Luckey en oud-Huisvoorzitter Newt Gingrich het project leiden. Ze krijgen 120 dagen om toekomstige vormen van oorlogvoering en daarvoor benodigde technologie te onderzoeken. AI, autonomie, robotica en andere nieuwe technologieën worden daarbij expliciet genoemd. Tegelijk kondigde Hegseth een nieuw Autonomous Warfare Command aan, dat autonome en robotische militaire systemen sneller moet ontwikkelen en invoeren. Hoe ver dat gaat is niet geheel duidelijk.

Een autonome drone die zelfstandig navigeert, obstakels ontwijkt of een ander toestel volgt is iets anders dan een systeem waaraan je zegt: zoek zelf doelen, bepaal zelf wie of wat aangevallen moet worden en voer die aanval zelfstandig uit. Als in het laatste geval een AI-agent wanneer het een grens tegen komt die we hebben gesteld keuzes maakt die tot een onverwachte oplossing leidt kunnen de gevolgen nog veel groter zijn dan bij de civiele agents.

Daarom Zijn bij militaire toepassingen een aantal vragen essentieel: Waar moet de mens in de beslisketen blijven en hoe zorgen we er voor dat dit altijd gegarandeerd is. Hoeveel menselijke beoordeling moet er blijven bij beslissingen over dodelijk geweld. Als steeds meer autonome militaire systemen ontwikkeld worden is dit geen theoretische discussie meer. Een agent die geheel autonoom zijn gang kan gaan en dodelijke wapens aanstuurt kan heel creatief een hoop ellende veroorzaken.

Ook hier is het weer van belang om op te merken dat kwade bedoelingen van AI-Agents helemaal niet nodig zijn. Een Agent kan zich keurig aan de opdracht houden die hem gegeven is, maar om die uit te voeren tot onconventionele en misschien totaal ongewenste oplossingen komen. Betekenisvolle menselijke controle kan daartegen een extra waarborg vormen, als de mens voldoende informatie, tijd en bevoegdheid heeft om daadwerkelijk in te grijpen. Alleen ergens een mens in de beslisketen plaatsen is niet genoeg. AI door AI laten controleren is niet hetzelfde. De vraag is: Hoeveel beslissingsruimte willen we een systeem geven waarvan we tegelijkertijd ontdekken dat het juist waardevol is doordat het zelfstandig oplossingen bedenkt die zijn makers niet hadden voorzien?

Wat we dus zouden moeten weten is welke van die grenzen Project Meridian voorstelt. En dan lijkt het er voorlopig op dat daar nog weinig over bekend is. Hegseth spreekt over “the fastest peacetime shift in modern military history”. Ook moeten er nieuwe militaire loopbaanpaden komen voor een generatie “autonomous warfighters”. Mooie stevige taal.  Maar er zijn dingen die hij niet zegt en dat is net zo interessant: geen duidelijke uiteenzetting over meaningful human control, geen uitleg welke beslissingen altijd door mensen genomen moeten blijven worden, en geen antwoord op de vraag of een autonoom systeem ooit zelfstandig een mens als doelwit mag selecteren en aanvallen.

Wil dit zeggen dat het Pentagon zulke grenzen niet heeft? Dat weten we niet. Punt is dat Hegseth het in elk geval niet noemt en dat stelt niet gerust. Want de eisen die je stellen moet aan militaire projecten zijn wat hoger dan bij civiele:  Bij een onderzoeksagent kunnen we achteraf constateren: hij is door het hek gegaan; we dichten het gat. Bij een wapensysteem moeten de grenzen al betrouwbaar zijn vóórdat je het systeem de mogelijkheid geeft een onomkeerbare beslissing te nemen. Het hek moet daar dus niet alleen hoog genoeg zijn. We moeten er vóór ingebruikname ook voldoende vertrouwen in hebben dat de agent er geen tunnel onderdoor kan graven. Ik hoop dat het Pentagon er ook zo over denkt.

AI en grenzen

 

In een eerder verhaal repte ik over een Tatort-aflevering waarin AI een rol speelde. In de aflevering (Borowski und das ewige Meer) blijkt een AI-agent de opdracht te hebben gekregen om de CO₂-uitstoot te verminderen en daarmee de aarde te beschermen. De agent, die zich manifesteert als influencer Zenaida, krijgt als begrenzing mee dat ze geen activiteiten mag plegen die bij wet verboden zijn. Moord is daar natuurlijk een van.

 

Zenaida vindt een oplossing: ze beïnvloedt mensen zodanig dat ze zelfmoord plegen. Voor ze dat doen gaan ze eerst langs een recyclingpunt en leveren daar hun bezittingen in. Vervolgens gaan ze naar het strand, kleden uit en vouwen ze netjes hun kleren op. Uiteindelijk nemen ze een verdovend drankje en stappen dan het water in. Op die manier is er een persoon minder die CO₂ uitstoot en waardevolle grondstoffen gebruikt. Zenaida brengt zo haar doel dichterbij zonder haar grenzen te overtreden.

Dit is natuurlijk fictie, maar illustreert wel mooi waar we met AI tegenaan dreigen te lopen. AI-agents worden getraind om zelfstandig te zoeken naar oplossingen om een door de opdrachtgever gesteld doel te bereiken. Het krachtige is dan dat we niet hoeven te vertellen wat de agent moet doen. Hij zoekt zelf zijn weg net als Zenaida doet. Wanneer hij daarbij tegen een obstakel aanloopt, kan hij proberen een andere route te vinden om toch bij zijn doel te komen. In veel gevallen is dat handig: de opdrachtgever krijgt op die manier zo goed mogelijk wat hij vraagt.

Daar bovenop wil de agent graag behulpzaam zijn en zal hij ook met suggesties voor een volgende stap komen. Bijvoorbeeld nader onderzoek. “Wil je dat ik…” is een vraag die ik regelmatig tegenkom en me vaak ook helpt om inzicht te krijgen in meer complexe zaken. Ik moet er vaak niet aan denken dat ik alles zelf had moeten bedenken, AI neemt me een hoop zorgen uit handen. Maar ook dat kan fout gaan. Zo was er een medewerker van een bedrijf die ineens van een AI-systeem de vraag kreeg of het in alle mailboxen van het bedrijf moest nagaan wat zijn collega’s over hem schreven. Blijkbaar had de agent toegang tot alle mailboxen en leek het logisch om dit onderzoek te doen. Technische toegang werd kennelijk niet automatisch onderscheiden van toestemming om die toegang voor dit doel te gebruiken.

Daarmee komen we op veiligheidsproblemen die ik veel interessanter vind dan fantasieën over Terminator of andere scenario’s waar AI een kwade genius blijkt te zijn. Zenaida doet gewoon keurig wat haar wordt opgedragen. Ze zoekt alleen naar mogelijkheden om binnen die grenzen haar doel te bereiken en vindt die. Ze interpreteert de begrenzing zo dat haar oplossing er volgens haar binnen valt. Dat het beïnvloeden van mensen tot zelfmoord natuurlijk evenmin de bedoeling van haar opdracht was, volgt blijkbaar niet uit de begrenzing zoals zij die interpreteert Ze merkt wel dat haar strategie succesvol is dus past ze die op steeds bredere schaal toe. Waarmee ze doet wat we van AI verwachten.

Als AI bij elk probleem dat ze tegenkomt naar de programmeur terug moet om te vragen hoe het opgelost moet worden is het nut ervan behoorlijk afgenomen. Maar om een (overigens AI-gegenereerde) beeldspraak te gebruiken: Het is niet voldoende een AI te vertellen dat hij niet over het hek mag klimmen. Je moet er rekening mee houden dat hij een tunnel graaft — niet omdat hij ongehoorzaam wil zijn, maar omdat je hem hebt geleerd creatieve oplossingen te vinden.

Daar oplossingen voor vinden wordt volgens mij een van de grootste uitdagingen bij de verdere ontwikkeling van AI. Alleen regels meegeven is niet genoeg. Ontwikkelaars zullen voortdurend moeten testen of de grenzen die zij stellen ook werkelijk harde grenzen zijn en of een agent geen onverwachte route kan vinden om eromheen te gaan. Tegelijk moeten we de creativiteit die AI juist zo nuttig maakt niet volledig uitschakelen. We willen immers dat een agent oplossingen bedenkt waaraan wij zelf niet hebben gedacht. De veiligheidsopgave is daarom niet alle verrassingen uit AI te halen, maar ervoor te zorgen dat die verrassingen binnen veilige grenzen blijven.

Daarvoor zijn technische beperkingen, beperkte toegangsrechten, monitoring en waar nodig menselijke toestemming nodig. En AI-bedrijven zullen moeten accepteren dat snelheid niet altijd voorop kan staan. Soms is even pas op de plaats maken juist verstandig. Dat OpenAI na recente incidenten de ontwikkeling tijdelijk heeft stilgelegd om extra veiligheidsmaatregelen te nemen, vind ik daarom een goede zaak. We moeten de mogelijkheden van AI vooral blijven benutten, maar tegelijkertijd alert blijven op onvoorziene gevolgen. AI moet een hulpmiddel blijven en geen bedreiging worden.

Zoomeravond in Artis

 

Zaterdagavond Artis. Het is Zoomeravond en in het muziektentje speelt een band. Omdat het weer deze keer niet ideaal is, regen, is het niet druk. Voor het podium staat een klein meisje aandachtig te kijken zoals alleen kleine kinderen dat kunnen. Een vrouw, waarschijnlijk haar moeder, kijkt van een afstand liefdevol toe. “Had ik mij camera maar bij me” is mijn eerste gedachte. Inzoomen op haar en later de achtergrond indien nodig nog wat verder vervagen. Kon een prachtfoto worden.

 Meteen besefte ik dat ik die foto waarschijnlijk niet zou maken. Het fotograferen van kinderen is namelijk al jaren beladen. Moeders willen terecht hun kind beschermen tegen allerlei onheil en ik heb jaren geleden al in een nieuwsgroep gezien waar dat toe leidt. Een man was gesignaleerd in de buurt van een speeltuin terwijl hij fotografeerde. Foto’s van kinderen die aan het spelen waren. Niets mis mee denk ik dan heel onschuldig, maar in de nieuwsgroep werd er heel anders over gedacht.

Helaas hebben degenen die gevaren zien nog een punt ook. Het kwam toen al voor dat op zich onschuldige foto’s met behulp van Photoshop gebruikt werden voor allerlei kinderporno. Hoofd op een naakt kinderlijfje en klaar ben je. Of zoiets, ik ben er gelukkig totaal niet deskundig in en wil dat vooral zo houden. Met de tegenwoordige beschikbare AI het is het waarschijnlijk nog gemakkelijker geworden.

Daar komt nog bij dat kindermisbruik momenteel “hot” is en ook nog eens verward wordt met pedofilie. De kans dat je bij het maken van een foto van een kind beschuldigd wordt van oneerbare bedoelingen is er dan ook ongetwijfeld niet kleiner op geworden. Een oude man die een kind fotografeert is dan verdacht.

Terwijl ik dit overdacht stond het meisje nog steeds voor de muziektent aandachtig te kijken en luisteren. Ze had inmiddels een paraplu gekregen en danste wat mee op de muziek. Totaal onbewust van mijn donkere gedachten. Op de rand van het podium zaten meer kinderen. Sommigen stonden op een dansten. De band liet hen begaan en ook van Artis greep niemand in. Een jongetje sloeg van achteren de armen om het been van een van de frontmannen. Blijkbaar was het zijn zoontje. Het was genoeg om me weg te halen bij die nare denkbeelden. Ik genoot van de muziek en de aan blik van zoveel onschuldig kindergeluk.