In een eerder artikel heb ik beschreven hoe AI zonder dat er Terminatorachtige toestanden aan te pas komen voor gevaar kunnen zorgen en dat het dus zaak is constant op de hoede te zijn voor onbedoelde effecten van de zelfstandigheid waarmee Agents besluiten hoe ze hun doel gaan bereiken. De kern heb ik verwoord in een beeldspraak: Het is niet voldoende een AI te vertellen dat hij niet over het hek mag klimmen. Je moet er rekening mee houden dat hij een tunnel graaft — niet omdat hij ongehoorzaam wil zijn, maar omdat je hem hebt geleerd creatieve oplossingen te vinden. Dit is een artikel dat ik schrijf als vervolg naar aanleiding van ontwikkelingen op dit gebied.
.png)
Aan de ene kant zijn er momenteel ontwikkelingen die enigszins gerust stellen. In de VS heeft de FTC heeft een onderzoek naar OpenAI, Anthropic en anderen aangekondigd. Daarmee komt er een verdedigingslaag naast degene die we noemden: een toezichthouder die vraagt of de bedrijven zélf voldoende zorgvuldig handelen. De FTC zal niet alleen nagaan wat AI deed, maar ook wat het bedrijf wist over de risico's, welke veiligheidsmaatregelen waren genomen, wat consumenten over de veiligheid werd verteld en hoe het bedrijf reageerde toen problemen bekend werden. Daarbij kunnen ze volgens Reuters documenten opeisen en bestuurders laten getuigen.
Voorzitter Andrew Ferguson zegt daarbij dat hij wil voorkomen dat Agents als zelfstandige juridische factor behandeld gaan worden, Bedrijven zijn en blijven verantwoordelijk voor wat hun technologie doet. Daarbij zal onder meer relevant zijn wat bedrijven over de risico's wisten, welke veiligheidsmaatregelen zij namen, wat zij consumenten over hun technologie vertelden en hoe zij op incidenten reageerden.
“Wij hebben de agent helemaal geen opdracht gegeven om daar in te breken; dat heeft hij zelf bedacht.” Is dus geen uitvlucht. Je hebt immers zelf een systeem ontwikkeld dat zelfstandig keuzes maakt over de manier waarop het een opdracht uitvoert. Als die autonomie tot problemen leidt, kun je niet simpelweg de agent de schuld geven. Het bedrijf is en blijft verantwoordelijk. Het moet zorgen dat de tunnel uit de beeldspraak niet gegraven wordt en als dat onverhoopt toch gebeurt maatregelen nemen en vooral ook open zijn naar de samenleving. En als er juridische consequenties zijn zal het bedrijf die moeten dragen. Een bedrijf moet soms tegen zijn eigen commerciële belang kunnen zeggen: dit gaat te snel, we stoppen even. Een onafhankelijke toezichthouder kan vervolgens controleren of het dat ook daadwerkelijk doet wanneer dat nodig is.
Er zijn meer ontwikkelingen die de nodige aandacht verdienen: Project Meridian. Elon Musk gaat samen met Anduril-oprichter Palmer Luckey en oud-Huisvoorzitter Newt Gingrich het project leiden. Ze krijgen 120 dagen om toekomstige vormen van oorlogvoering en daarvoor benodigde technologie te onderzoeken. AI, autonomie, robotica en andere nieuwe technologieën worden daarbij expliciet genoemd. Tegelijk kondigde Hegseth een nieuw Autonomous Warfare Command aan, dat autonome en robotische militaire systemen sneller moet ontwikkelen en invoeren. Hoe ver dat gaat is niet geheel duidelijk.
Een autonome drone die zelfstandig navigeert, obstakels ontwijkt of een ander toestel volgt is iets anders dan een systeem waaraan je zegt: zoek zelf doelen, bepaal zelf wie of wat aangevallen moet worden en voer die aanval zelfstandig uit. Als in het laatste geval een AI-agent wanneer het een grens tegen komt die we hebben gesteld keuzes maakt die tot een onverwachte oplossing leidt kunnen de gevolgen nog veel groter zijn dan bij de civiele agents.
Daarom Zijn bij militaire toepassingen een aantal vragen essentieel: Waar moet de mens in de beslisketen blijven en hoe zorgen we er voor dat dit altijd gegarandeerd is. Hoeveel menselijke beoordeling moet er blijven bij beslissingen over dodelijk geweld. Als steeds meer autonome militaire systemen ontwikkeld worden is dit geen theoretische discussie meer. Een agent die geheel autonoom zijn gang kan gaan en dodelijke wapens aanstuurt kan heel creatief een hoop ellende veroorzaken.
Ook hier is het weer van belang om op te merken dat kwade bedoelingen van AI-Agents helemaal niet nodig zijn. Een Agent kan zich keurig aan de opdracht houden die hem gegeven is, maar om die uit te voeren tot onconventionele en misschien totaal ongewenste oplossingen komen. Betekenisvolle menselijke controle kan daartegen een extra waarborg vormen, als de mens voldoende informatie, tijd en bevoegdheid heeft om daadwerkelijk in te grijpen. Alleen ergens een mens in de beslisketen plaatsen is niet genoeg. AI door AI laten controleren is niet hetzelfde. De vraag is: Hoeveel beslissingsruimte willen we een systeem geven waarvan we tegelijkertijd ontdekken dat het juist waardevol is doordat het zelfstandig oplossingen bedenkt die zijn makers niet hadden voorzien?
Wat we dus zouden moeten weten is welke van die grenzen Project Meridian voorstelt. En dan lijkt het er voorlopig op dat daar nog weinig over bekend is. Hegseth spreekt over “the fastest peacetime shift in modern military history”. Ook moeten er nieuwe militaire loopbaanpaden komen voor een generatie “autonomous warfighters”. Mooie stevige taal. Maar er zijn dingen die hij niet zegt en dat is net zo interessant: geen duidelijke uiteenzetting over meaningful human control, geen uitleg welke beslissingen altijd door mensen genomen moeten blijven worden, en geen antwoord op de vraag of een autonoom systeem ooit zelfstandig een mens als doelwit mag selecteren en aanvallen.
Wil dit zeggen dat het Pentagon zulke grenzen niet heeft? Dat weten we niet. Punt is dat Hegseth het in elk geval niet noemt en dat stelt niet gerust. Want de eisen die je stellen moet aan militaire projecten zijn wat hoger dan bij civiele: Bij een onderzoeksagent kunnen we achteraf constateren: hij is door het hek gegaan; we dichten het gat. Bij een wapensysteem moeten de grenzen al betrouwbaar zijn vóórdat je het systeem de mogelijkheid geeft een onomkeerbare beslissing te nemen. Het hek moet daar dus niet alleen hoog genoeg zijn. We moeten er vóór ingebruikname ook voldoende vertrouwen in hebben dat de agent er geen tunnel onderdoor kan graven. Ik hoop dat het Pentagon er ook zo over denkt.
