Hoeveel autonomie geven we wapensystemen?

Het eerste dodelijke ongeluk met een zelfrijdende Tesla auto, robots die zelfstandig medische ingrepen kunnen uitvoeren, een succesvolle Amerikaanse test met een zwerm autonome drones en het nieuws dat de Verenigde Staten kunstmatige intelligentie centraal stellen in hun defensiestrategie en hier miljarden in gaan investeren.[1] Dit is slechts een kleine greep uit media headlines van de afgelopen maanden die de trend naar meer autonomie laten zien, zowel op civiel als op militair gebied. Want net zoals we meer gewend raken aan het idee van zelfrijdende auto’s, zien we een zelfde fenomeen in de militaire wereld – namelijk dat er steeds meer beslissingen worden overdragen aan machines en de mens steeds verder uit het zicht raakt. De vraag is dan ook: hoeveel menselijke controle willen we behouden over autonome systemen, juist waar het gaat over wapens?

In 2010 en 2013 schreven PAX en Clingendael-expert Kees Homan in de Internationale Spectator al over deze nieuwe revolutie in oorlogsvoering.[2] Volledig autonome wapensystemen, ook wel killer robots genoemd, zijn wapensystemen die een doelwit kunnen selecteren en aanvallen zonder betekenisvolle menselijke controle.[3] Deze ontwikkeling zal een enorme impact hebben op de manier waarop oorlog wordt gevoerd. Men spreekt zelfs van de derde revolutie in oorlogsvoering, na het buskruit en de kernbom.[4] Volledig autonome wapens zijn nog niet in een oorlog ingezet, maar experts zijn het eens dat dit slechts een kwestie van tijd is.

Op 16 december 2016 werd bij de Toetsingsconferentie van de VN Conventie voor Conventionele Wapens (CCW) in Genève besloten om een ‘Groep van Gouvernementele Experts’ (GGE) in te stellen. Deze expertgroep komt dit jaar twee weken bijeen om juridische en morele vragen, alsmede de gevolgen voor de internationale veiligheid, te bespreken. De ervaring leert dat een dergelijke GGE het voorportaal is van een protocol dat gebruik van een wapensysteem of wapencategorie reguleert of zelfs verbiedt.

Tijd dus voor een update. Hoe ver is de technologie nu, wat zijn de gevaren en is deze ‘derde revolutie’ wel te stoppen?

Technologische voortgang
Ten eerste: waar staan we? Waar wordt de trend richting meer autonomie zichtbaar? Begin januari meldden de Verenigde Staten dat zij een succesvolle test hadden gedaan met een zwerm autonome Perdix-drones – door het Department of Defense bestempeld als “one of the most significant tests of autonomous systems under development”.[5]. In april 2016 presenteerden de Amerikanen een experimenteel autonoom oorlogsschip dat ontwikkeld is om op vijandelijke onderzeeërs te jagen. Het schip kan voor een periode van drie maanden zelfstandig rondvaren, zonder dat het door een mens op afstand bestuurd hoeft te worden.[6]

Een ander voorbeeld van de ontwikkeling richting meer autonome wapensystemen is de Israëlische Harpy. Dit is een ‘fire and forget’-raket, die uren boven, vooraf bepaald, vijandelijk gebied kan rondcirkelen op zoek naar radiosignalen van vijandelijke radarstations om die vervolgens uit te schakelen.[7] Deze systemen zijn, voor zover bekend, nog niet in volledig autonome modus in een oorlog ingezet.

Voorbeelden van semiautonome wapensystemen die al wel zijn ingezet, zijn de Israëlische Iron Dome, de Amerikaanse Phalanx (beide kunnen automatisch inkomende raketten neutraliseren) en de SGR-A1, een bewapende robot aan de grens tussen Noord- en Zuid-Korea. Deze wapens kenmerken zich doordat het defensieve, statische systemen zijn. Een bepaalde mate van menselijke interventie is bij deze systemen nog mogelijk, maar nieuwe ontwikkelingen laten zien hoe autonome functies technologisch steeds geavanceerder worden. De tendens naar minder mens en meer machine is duidelijk.

Autonomie kan gezien worden als een spectrum, waarbij verschillende parameters een rol spelen. Hoe breder de parameters, hoe groter de autonomie. De bij autonome wapensystemen relevante parameters zijn: duur van de inzet, grootte van het gebied van inzet en de breedte aan karakteristieken van mogelijke doelwitten. Wanneer deze toenemen, neemt ook de mate van autonomie van het wapensysteem toe.

Bezorgdheid
De trend is duidelijk, maar is dit een ernstige trend? Vele prominente personen en organisaties denken van wel. PAX was een van de acht organisaties die in 2013 de Stop Killer Robots Campagne hebben opgericht.[8] Daarnaast hebben Nobelprijswinnaars, wetenschappers en religieuze leiders opgeroepen tot een verbod.[9]

Maar er zijn ook ‘less usual suspects’ die zorgen hebben. Zo verklaarde begin 2016 de tweede hoogste Amerikaanse officier dat deze wapens grote gevolgen zouden kunnen hebben voor de mensheid;[10] en Sir Roger Carr, de voorzitter van wapenproducent BAE systems, zei: “if you remove ethics and judgement and morality from human endeavour whether it is in peace or war, you will take humanity to another level which is beyond our comprehension.”[11] Voorts hebben zowel de secretaris-generaal van de VN, het VN-hoofd voor ontwapening, als het Internationale Rode Kruis hun zorgen geuit.[12]

In de zomer van 2015 riepen meer dan 3.000 onderzoekers en wetenschappers op het gebied van robotica en kunstmatige intelligentie, waaronder prominenten als Stephen Hawking, op tot een verbod op autonome wapens zonder menselijke controle.[13] In hun oproep stellen ze dat er snel gehandeld moet worden, omdat de inzet van deze wapensystemen al binnen enkele jaren, in plaats van decennia, mogelijk is. Daarnaast stellen ze dat, in tegenstelling tot nucleaire wapens, er geen dure of moeilijk te verkrijgen materialen nodig zijn om deze wapens te maken, waardoor gebruik en proliferatie een grote vlucht kunnen nemen.

Bezwaren
De bezwaren die al deze organisaties en personen hebben, richten zich op veiligheidsrisico’s, juridische hiaten en het gevaar van proliferatie. Kunnen deze wapens wel voldoen aan het humanitair oorlogsrecht? Kunnen ze onderscheid maken tussen militairen en burgers, en bepalen of een aanval proportioneel is? Verlagen deze wapens de drempel om oorlog te voeren? Wat gebeurt er als dictators of terroristen deze wapens in handen krijgen? Wie is er verantwoordelijk als er iets mis gaat? En wat zijn de gevolgen ten aanzien van mensenrechten, als ook de politie gebruik gaat maken van dergelijke technologie?

Het overkoepelende bezwaar is echter van ethische aard: een machine mag nooit de beslissing nemen over leven en dood; deze keuze kan niet op basis van software worden gemaakt. De realiteit voor een robot is een kunstmatige, zonder betekenis zoals wij mensen die kennen. Robots zijn erg goed in het omzetten van grote hoeveelheden informatie in een bepaalde actie, maar ontberen empathie en een kwalitatief begrip van waarde: capaciteiten die cruciaal zijn om in een oorlogssituatie ethisch te kunnen handelen. Een robot voert simpelweg de geprogrammeerde taak uit. Dit druist in tegen de ethische principes van menselijke waardigheid en het recht op leven. Hiermee wordt de waarde van een menselijk leven niet gerespecteerd en is oorlogsvoering ultiem gedehumaniseerd.

Internationale diplomatie
Autonome wapens staan sinds 2013 op de agenda van de VN Conventie van Conventionele Wapens (CCW). Het doel van de CCW, waar 123 staten verdragspartij zijn, is het verbieden of beperken van het gebruik van conventionele wapens die buitensporig leed veroorzaken of een niet-onderscheidende werking hebben. Een voorbeeld van binnen de CCW preventief verboden wapens zijn blinding laser weapons, waar in 1995 een verbod op kwam.[14]

In 2014, 2015 en 2016 hebben informele expertbijeenkomsten bij de CCW plaatsgevonden, waarin steeds een week gesproken werd over killer robots. Hierbij kwamen verschillende invalshoeken aan bod: internationaal recht, aansprakelijkheid, technologie, internationale veiligheid en ethiek. Inmiddels hebben meer dan 70 landen hun zorgen geuit over autonome wapensystemen en hebben 19 landen aangegeven voor een internationaal verbod te zijn.[15]

In december jl. besloten staten om van ‘informele discussies’ over te gaan tot een formelere basis, te weten de instelling van de hierboven al genoemde GGE, die dit jaar gaat praten over de wenselijkheid van deze wapensystemen. De GGE, die voor tien dagen – verdeeld over twee sessies – bijeen zal komen, zal onder andere kijken naar een werkdefinitie voor deze wapens, of deze wapens kunnen voldoen aan het internationaal humanitair recht (IHR), naar de ethische en morele vragen en de gevolgen voor internationale veiligheid.

Interessant was dat bij de Toetsingsconferentie van de CCW in december 2016 het eerste permanent lid van de VN-Veiligheidsraad zich uitsprak voor het dichten van het juridische gat rondom deze wapens. China riep op tot een juridisch bindend instrument binnen de CCW, vergelijkbaar met dat van Blinding Laser Weapons. Dit is een belangrijke stap in de goede richting.Daarnaast betwijfelt China ten zeerste of volledig autonome wapens wel kunnen voldoen aan het IHR. In een position paper schrijven de Chinezen dat er twijfels zijn of deze wapens onderscheid kunnen maken tussen burgers en militairen, maar ook dat een killer robot niet in staat zal zijn een proportionaliteits-beslissing te nemen.[16]

De instelling van een GGE is ons inziens een goede stap voorwaarts; staten moeten die tien dagen echter wel optimaal benutten en in 2018 overgaan tot onderhandelingen voor een verbod, voordat de geest uit de fles is. Zorgen over de snelheid van het proces zijn terecht, want de CCW staat bekend om ‘going slow and aiming low’. De vraag is dan ook of het diplomatieke proces snel genoeg verloopt om de technologische ontwikkelingen bij te benen en te voorkomen dat we voor voldongen feiten komen te staan.

Nederland
En wat gebeurt er eigenlijk in Nederland? Eind 2015 publiceerden de Adviesraad Internationale Vraagstukken (AIV) en de Commissie van Advies inzake Volkenrechtelijke Vraagstukken (CAVV), op verzoek van de regering, een gezamenlijk adviesrapport over autonome wapensystemen.[17] In maart 2016 nam de regering de conclusie van het rapport onomwonden over.[18]

Vredesorganisatie PAX was positief over het feit dat Nederland, als een van de weinige landen, een rapport over dit onderwerp heeft laten opstellen. Tegelijkertijd was PAX zeer kritisch op de inhoud en vooral op de brede definitie en het concept van de zogenaamde ‘wider loop’. Het rapport stelt dat menselijke controle binnen de ‘wider loop’ afdoende is. Met de ‘wider loop’ wordt de hele targeting cycle bedoeld, waarbij menselijke controle voor de inzet van het wapensysteem voldoende zou zijn.

Voor PAX is het cruciaal dat die controle juist mogelijk is tijdens het selecteren en aanvallen van doelen, dus tijdens de inzet. Alleen op die manier kan gegarandeerd worden dat deze wapensystemen aan ethische normen en het internationale (humanitaire) recht voldoen. Conflictsituaties kenmerken zich namelijk door een complexe en snel ontwikkelende realiteit. Deze onzekerheid neemt alleen maar toe als de parameters, zoals de tijdspanne en de locatie, voor de inzet breder worden. De situatie op de grond kan dus dermate veranderen dat een aanval, die van te voren nog aan de voorwaarden van het oorlogsrecht voldeed, op het moment van de aanval er niet meer aan voldoet.

Verder besteed het rapport weinig aandacht aan de internationale context en ethiek. Al zal Nederland wellicht geen volledig autonome wapensystemen willen gebruiken, met zijn brede definitie van menselijke controle zet het de deur wijd open voor andere staten om dergelijke wapensystemen wel te ontwikkelen.

Het kabinet geeft verder aan dat de huidige autonome wapens geen probleem vormen, dat het de aandacht richt op de komende tien jaar en dat het noodzakelijk is om na vijf jaar het advies opnieuw tegen het licht te houden. Experts vinden dat onverstandig en schatten in dat deze wapensystemen al binnen enkele jaren ingezet kunnen worden.[19]

Conclusie: betekenisvolle menselijke controle blijft vereist
Het tempo van de technologische ontwikkelingen gaat veel sneller dan de diplomatieke processen. Er is maar zeer beperkt tijd voor staten om te beslissen waar de grens wordt getrokken, voordat deze systemen er zullen zijn. Hoewel veel landen hun zorgen uiten, gaan er ook veel gewoon door met onderzoek en ontwikkeling. Dit zijn vaak ook de landen die het diplomatieke proces proberen te vertragen.

Een veel gehoord argument is dat er eerst een internationaal geaccepteerde definitie moet zijn voordat we verder kunnen. Maar bij andere wapenverdragen werd de uiteindelijke definitie van wat verboden of gereguleerd moest worden pas gedurende het einde van de onderhandelingen bepaald. De werkdefinitie ‘wapensystemen die zelfstandig doelen kunnen selecteren en aanvallen’ zou dan ook voldoende moeten zijn om de discussie voort te zetten en met elkaar te kijken hoe en waarover betekenisvolle menselijke controle behouden moet blijven.

Een ander argument is dat de materie te complex en te ingewikkeld is. We zijn ons er vrijwel dagelijks van bewust dat technische ontwikkelingen, zoals wat betreft kunstmatige intelligentie, zeer complex zijn. Maar de vraag die staten nu moeten beantwoorden, is eigenlijk vrij simpel: hoeveel autonomie willen we wapensystemen geven en waarover willen we menselijke controle behouden? Met andere woorden: welke controle of interventie van een mens is minimaal nodig om een dergelijk wapensysteem juridisch en ethisch aanvaardbaar te maken?

Menselijke controle is niet bij alle functies van een wapensysteem onontbeerlijk. Zelfstandig brandstof tanken, opstijgen of landen zijn functies waarbij wellicht geen menselijke controle nodig is. Bij functies van doelselectie en aanval is controle volgens velen zeker wel essentieel. De ‘human controller’ moet een goed afgewogen besluit kunnen nemen over bijvoorbeeld proportionaliteit en onderscheid tussen strijders en niet-strijders bij een aanval. De persoon die deze beslissingen neemt moet over voldoende informatie beschikken omtrent de situatie op de grond en voldoende tijd hebben om een weloverwogen, geïnformeerd besluit te nemen.

De discussie zal dus vooral moeten gaan over welke functies door de mens gecontroleerd moeten worden, wanneer deze controle voldoende is en waarover betekenisvolle menselijke controle nodig is (over elke afzonderlijke aanval, over het wapensysteem of over de kritieke functies van het systeem?). Voor internationale NGO’s, verenigd in de Campaign to Stop Killer Robots, is het antwoord simpel. Er moet altijd betekenisvolle menselijke controle zijn over de kritieke functies van het selecteren en aanvallen van individuele doelen. Het is zaak dit te waarborgen middels discussie, beleid en een internationaal verdrag voor het te laat is.