Ethical Risk Management for AI-enabled Weapons: A Systems Approach (ERM)

Den militære avhengigheten av kunstig intelligens (KI) har økt kraftig. Dette er ikke overraskende. KI kan muliggjøre raskere og mer velbegrunnet beslutningstaking på slagmarken. Den økte avhengigheten av KI har også bidratt til et press i retning av våpensystemer som kan utføre flere oppgaver uten direkte menneskelig intervensjon. Disse endringene har naturlig nok avfødt en rekke etiske bekymringer rundt bruken av AI i den type liv-og-død-situasjoner som krig representerer. Bekymringene inkluderer spørsmål knyttet til sikkerhet og nøyaktighet, åpenhet, forståelighet, robusthet, sårbarhet og ansvarsfordeling. ERM-prosjektet handler om hvordan vi best kan håndtere de etiske risikoene som oppstår ved økt avhengighet av KI i væpnet konflikt generelt og målutvelgelse i krig spesielt. Regulering og sikring av trygge, etisk forsvarlige AI-aktiverte våpen bør begynne med en forståelse av KI-våpnenes komplekse livssyklus. Dette involverer to separate systemer eller prosesser. Den første prosessen kulminerer i tilgjengeliggjøringen av et våpen til militær bruk. Målet med denne prosessen er å levere et våpen som kan brukes etisk under de forventede og gitte forholdene. Den andre prosessen er en målrettingsprosess som kulminerer i våpenets faktiske bruk. Målet med denne prosessen er å sikre at et våpen blir brukt på etisk forsvarlig vis. Innenfor hvert av disse systemene eller prosessene samarbeider mennesker og KI om å utføre forskjellige oppgaver. Det sentrale spørsmålet i ERM-prosjektet handler om hvordan man kan identifisere og redusere nøkkelrisikoer som oppstår innenfor det spekteret av menneske-maskin-interaksjoner som disse to prosessene består av. ERM vil engasjere deltakere fra våpen- og KI-industri samt myndigheter og internasjonale organisasjoner. Partnere på prosjektet er Forsvarsdepartementet, Utenriksdepartmenetet, Norske Røde Kors, og Georgetown University Law Center.

AI-enabled weapons pose serious potential risks to humans' ability to control violence. Ensuring that we have evidence-based practices in place to manage these risks is necessary to mitigate them and justify their use. Ethical Risk Management: A Systems Approach to AI-Enabled Weapons (ERM) aims to move the ethics and regulatory conversations about AI-enabled weapons beyond the current impasse in addressing the potential risks of these weapons. Meaningful progress on regulating and assuring the safety of AI-enabled weapons should begin with an appreciation that a weapon that relies on AI has a complex lifecycle comprised of the operation of two systems. The first system culminates in fielding a weapon – that is, making it available to the military for potential use. The goal of this system is to deliver a weapon that is capable of being used ethically within the anticipated conditions under which a weapon will be deployed. The second system involves a targeting process that culminates in the use of a weapon. The goal of this system is to ensure that a weapon is used ethically once it is fielded. Within each of those systems humans and AI collaborate in various tasks. The central question is how to ensure that human intention and human values inform performance of the tasks involved in the development and use of an AI-enabled weapon. With this conceptual framework as a point of departure, this project will engage stakeholders across industry, government, and international organizations to better understand the tasks in each system and the ethical salience of the human-machine interactions that perform them. Mapping the development and use of AI-enabled weapon in this way will sharpen dialogue on a range of key questions about governance of AI weapons, and provide a framework for devising ethical risk assessment tools and ethical risk management strategies for industry and regulators.