AI-etik som kämpar med det brinnande ett-två-slaget av både AI-baserade autonoma vapensystem och utnyttjandet av AI-drivna autonoma system som är djävulskt vapen

Dessa fantastiska dansande fyrbenta robotar.

Jag är säker på att du har sett de där virala videorna av de fyrbenta robotsystemen som dansar och springer på till synes förtjusande och hundliknande älskade sätt. Vi verkar njuta av att se dessa AI-drivna robotar när de klättrar över hinder och verkar få ett känsligt fotfäste när de sitter ovanpå lådor eller efter att ha varit osäkert placerade på berusade skåp. Deras mänskliga hanterare kommer ibland att peta eller knuffa de lekande fyrbenta robotarna, vilket verkar irriterande orättvist och lätt kan väcka din ilska över den galna behandlingen av dessa mästerhjärna-humanoider.

Jag undrar dock om du har sett de inte så virala videorna av en helt annan kaliber.

Förbered dig.

Det finns brett upplagda videor som visar samma typ av fyrbenta robotar som har utrustats med uttalade vapen av ett eller annat slag.

Till exempel är ett maskingevär eller liknande skjutvapen monterat ovanpå en annars välbekant dansande-och-språngande robot. Det finns en elektronisk länk mellan den fyrbenta roboten och vapnets avfyrningsmekanism. Den nu beväpnade datorgående utrustningen visas gå över till där ett mål för bullseye har placerats, och maskingeväret skjuts våldsamt mot målet. Efter att ha spikat det senare delvis förstörda målet dansar och springer den fyrbenta roboten runt närliggande hinder och ställer upp för att upprepa samma åtgärd om och om igen vid andra nya mål.

Inte riktigt vad du kanske hade förväntat dig att se. Detta tar verkligen den lättsamma och relativa glädjen av att uppriktigt se de gosiga fyrbenta robotarna göra sitt. Välkommen till den hårda verkligheten av till synes ofarlig autonoma system som konverteras eller omvandlas till att bli skarpt beväpnade. Med en mycket stor ansträngning kan du över en natt få ett ansett "icke-vapenat" autonomt system eftermonterat för att innehålla full-on vapen.

Det är nästan lättsamt i vissa fall.

Jag kommer att diskutera detta hett kontroversiella ämne och täcka de ganska rejäla AI-etiska betänkligheterna som uppstår. Vi kommer att ta en resa in i autonoma system, AI, autonoma fordon, vapenisering och en mängd relaterade etiska AI-stridsfrågor. För min pågående och omfattande bevakning av AI-etik och etisk AI, se länken här och länken här, bara för att nämna några.

Låt oss börja med några grundläggande nyckelstenar.

För diskussionens skull, acceptera att det finns två viktiga sätt att kategorisera autonoma system som har varit beväpnade med vapen:

1) Autonoma vapensystem (genom design)

2) Autonoma system som är beväpnade (i efterhand)

Det finns en viktig skillnad mellan de två kategorierna.

I första hand kommer vi att definiera en autonoma vapensystem att från början vara en datoriserad skapelse som målmedvetet är avsedd att vara ett vapen. Utvecklarna hade i åtanke att de ville tänka ut ett vapen. Deras explicita strävan är att producera ett vapen. De visste att de integrerat kunde kombinera vapen med det senaste inom autonoma systemteknologier. Detta är ett vapen som rider på vågen av högteknologi som uppnår autonom rörelse och autonoma handlingar (jag kommer att utveckla mer fullständigt inom kort).

Däremot kommer vi i andra hand att överväga frågan om autonoma system som inte har någon speciell inriktning mot vapen alls. Dessa är autonoma system som utvecklas för andra ändamål. Föreställ dig ett autonomt fordon som en självkörande bil som kommer att användas för att ge mobilitet för alla och hjälpa till att minska de tusentals årliga dödsfall som inträffar på grund av människors körning och mänskligt manövrerade bilar (se min djupgående täckning på länken här). Inte ett vapen tycks komma i fråga för de positiva samhällsförstärkande ansträngningarna att få ut människor bakom ratten och sätta in AI i förarsätet istället.

Men dessa ofarliga autonoma system kan beväpnas om människor vill göra det.

Jag hänvisar då till denna andra kategori som autonoma system som är beväpnade. Det autonoma systemet skapades ursprungligen och andäktigt för ett förmodligen icke-vapenändamål. Trots det väcks det drömmande altruistiska hoppet av någon någonstans som får den snälla idén att denna påhitt skulle kunna beväpnas. Helt plötsligt har det autonoma systemet som verkade gosigt blivit ett dödligt vapen genom att märka på någon form av vapenfunktioner (som de fyrbenta hundliknande robotarna som nämnts tidigare som har ett maskingevär eller liknande skjutvapen lagt till sina funktioner) .

Tyvärr hamnar de två kategorierna lite på samma ställe, nämligen att tillhandahålla en kapacitet att använda autonoma system för vapen på en potentiellt dödlig basis.

Processen för att nå den slutpunkten kommer sannolikt att vara annorlunda.

För de direkt beväpnade autonoma systemen som var fästa som vapen, är vapenaspekterna vanligtvis front och center. Man kan säga att aspekterna av det autonoma systemet är lindade runt hörnstenen i vilket vapen som än övervägs. Utvecklarnas tankeprocess är något i linje med hur ett vapen kan utnyttja tillkomsten av autonoma system.

Det andra perspektivet är vanligtvis inte alls det tänkesättet. Utvecklarna vill härleda ett state-of-the-art autonomt system, kanske för att förbättra mänskligheten. Dessa utvecklare lägger sitt uppriktiga hjärta och själ på att göra det autonoma systemet. Detta är kärnan i deras uppfinning. De kanske inte föreställer sig att någon skulle tillskansa sig eller undergräva deras mirakulöst fördelaktiga anordning. De är lyckligt förälskade i de samhällsnytta som är förknippade med att det autonoma systemet formas och produceras.

Vid något tillfälle, låt oss säga att tredje parter inser att det autonoma systemet kan omvandlas till att bli vapengjort. Kanske lurar de utvecklarna att låta dem ha det autonoma systemet för vad som påstås vara höga syften. Bakom stängda dörrar väljer dessa illgärare att smygt lägga till en vapenkapacitet till det autonoma systemet. Voila, oskuld förvandlades till rent vapen.

Saker och ting behöver inte fortsätta på det sättet.

Kanske fick utvecklarna veta att de utvecklade ett oskyldigt autonomt system, men de som finansierade eller styrde insatsen hade andra syften i åtanke. Kanske började ansträngningen med det autonoma systemet verkligen oskyldigt, men sedan när räkningar skulle betalas gjorde ledningen ett avtal med en finansieringskälla som vill ha de autonoma systemen av smutsiga skäl. En annan möjlighet är att utvecklarna visste att en senare användning kan vara för beväpning men att de tänkte att de skulle korsa den skakande bron när eller om den någonsin uppstod. Etc.

Det finns massor av olika vägar för hur det hela ser ut.

Du kanske finner av intresse som jag har beskrivit i tidigare kolumner att det finns en ökande medvetenhet om AI-etik angående dubbla användningsområden delar av samtida AI, se länken här. Låt mig kort ge dig upp farten.

Ett AI-system som är tänkt för det goda kan ibland vara på gränsen till det dåliga, kanske via några ganska enkla förändringar, och anses på motsvarande sätt vara av dubbel användning. Nyligen var det ett AI-system som byggdes för att upptäcka kemikalier som kan vara mördare, för vilket utvecklarna ville se till att vi kunde undvika eller vara försiktiga med sådana ogenomtänkta kemikalier. Det visar sig att AI:n kan anpassas något enkelt för att hängivet avslöja dessa mördarkemikalier och därmed potentiellt tillåta onda att veta vilka typer av kemikalier de potentiellt kan laga till för deras avgrundsdjupa onda planer.

Autonoma system kan bevisligen passa in i det dubbla användningsområdet.

Till viss del är det därför AI-etik och etisk AI är ett så avgörande ämne. AI-etikens föreskrifter får oss att förbli vaksamma. AI-teknologer kan ibland bli upptagna av teknik, särskilt optimering av högteknologi. De överväger inte nödvändigtvis de större samhälleliga konsekvenserna. Att ha ett AI-etik-tänkesätt och göra det integrerat i AI-utveckling och fältarbete är avgörande för att producera lämplig AI, inklusive (kanske överraskande eller ironiskt nog) bedömningen av hur AI-etik antas av företag.

Förutom att använda AI-etiska föreskrifter i allmänhet, finns det en motsvarande fråga om vi bör ha lagar som styr olika användningar av AI. Nya lagar håller på att samlas runt på federal, statlig och lokal nivå som rör omfattningen och karaktären av hur AI bör utformas. Ansträngningen att utarbeta och anta sådana lagar sker gradvis. AI-etik fungerar åtminstone som ett övervägt stopp, och kommer nästan säkert till viss del att direkt införlivas i dessa nya lagar.

Var medveten om att vissa bestämt hävdar att vi inte behöver nya lagar som täcker AI och att våra befintliga lagar är tillräckliga. Faktum är att de varnar för att om vi stiftar några av dessa AI-lagar kommer vi att undergräva guldgåsen genom att slå ner på framsteg inom AI som ger enorma samhällsfördelar.

Autonomin och vapnet som två föreskrifter

Det finns ett slagord som vissa använder för att varna för beväpnade autonoma system av alla slag, som myntas kollektivt som slaktbotar.

Detta tar upp ytterligare en aspekt som vi borde fundera över.

Måste ett autonomt vapensystem och/eller ett autonomt system som har vapengjorts vara av en dödlig eller mördande robotövervikt?

Vissa skulle hävda att vi kan ha bestämt icke-dödande beväpnade autonoma system också. I den synvinkeln verkar det således djupt olämpligt att använda fraser som slaktrobotar eller mördarrobotar. En icke-dödlig variant skulle förmodligen kunna dämpa eller utarbeta skada som inte är av ett dödligt resultat. Dessa sådana system dödar inte, de har en mindre skadegenererande förmåga. Överskatta inte förmågorna, säg de som insisterar på att vi inte behöver vara upptagna av en direkt dödande maskintrope.

Därför kan vi ha detta:

• Dödliga autonoma vapensystem
• Dödliga autonoma system som har vapengjorts
• Icke-dödliga autonoma vapensystem
• Icke-dödliga autonoma system som har vapengjorts

Naturligtvis är motargumentet att vilket autonomt system som helst som har vapeniserats verkar ha potential att glida in i dödlighetsområdet, även om det förmodas endast vara tänkt att användas på en icke-dödlig basis. Det stegvisa två steget att gå från icke-dödligt till dödligt kommer att genomföras snabbt när du redan har fått i hand ett vapen mitt i ett autonomt system. Du skulle bli hårt pressad att ge en järnklädd garanti för att den icke-dödliga inte kommer att ha hamnat på den dödliga arenan (även om vissa försöker göra det, i en matematisk sken).

Innan vi kommer mycket längre in på detta övergripande ämne om autonoma system och vapenisering, kan det vara praktiskt att påpeka något annat som även om det kanske är uppenbart inte nödvändigtvis är synligt i huvudet.

Här är det:

• Det finns en AI-aspekt som är en del av det autonoma systemet
• Det finns en vapenaspekt som är vapensidan av denna ekvation
• AI:n kan också vara sammankopplad med vapnet

Låt oss packa upp det.

Vi kommer att anta att dagens autonoma system kräver AI som det underliggande datoriserade sättet att ta fram de autonoma aspekterna. Jag nämner detta eftersom du kan försöka hävda att vi kan använda icke-AI-relaterade teknologier och tekniker för att göra de autonoma systemen, vilket även om det är sant, verkar mindre och mindre troligt. I grund och botten tenderar AI att möjliggöra större nivåer av autonomi, och de flesta utnyttjar AI-högteknologin i enlighet därmed.

Okej, så vi har en AI-baserad förmåga som på något sätt ingjuts i det autonoma systemet och fungerar för att vägleda och kontrollera det autonoma systemet.

Håll det till hands som en tumregel.

Det verkar uppenbart att vi också behöver ha någon form av vapen, annars varför diskuterar vi här ämnet autonoma system och vapen. Så, ja, uppenbarligen, det finns ett vapen av ett eller annat slag.

Jag tänker inte fördjupa mig i vilken typ av vapen som kan användas. Du kan helt enkelt byta ut vilket vapen du än tänker på. Det kan finnas exakta vapen. Det kan finnas massorienterade destruktiva vapen. Det kan vara något med kulor eller projektiler. Det kan vara något som har kemikalier eller atomära flyktiga komponenter. Listan är oändlig.

Det ytterligare övervägandet är om AI är sammankopplad med vapen eller inte. AI:n kanske bara tar med sig vapnet på en tur. I fallet med den fyrbenta roboten som sköt en pistol, kanske pistolen avfyras av en människa som har en fjärrkontroll kopplad till vapnets utlösning. Den hundliknande roboten navigerar i en scen och sedan är det upp till en avlägsen människa att trycka på avtryckaren.

Å andra sidan kan AI så att säga vara avtryckaren. AI:n kan ha utformats för att inte bara navigera och manövrera utan också aktivera vapnet. I den meningen gör AI allt från A till Ö. Det finns inget beroende av en avlägsen människa för att utföra vapensidan av saker och ting. AI:n är programmerad att göra det istället.

För att förtydliga då i detta speciella användningsfall av autonoma system som är beväpnade, har vi dessa typer av möjligheter:

• Autonoma system: AI driver det autonoma systemet helt på egen hand
• Autonoma system: AI driver det autonoma systemet, men en människa-i-slingan kan också ingripa
• Vapen: Fjärrmänniska styr vapnet (AI gör det inte)
• Vapen: AI styr vapnet, men en människa-i-slingan kan också ingripa
• Vapen: AI driver vapnet helt på egen hand

Jag har tidigare täckt varianterna av att ha en människa-i-slingan när det gäller autonoma system och autonoma fordon, se länken här.

När du tittar på de där roliga orienterade videorna av de dansande och trampande fyrbenta robotarna, är de vanligtvis tänkta att vara robotar som uteslutande styrs av AI:n (ja, det är sedvanligt eller anses vara korrekt etikett bland dem som är djupt i dessa frågor). Det är vad du också med rätta kan anta. Det vet du naturligtvis inte säkert. Det kan vara så att en avlägsen mänsklig operatör guidar robotarna. Det finns också en möjlighet att AI:n gör en del av guidningen, och en avlägsen mänsklig operatör gör det också, kanske hjälper AI:n om roboten hamnar i en tuff position och inte beräkningsmässigt kan beräkna ett hållbart sätt att vicka sig fri.

Kontentan här är att det finns många varianter av hur AI och autonoma system och vapenisering kan blandas ihop. Vissa har AI som kör det autonoma systemet men som inte kör vapnet. En människa kanske fjärrstyr vapnet. En annan vinkel är att vapnet kanske aktiveras i förväg och det autonoma systemet levererar det aktiverade vapnet, så AI:n deltog inte direkt i utlösningen av vapnet i sig och fungerade istället som ett leveransfordon. Och det kan vara så att AI:n är ett kändisarrangemang och gör hela skalan av autonoma systemaspekter för vapenanvändningen också.

Välj ditt val.

Under tiden, snälla vet att människan-i-slingan är en stor faktor när det kommer till debatter om detta ämne.

En skiljelinje för vissa är att om AI:n gör målinriktningen och skjuter (eller vad vapnet nu innebär) så har hela kitet och caboodlen gått över till no-no-land. Detta skiljer sig till synes från de konventionella eld-och-glöm-vapen som har ett förinriktat, mänskligt bestämt urval, såsom en patrullerande drönare som har en missil redo att skjuta mot ett mål som var redan vald av en människa.

Vissa undrar varför autonoma system som är beväpnade inte alltid skulle inkludera en människa-i-slingan under hela processen för att det autonoma systemet är i en aktivt pågående status. Det verkar som om vi skulle ha det bättre om ett strängt krav var att alla sådana beväpnade autonoma system måste ha en människa-i-loopen, antingen för att det autonoma systemet ska fungera eller för att driva vapnet (eller för båda). . Att hålla en förmodad säker och stadig mänsklig hand i den här AI-blandningen kan tyckas helt klurigt.

Gör dig redo för en lång lista med anledningar till varför detta inte nödvändigtvis är genomförbart.

Tänk på dessa svårigheter:

• Human-in-the-loop kanske inte är tillräckligt snabb för att svara i tid
• Human-in-the-loop kanske inte har tillräcklig information för att plikttroget svara
• Human-in-the-loop kanske inte är tillgänglig vid den tid som behövs
• Human-in-the-loop kan vara obestämd och kommer inte att agera när det behövs
• Human-in-the-loop kan fatta "fel" beslut (relativt)
• Human-in-the-loop kanske inte är tillgänglig från systemet vid den tid som behövs
• Human-in-the-loop kan bli förvirrad och bli överväldigad
• Annat

Du är utan tvekan frestad att titta på den listan över mänskliga svagheter och begränsningar och sedan komma till den högtidliga slutsatsen att det är uppenbart vettigt att skära bort människan-i-slingan och alltid istället använda AI. Detta kan antingen vara uteslutande av människan-i-slingan eller kanske ha AI:n att kunna åsidosätta en ingrodd människa-i-slingan-design. Se min analys av hur meningsskiljaktigheter mellan AI och en människa-i-slingan kan leda till otrygga situationer, behandlad på länken här.

Ofta lämnas en förringande lista över den här typen av mänskligt fokuserade nackdelar i realtid på egen hand och lämnar ett kvarstående intryck av att AI på något sätt måste vara ett mycket klokare val än att ha en människa-i-loopen . Gå inte i den där förrädiska fällan. Det finns nyktra avvägningar inblandade.

Tänk på dessa konsekvenser av AI:

• AI kan stöta på ett fel som gör att den hamnar på avvägar
• AI kan bli överväldigad och låsas utan att svara
• AI kan innehålla utvecklarbuggar som orsakar oregelbundet beteende
• AI kan vara skadad med implanterat evildoer-virus
• AI kan tas över av cyberhackers i realtid
• AI kan anses vara oförutsägbar på grund av komplexiteten
• AI kan beräkningsmässigt fatta "fel" beslut (relativt)
• Annat

Jag litar på att du kan se att det finns avvägningar mellan att använda en människa-i-slingan kontra att enbart vara beroende av AI. Om du är frestad att föreslå att den färdiga lösningen är att använda båda, vill jag bara betona att du kan få det bästa av två världar, men du kan också få det sämsta av två världar. Anta inte att det alltid och säkert kommer att vara det bästa av två världar.

Du kanske har blivit något förvånad över en av de ovan angivna nackdelarna med AI, särskilt att AI kan vara oförutsägbar. Vi är vana vid att tro att AI ska vara strikt logisk och matematiskt exakt. Som sådan kan du också förvänta dig att AI kommer att vara helt förutsägbar. Vi ska veta exakt vad AI kommer att göra. Period, slutet på historien.

Ledsen att jag spränger den där ballongen men denna myt om förutsägbarhet är en felaktig benämning. Storleken och komplexiteten hos dagens AI är ofta ett morass som trotsar att vara perfekt förutsägbar. Detta kan ses i dagens etiska AI-uppror om vissa användningar av maskininlärning (ML) och djupinlärning (DL). Jag ska förklara lite mer ett ögonblick.

Du kanske också vill ta en titt på min senaste analys av de kommande trenderna mot att försöka säkerställa verifierbara och matematiskt bevisbart korrekta AI-system via det senaste inom AI-säkerhet, på länken här.

Idisslande På Vägreglerna

Jag hade nämnt begreppet mål och inriktning, vilket är en ganska tungt laddad terminologi som förtjänar stor uppmärksamhet.

Vi kan fundera på detta:

• Mål som är människor
• Mål som inte är människor utan är levande varelser
• Mål som tolkas som egendom

Antag att vi har ett autonomt system som har vapengjorts. AI:n används för att styra det autonoma systemet och används för vapen. AI:n gör allt från A till Ö. Det finns ingen möjlighet för en människa-i-slingan. När det gäller inriktning kommer AI:n att välja målen. Det finns ingen pre-targeting som har etablerats av människor. Istället har AI:n programmerats för att generellt fastställa om det finns människor som ska riktas mot (kanske skanna efter fientliga handlingar, vissa typer av uniformer och så vidare).

Med mig på detta hittills?

Det här scenariot är i stort sett det som orsakar mest ramaskri om beväpnade autonoma system.

Den uttalade oron är att AI gör (minst) tre saker som den inte borde vara tillåten att göra:

• Inriktar sig på människor som mål
• Inriktning utan användning av en människa-i-slingan
• Potentiellt agera oförutsägbartly

Lägg märke till att det finns ett skarpt omnämnande av oro för att AI:n är oförutsägbar. Det kan vara så att även om AI:n var programmerad att rikta in sig på vissa typer av människor, så är AI-programmeringen inte vad vi trodde att den var, och AI:n slutar med att rikta in sig på "vänliga vänner" utöver de som AI var tänkt att tolka som "fientliga ” (eller, kanske i stället för). Ovanpå detta, även om vi väljer att inkludera en mänsklig-i-slingan-bestämmelse, kan oförutsägbarheten hos AI:n innebära att när AI:n är tänkt att konferera med människan-i-loopen, så misslyckas den att göra det. så och agerar utan mänsklig inblandning.

Du kan tycka att det är intressant att Internationella Röda Korsets kommitté (ICRC) har gett en trepunktsövergripande ståndpunkt om autonoma vapensystem som utvecklar dessa typer av problem (per ICRC-webbplatsen):

1. "Oförutsägbara autonoma vapensystem bör uttryckligen regleras ut, särskilt på grund av deras urskillningslösa effekter. Detta skulle bäst uppnås med ett förbud mot autonoma vapensystem som är utformade eller används på ett sätt så att deras effekter inte kan förstås, förutsägas och förklaras tillräckligt."

2. "I ljuset av etiska överväganden för att skydda mänskligheten och att upprätthålla internationella humanitära rättsregler för skydd av civila och stridande hors de combat, Användning av autonoma vapensystem för att rikta in sig på människor bör uteslutas. Detta skulle bäst uppnås genom ett förbud mot autonoma vapensystem som är utformade eller används för att utöva våld mot personer.”

3. ”För att skydda civila och civila föremål, upprätthålla reglerna i internationell humanitär rätt och skydda mänskligheten, bör utformningen och användningen av autonoma vapensystem som inte skulle vara förbjudna regleras, inklusive genom en kombination av: gränser för typerna av mål, såsom att begränsa dem till föremål som är militära mål till sin natur; gränser för användningens varaktighet, geografiska omfattning och omfattning, inklusive för att möjliggöra mänskligt omdöme och kontroll i samband med en specifik attack; gränser för användningssituationer, såsom att begränsa dem till situationer där civila eller civila föremål inte är närvarande; rkrav för interaktion mellan människa och maskin, särskilt för att säkerställa effektiv mänsklig övervakning och snabba ingripanden och avaktivering.”

På ett relaterat perspektiv hade FN (FN) via konventionen om vissa konventionella vapen (CCW) i Genève fastställt elva icke-bindande vägledande principer om dödliga autonoma vapen, enligt den officiella rapporten som publicerades på nätet (som omfattar hänvisningar till relevant internationell humanitär hjälp). Lag eller IHL-förbehåll):

(a) Internationell humanitär rätt fortsätter att gälla fullt ut för alla vapensystem, inklusive potentiell utveckling och användning av dödliga autonoma vapensystem.

(b) Mänskligt ansvar för beslut om användning av vapensystem måste behållas eftersom ansvar inte kan överföras till maskiner. Detta bör beaktas över hela vapensystemets livscykel;

(c) Interaktion mellan människa och maskin, som kan ta olika former och implementeras i olika skeden av ett vapens livscykel, bör säkerställa att den potentiella användningen av vapensystem baserade på framväxande teknologier inom området dödliga autonoma vapensystem finns i efterlevnad av tillämplig internationell lag, särskilt internationell rätt. Vid fastställandet av kvaliteten och omfattningen av interaktion mellan människa och maskin bör en rad faktorer beaktas, inklusive det operativa sammanhanget och vapensystemets egenskaper och kapacitet som helhet;

(d) Ansvar för utveckling, utplacering och användning av alla nya vapensystem inom ramen för CCW måste säkerställas i enlighet med tillämplig internationell lag, inklusive genom driften av sådana system inom en ansvarsfull kedja av mänsklig ledning och kontroll;

(e) I enlighet med staters förpliktelser enligt internationell rätt, vid studiet, utvecklingen, förvärvet eller adoptionen av ett nytt vapen, medel eller metod för krigföring, måste det fastställas huruvida dess anställning under vissa eller alla omständigheter skulle vara förbjudet enligt internationell lag;

(f) Vid utveckling eller förvärv av nya vapensystem baserade på framväxande teknik inom området dödliga autonoma vapensystem, fysisk säkerhet, lämpliga icke-fysiska skyddsåtgärder (inklusive cybersäkerhet mot hacking eller dataförfalskning), risken för att terroristgrupper skaffar sig och risken för spridning bör övervägas;

(g) Riskbedömningar och begränsningsåtgärder bör vara en del av design-, utvecklings-, test- och utbyggnadscykeln för framväxande teknik i alla vapensystem.

h) Man bör överväga användningen av framväxande teknik inom området dödliga autonoma vapensystem för att upprätthålla efterlevnaden av IHR och andra tillämpliga internationella rättsliga förpliktelser.

(i) Vid utformning av potentiella politiska åtgärder bör framväxande teknik inom området dödliga autonoma vapensystem inte antropomorfiseras;

(j) Diskussioner och eventuella politiska åtgärder som vidtas inom ramen för CCW bör inte hindra framsteg i eller tillgång till fredlig användning av intelligent autonom teknik;

(k) CCW erbjuder ett lämpligt ramverk för att hantera frågan om framväxande teknik inom området dödliga autonoma vapensystem inom ramen för konventionens mål och syften, som försöker hitta en balans mellan militär nödvändighet och humanitära överväganden.

Problemet vi befinner oss i

Dessa olika krigslagar, lagar för väpnade konflikter eller IHL (International Humanitarian Laws) fungerar som en viktig och ständigt lovande guide för att överväga vad vi kan försöka göra åt tillkomsten av autonoma system som är beväpnade, vare sig det är genom keystone-design eller med efterhandsmetoder.

Vi kan uppriktigt önska att ett förbud mot dödliga beväpnade autonoma system skulle följas strikt och lydigt. Problemet är att en hel del rörelseutrymme är skyldigt att smygt hittas inom något av de mest uppriktiga förbuden. Som de säger, regler är till för att brytas. Du kan satsa på att där saker är lösa, kommer riffraff att tära ut luckor och försöka blinka-blinka sig runt reglerna.

Här är några potentiella kryphål som är värda att överväga:

• Påståenden om icke-dödliga. Göra icke-dödande autonoma vapensystem (till synes okej eftersom det är utanför förbudsgränsen), som du sedan på en krona kan skifta till att bli dödlig (du kommer bara bortom förbudet i sista minuten).
• Endast anspråk på autonoma system. Upprätthåll förbudet genom att inte göra dödliga-fokuserade autonoma system, under tiden, gör lika stora framsteg när det gäller att skapa vardagliga autonoma system som inte (ännu) är beväpnade men som du för en krona kan bygga om till att bli beväpnade.
• Påståenden om att inte integreras som ett. Skapa autonoma system som inte alls är beväpnade, och när det är dags, piggyback-vapen så att du kan försöka häftigt hävda att de är två separata element och därför hävda att de inte faller inom ramen för en allt-i-ett autonomt vapensystem eller dess kusin.
• Påstår att det inte är autonomt. Gör ett vapensystem som inte verkar ha autonoma kapaciteter. Lämna utrymme i detta förmodligen icke-autonoma system för att släppa in AI-baserad autonomi. När det behövs, koppla in autonomin och du är redo att rulla (tills dess bröt du tydligen inte mot förbudet).
• Övriga

Det finns många andra uttalade svårigheter med att försöka förbjuda dödliga autonoma vapensystem. Jag ska täcka några fler av dem.

Vissa förståsigpåare hävdar att ett förbud inte är särskilt användbart och att det istället borde finnas reglerande bestämmelser. Tanken är att dessa tillbehör kommer att tillåtas men strängt övervakas. En mängd lagliga användningar anges, tillsammans med lagliga sätt att rikta in sig på, lagliga typer av möjligheter, laglig proportionalitet och liknande.

Enligt deras uppfattning är ett direkt förbud som att stoppa huvudet i sanden och låtsas att elefanten i rummet inte existerar. Detta påstående får dock blodet att koka av dem som motsätter sig argumentet att genom att införa ett förbud kan du dramatiskt minska frestelsen att driva den här typen av system. Visst, vissa kommer att stoltsera med förbudet, men förhoppningsvis kommer de flesta inte det. Du kan då fokusera din uppmärksamhet på flaunters och inte behöva splittra din uppmärksamhet till alla.

Runt och varv går dessa debatter.

En annan ofta uppmärksammad oro är att även om de goda följer förbudet så kommer de dåliga inte att göra det. Detta sätter det goda i en usel hållning. De onda kommer att ha den här typen av beväpnade autonoma system och de goda kommer inte. När saker och ting väl har avslöjats att de dåliga har dem, kommer det att vara för sent för de goda att komma ikapp. Kort sagt, det enda kloka man kan göra är att förbereda sig på att bekämpa eld med eld.

Det finns också den klassiska avskräckningsstriden. Om de goda väljer att göra vapeniserade autonoma system, kan detta användas för att avskräcka de onda från att försöka hamna i en strid. Antingen kommer de goda att vara bättre beväpnade och på så sätt avråda de onda, eller så kommer de goda att vara redo när de onda kanske avslöjar att de i smyg har utarbetat dessa system hela tiden.

En motsats till dessa räknare är att genom att göra beväpnade autonoma system bedriver du en kapprustning. Den andra sidan kommer att försöka ha detsamma. Även om de inte är tekniskt oförmögna att skapa sådana system på nytt, kommer de nu att kunna stjäla de "goda" planerna, omvända den högteknologiska moden eller efterlikna vad de än verkar se som ett beprövat. sätt att få jobbet gjort.

Aha, någon replik, allt detta kan leda till en minskning av konflikter genom ett sken av ömsesidigt. Om sida A vet att sida B har de där dödliga vapen för autonoma system, och sida B vet att sida A har dem, kan de sitta tätt och inte komma till skott. Detta har den distinkta aura av mutually assured destruction (MAD) vibbar.

Och så vidare.

AI i autonomin

Låt oss se till att vi är på samma sida om arten av dagens AI.

Det finns ingen AI idag som är kännande. Vi har inte det här. Vi vet inte om sentient AI kommer att vara möjligt. Ingen kan lämpligen förutsäga om vi kommer att uppnå sentient AI, och inte heller om sentient AI på något sätt mirakulöst spontant kommer att uppstå i en form av beräkningskognitiv supernova (vanligtvis kallad singulariteten, se min bevakning på länken här).

Den typ av AI som jag fokuserar på består av den icke-kännande AI som vi har idag. Om vi ​​ville spekulera vilt om kännande AI, den här diskussionen kan gå i en radikalt annan riktning. En kännande AI skulle förmodligen vara av mänsklig kvalitet. Du skulle behöva tänka på att den kännande AI är den kognitiva motsvarigheten till en människa. Mer så, eftersom vissa spekulerar att vi kan ha superintelligent AI, är det tänkbart att sådan AI kan bli smartare än människor (för min utforskning av superintelligent AI som en möjlighet, se täckningen här).

Låt oss hålla saker mer jordnära och överväga dagens beräkningslösa AI.

Inse att dagens AI inte kan "tänka" på något sätt i nivå med mänskligt tänkande. När du interagerar med Alexa eller Siri kan samtalskapaciteten tyckas likna mänsklig kapacitet, men verkligheten är att den är beräkningsmässig och saknar mänsklig kognition. Den senaste eran av AI har i stor utsträckning använt maskininlärning (ML) och djupinlärning (DL), som utnyttjar matchning av beräkningsmönster. Detta har lett till AI-system som ser ut som mänskliga benägenheter. Samtidigt finns det inte någon AI idag som har ett sken av sunt förnuft och inte heller något av det kognitiva förundran med robust mänskligt tänkande.

Var mycket försiktig med att antropomorfiera dagens AI.

ML/DL är en form av beräkningsmönstermatchning. Det vanliga tillvägagångssättet är att man samlar ihop data om en beslutsuppgift. Du matar in data i ML/DL-datormodellerna. Dessa modeller försöker hitta matematiska mönster. Efter att ha hittat sådana mönster, om så hittas, kommer AI-systemet att använda dessa mönster när det möter ny data. Vid presentationen av nya data tillämpas mönstren baserade på "gamla" eller historiska data för att göra ett aktuellt beslut.

Jag tror att ni kan gissa vart detta är på väg. Om människor som har fattat mönstrade beslut har införlivat ogynnsamma fördomar, är oddsen att data speglar detta på subtila men betydelsefulla sätt. Machine Learning eller Deep Learning beräkningsmönstermatchning kommer helt enkelt att försöka matematiskt efterlikna data i enlighet därmed. Det finns inget sken av sunt förnuft eller andra kännande aspekter av AI-tillverkad modellering i sig.

Dessutom kanske AI-utvecklarna inte inser vad som händer heller. Den mystiska matematiken i ML/DL kan göra det svårt att ta bort de nu dolda fördomarna. Du skulle med rätta hoppas och förvänta dig att AI-utvecklarna skulle testa för de potentiellt begravda fördomarna, även om detta är svårare än det kan verka. Det finns en stor chans att det även med relativt omfattande tester kommer att finnas fördomar inbäddade i mönstermatchningsmodellerna för ML/DL.

Du skulle kunna använda det berömda eller ökända ordspråket om skräp-in skräp-ut. Saken är den att detta är mer besläktat med fördomar-in som smygande blir infunderade när fördomar nedsänkt i AI. Algoritmen för beslutsfattande (ADM) för AI blir axiomatiskt laddat med orättvisor.

Inte bra.

Med den extra grundläggande bakgrunden vänder vi oss återigen till ämnet för autonoma system och vapenisering. Vi har tidigare sett att AI går in i den autonoma systemkomponenten och även kan gå in i vapeniseringskomponenten. Dagens AI är inte kännande. Detta är värt att upprepas och jag kommer att lyfta fram detta för ytterligare insikter i dessa frågor.

Låt oss utforska några scenarier för att se hur detta är en avgörande faktor. Jag kommer tillfälligt att byta bort från en krigstidsorientering om detta ämne och visa upp hur det genomsyrar många andra sociala miljöer. Stanna dig därefter.

Ett AI-baserat autonomt system som ett autonomt fordon som vi ska säga inte har något som helst med vapen att göra är på väg över en normal lokal. En människa kommer för att använda det autonoma fordonet. Personen är beväpnad med ett föranande vapen. Antag för diskussionens skull i det här scenariot att personen har något ogynnsamt i åtanke. Personen kliver in i det autonoma fordonet (med sitt vapen, dold eller ej dold, i båda fallen).

Det autonoma fordonet fortsätter till vilken destination som föraren har begärt. I det här fallet transporterar AI helt enkelt denna passagerare programmässigt från en upphämtningsplats till en angiven destination, precis som den har gjort för möjligen dussintals eller hundratals resor, varje dag.

Om detta hade varit en mänsklig förare och ett människodrivet fordon, finns det förmodligen en viss chans att den mänskliga föraren skulle inse att passageraren är beväpnad och verkar ha ogynnsamma avsikter. Den mänskliga föraren kan vägra att köra fordonet. Eller så kanske den mänskliga föraren kör till polisstationen. Eller kanske den mänskliga föraren kan försöka kuva den beväpnade passageraren (rapporterade fall finns) eller avråda passageraren från att använda sitt vapen. Det är ganska komplicerat, och hur många varianter som helst kan finnas. Du skulle få svårt att hävda att det bara finns ett rätt svar på att lösa en sådan problematik. Tyvärr är situationen jobbig och uppenbarligen farlig.

AI i det här fallet är osannolikt att vara programmerad för någon av dessa typer av möjligheter. Kort sagt, den beväpnade passageraren kanske kan använda sitt vapen, genom att göra det inifrån det autonoma fordonet, under körningens gång. AI-körsystemet kommer att fortsätta att färdas med och det autonoma fordonet kommer att fortsätta till passagerarens angivna beteckning (förutsatt att destinationen annars inte ansågs vara utanför gränsen).

De flesta samtida AI-körsystem skulle endast beräkningsmässigt fokusera på vägbanan och inte på förarens ansträngningar.

Saker och ting kan bli värre än så här.

Anta att någon vill ha ett gäng matvaror transporterat till ett ställe som tar extra mat till behövande. Personen begär ett autonomt fordon och placerar matkassarna i baksätet på fordonet. De kommer inte att följa med på resan utan använder bara det autonoma fordonet för att leverera matkassarna åt dem.

Verkar helt okej.

Föreställ dig att en elak person istället väljer att placera någon form av beväpning i det autonoma fordonet snarare än den mer fridfulla uppfattningen om matkassar. Jag tror att du kan gissa vad som kan hända. Detta är en oro som jag upprepade gånger har uppmanat till i mina kolumner och varnat för att vi måste hantera förr snarare än senare.

Ett förslag till svar på dessa typer av scenarier är att kanske alla autonoma fordon skulle kunna programmeras att använda sina kameror och andra sensorer för att försöka upptäcka om en potentiell passagerare är beväpnad och har ondskefulla avsikter. Kanske skulle AI:n vara programmerad för att göra detta. Eller så varnar AI:n elektroniskt och tyst en avlägsen mänsklig operatör som sedan via kamerorna visuellt och på annat sätt undersöker och eventuellt interagerar med passageraren. Det är allt en del av en komplex och potentiellt svårbehandlad burk med maskar, så att det väcker intensiva integritetsproblem och en uppsjö av andra potentiella etiska AI-problem. Se min bevakning på länken här.

Ett annat något liknande alternativ är att AI innehåller någon form av inbäddad etikprogrammering som försöker göra det möjligt för AI:n att göra etiska eller moraliska bedömningar som normalt är reserverade för mänskliga beslutsfattare. Jag har undersökt dessa bryggtyper av AI-inbäddade beräkningsetiska prognostatorer, se länken här och länken här.

Gå tillbaka till ett slagfältsscenario, föreställ dig att ett dödligt autonomt vapensystem kryssar ovanför en stridszon. AI:n driver det autonoma systemet. AI:n använder vapnen ombord. Vi hade tidigare tänkt på möjligheten att AI kan vara programmerad att söka efter till synes fientliga rörelser eller andra indikatorer på mänskliga mål som anses vara giltiga kombattanter.

Bör samma AI ha någon form av etisk-orienterad komponent som strävar efter att beräkningsmässigt överväga vad en människa-i-slingan kan göra, agera i en mening istället för att ha en människa-i-slingan?

Vissa säger ja, låt oss fortsätta med det här. Vissa backar i fasa och säger att det antingen är omöjligt eller på annat sätt kränker mänsklighetens helighet.

Ännu en burk maskar.

Slutsats

För er som är intresserade av detta ämne finns det mycket mer att diskutera.

Jag ska ge dig ett snabbt smakprov på en tjatande gåta.

Vi förväntar oss normalt att en människa i slutändan kommer att hållas ansvarig för vad som än händer under krigstid. Om AI kontrollerar ett autonomt vapensystem eller kontrollerar ett autonomt system som kanske har vapengjorts, och det här systemet gör något på slagfältet som tros vara samvetslöst, vem eller vilka ska skyllas för detta?

Du kanske hävdar att AI bör hållas ansvarig. Men i så fall, vad betyder det egentligen? Vi anser ännu inte att dagens AI är förkroppsligandet av juridisk person, se min förklaring på länken här. Inget att fästa svansen på åsnan när det gäller AI. Kanske om AI någon dag blir kännande kan du försöka göra det. Tills dess är detta lite av en räckvidd (plus vilken typ av straff eller återverkningar skulle AI:n utsättas för, se min analys på länken här och länken här, till exempel).

Om AI:n inte är den ansvarsskyldige misstänkte, kan vi naturligtvis säga att vilken människa eller människor som än har skapat AI:n bör hållas ansvarig. Kan du göra detta om AI bara körde ett autonomt system och några människor kom med som kopplade det till vapenisering? Går du efter AI-utvecklarna? Eller de som distribuerade AI? Eller bara den vapenskapande skådespelaren?

Jag litar på att du förstår att jag bara har rört toppen av isberget i min hjärtliga diskussion.

För nu, låt oss gå vidare och avsluta denna diskurs. Du kanske minns att John Lyly in Euphues: The Anatomy Of Wit 1578 konstaterade minnesvärt att allt är rättvist i kärlek och krig.

Skulle han ha haft i åtanke uppkomsten av autonoma vapensystem och likaledes tillkomsten av autonoma system som är beväpnade?

Vi måste verkligen sätta detta högst upp i våra sinnen, direkt.