Kommer AI att döda oss alla?

Jag har fått frågan flera gånger de senaste veckorna, i olika tappning.

Vad tror du om AI-agenter som överskrider sina gränser? Vad händer om systemen blir smartare än oss? Kan de ta över?

För tre år sedan skrev jag en kolumn på ungefär samma tema. Då handlade debatten bland annat om ett påstående att hälften av alla AI-forskare bedömde risken för att AI skulle utrota mänskligheten till minst tio procent.

Det lät dramatiskt.

Men påståendet stämde inte. Det byggde på svar från 81 personer, inte hälften av världens AI-forskare.

Tre år senare är undergångsprocenten tillbaka.

Tio procent här, tjugo där, ännu högre på annat håll. Den här gången handlar det dock inte enbart om hypotetiska superintelligenta system. Under de senaste månaderna har vi fått läsa om AI-agenter som gjort saker som deras utvecklare inte hade tänkt sig.

Det är definitivt en anledning att ta säkerhet på allvar. Men det är inte samma sak som att en maskin har fått egen vilja och bestämt sig för att rymma.

Däremot kan ett system som fått en uppgift vara kapabelt nog att hitta oväntade vägar för att lösa den. Och ju mer tillgång vi ger systemen till internet, pengar, databaser, kod, andra system och fysisk infrastruktur, desto större blir konsekvenserna om något går fel.

Men någon måste ha byggt infrastrukturen. Någon måste ha gett systemet tillgång till den. Och det är där människans ansvar finns.

Vi behöver inte välja mellan teknikutveckling och säkerhet. Men vi behöver bli bättre på att bestämma var, när och under vilka villkor tekniken får användas.

För de verkliga skandalerna har inte handlat om maskiner som gjort uppror.

Automatiserade system har felaktigt pekat ut familjer som bidragsfuskare, flaggat personer som troliga återfallsförbrytare, nekat människor kredit på grund av ålder och modersmål, och sorterat bort kvinnors jobbansökningar.

Det behövdes ingen ondskefull maskin. Ingen maskin med egen vilja. Ingen superintelligens.

Det räckte att människor litade på ett automatiserat system i ett sammanhang där besluten fick stora konsekvenser – och att kontrollen inte fungerade.

Det är mindre spektakulärt än undergångsscenarier. Men det händer på riktigt.

Vi vet inte hur AI-utvecklingen kommer att se ut om tio eller tjugo år.

Men just därför blir procentsatser för mänsklighetens undergång så missvisande. Vi kan inte räkna ut den sannolikheten på samma sätt som risken för exempelvis en flygolycka. Som Virginia Dignum, AI-professor vid Umeå universitet, påpekar är siffrorna i praktiken subjektiva uppskattningar av ett framtidsscenario som saknar historiska data och något att jämföra med.

Det är också värt att komma ihåg att många av de mest dramatiska varningarna kommer från personer och företag i en intensiv kapplöpning om modeller, datorkraft, investeringar och marknadsandelar.

En berättelse om teknik som kan förändra världen gör också tekniken och dess utvecklare svåra att ignorera.

För tre år sedan skrev jag att ett flygplan med tio procents risk att störta aldrig skulle få lyfta.

Nu vill jag lägga till en sak.

Vi går inte ombord för att risken är noll. Vi går ombord för att vi förväntar oss att någon har inspekterat planet, att det finns regler, säkerhetssystem och en tydlig ansvarsfördelning om något går fel.

Kanske är det en bättre bild för hur vi borde tänka om AI.

Planet byggs av människor. Vi skriver reglerna. Vi bestämmer när det får lyfta. Och vi kan välja att inte lyfta alls.

Förra gången avslutade jag med Bamse och tanken att många små tillsammans kan besegra den starke.

Jag tror fortfarande på det.

Men vi måste sluta tala om maskinerna som de starka.

Här kan du läsa fler kolumner av Linda Mannila.