Kod i blindfläcken: Silicon Valleys p(doom)

SAN FRANCISCO. I en anonym lagerbyggnad i Mission District möts grundarna för att diskutera framtiden. Men det är inte nästa kvartalsrapport eller nästa värdering på hundra miljarder dollar som står på agendan. Det är risken för att allt de byggt ska göra mänskligheten överflödig – eller i värsta fall utplåna den.

Frågan om vem som har mandatet – och modet – att sätta stopp för en potentiellt okontrollerbar AI-utveckling har förvandlats från en teoretisk filosofiövning till techvärldens mest brännande ödesfråga. Det råder en lågmäld men påtaglig panik i dalen.

Gudfaderns varning

När Geoffrey Hinton, ofta kallad ”AI:s gudfader”, klev ut från Googles lokaler förra året var det med ett tydligt budskap. Efter årtionden av banbrytande forskning på djupa neuronnät insåg han att maskinerna var nära att nå – och gå om – den mänskliga intellektuella kapaciteten.

”Det är inte alls säkert att vi kan kontrollera något som är mycket smartare än oss själva. Vi har aldrig ställts inför det förut”, har Geoffrey Hinton varnat.

Hinton är inte ensam. Tillsammans med Yoshua Bengio, en annan av pionjärerna bakom dagens AI-revolution, och Max Tegmark, svensk-amerikansk fysikprofessor vid MIT och grundare av Future of Life Institute, kämpar de för att få politiker och investerare att lyssna.

Men på andra sidan står ett kommersiellt tåg i full fart. Samtidigt som forskarna larmar fortsätter riskkapitalet att strömma in i bolag som OpenAI, Anthropic och Google. Samma industri som driver utvecklingen framåt har hamnat i den paradoxala rollen att de förväntas bedöma sina egna risker.

+-----------------------------------------------------------------------+
|                         MOLOCH-DYNAMIKEN                              |
|                                                                       |
|   +-------------------+                     +---------------------+   |
|   | Tech-jätte A      |                     | Tech-jätte B / Kina |   |
|   | "Vill utveckla    |                     | "Vill utveckla      |   |
|   |  säkert"          |                     |  säkert"            |   |
|   +---------+---------+                     +----------+----------+   |
|             |                                          |              |
|             v                                          v              |
|   Saktar ner för säkerhet                    Saktar ner för säkerhet  |
|             |                                          |              |
|             +-------------------+----------------------+              |
|                                 |                                     |
|                                 v                                     |
|                      Förlorar kapprustningen                          |
|                                 |                                     |
|                                 v                                     |
|               SLUTSATS: Båda känner sig tvingade                      |
|               att maximera tempot trots risken.                       |
+-----------------------------------------------------------------------+

Måttet på undergången

I Silicon Valleys exklusiva middagssällskap pratas det allt oftare om ett nytt mättal: p(doom) – den uppskattade sannolikheten (probability of doom) för att AI ska orsaka en global katastrof.

Anthropic-chefen Dario Amodei har öppet talat om en riskbedömning på omkring 25 procent för att utvecklingen ska gå riktigt illa. Det är ingen vetenskaplig formel, utan en personlig uppskattning från en av branschens mest centrala aktörer.

Kritiker frågar sig varför man överhuvudtaget fortsätter om man tror att risken för undergång är en på fyra. Svaret stavas spelteori och kommersiell överlevnad. Om inte Anthropic eller OpenAI bygger modellen först, kommer någon annan att göra det.

Vem har rätten att spela rysk roulette?

Om en företagsledare satsar pengar på ett riskfyllt projekt kan investerare välja att kasta in handduken. Om en stat tar en säkerhetsrisk drabbas medborgarna. Men när det gäller utvecklingen av superintelligent AI tas risken för hela mänskligheten – utan att någon blivit tillfrågad.

Max Tegmark har vid upprepade tillfällen efterlyst en internationell paus i träningen av nya gigantiska modeller. Han jämför situationen med utvecklingen av kärnvapen eller biologiska vapen, där globala fördrag och oberoende granskningsorgan krävdes för att förhindra katastrof.

Det räcker inte längre med att ingenjörer, riskkapitalister och vd:ar fattar besluten bakom stängda dörrar. Det som krävs nu är:

1. Oberoende granskning: Myndigheter som AI Safety Institutes måste få full insyn i träningsdata och säkerhetstester innan modeller lanseras.

   
   

2. Standardiserade avstängningsmekanismer: Tydliga gränser (red lines) där träningen avbryts automatiskt om modellen visar tecken på självförbättring eller autonomi.

   
   

3. Internationella avtal: Ett globalt ramverk – ett FN för AI – som förhindrar ett destruktivt race mot botten mellan världens stormakter.

   
   

Frågan handlar i slutändan inte om om maskinerna blir smartare än oss. Frågan är om vi är intelligenta nog att sätta gränser för dem innan koden hamnar helt i vår blindfläck.