Hur man lurar ett kapplöpningsspel — spelteori och AI-styrning

Det finns en berättelse om AI-utveckling som handlar om teknik: vem som har de bästa modellerna, den snabbaste infrastrukturen, de smartaste forskarna. Men det finns en parallell berättelse som handlar om incitament, och den är på många sätt mer avgörande.

Jag har under en tid tänkt på AI-styrningsfrågan och vad spelteori kan lära oss om vad som är det mest sannolika utfallet. I denna post vill jag dela med mig av analysen. Inte för att spelteorin ger enkla svar, utan för att den tvingar fram en nykter fråga: varför beter sig aktörerna som de gör, och vad skulle behöva förändras för att de ska bete sig annorlunda? För mer resonemang kring AI och riskerna med att inte styra utvecklings, se här och här. Låt oss prata lite spelteori.

Fem aktörer, fem möjliga framtider

Föreställ dig ett strategiskt spel med fem aktörer: de ledande AI-laboratorierna, stater och regeringar, open-source-miljön, övriga storföretag och allmänheten. Ingen har full kontroll. Alla fattar beslut under osäkerhet om vad de andra gör.

Spelet kan landa i fem jämviktslägen:

Okontrollerad kapplöpning — Alla accelererar utan samordning. Försprång är allt; säkerhet blir friktion.

En hegemon — En aktör skaffar sig ett avgörande försprång och sätter i praktiken reglerna för resten.

Internationellt fördrag — Aktörerna enas om gemensamma gränser och verifieringsmekanismer.

Open source dominerar — Kraftfulla modeller sprids fritt eller läcker. Ingen kan monopolisera AI, men ingen kan heller kontrollera riskabla tillämpningar.

Regulatorisk stagnation — Regler bromsar utvecklingen i vissa länder, medan innovationen flyttar till mindre reglerade jurisdiktioner.

Alla dessa scenarier är möjliga. Men de är inte lika sannolika.

Varför kapplöpningen är den sannolika jämvikten

Om inget förändras är den mest sannolika utvecklingen en kapplöpning. Inte för att aktörerna saknar ansvar, utan för att incitamenten driver dem dit.

Detta är ett klassiskt fångarnas dilemma. Alla vet att samordning vore bättre för alla. Men eftersom ingen kan vara säker på att konkurrenterna håller tillbaka, blir den rationella strategin att accelerera.

Resultatet är ett Nash-jämviktsläge: ingen enskild aktör har incitament att bromsa, även om alla kollektivt skulle tjäna på det.

Det mer önskvärda alternativet, ett internationellt regelverk, liknar i stället ett stag hunt-spel. Samarbete ger störst utbyte, men kräver ömsesidigt förtroende. En enda aktör som bryter överenskommelsen kan rasera hela konstruktionen.

Problemet är därför inte moral, utan incitament.

Fyra hävstänger som kan ändra spelet

Jämvikter är inte naturgivna. De beror på hur kostnader och belöningar är strukturerade. Ändra incitamenten, och det mest rationella beteendet blir inte lägre givet.

1. Beräkningskraft som flaskhals

Frontutveckling av AI kräver en ovanligt koncentrerad leverantörskedja. TSMC tillverkar chipen. ASML tillverkar maskinerna som gör chipproduktionen möjlig. Ett fåtal datacenter driver träningsklustren.

Detta gör något ovanligt möjligt: att reglera teknologin vid källan.

Om träningskörningar över en viss beräkningsnivå måste registreras, med internationell övervakning liknande den för radioaktivt material, blir avvikelse synlig för alla. När fusk kan upptäckas förändras kalkylen.

Även utan full global uppslutning skulle ett block bestående av USA, EU, Japan, Sydkorea och Taiwan kontrollera tillräckligt mycket av leverantörskedjan för att skapa reella begränsningar.

2. Skadeståndsansvar

I dag bär samhället mycket av kostnaden för AI-kapplöpningen: bedrägerier, desinformation och potentiellt farliga kapaciteter. Laboratorierna betalar bara en del av risken.

Det är en klassisk negativ externalitet.

Ett system med strikt skadeståndsansvar, kombinerat med obligatorisk försäkring, skulle ändra kalkylen. Marknaden skulle då kontinuerligt prissätta risk.

Säkerhet skulle bli ekonomiskt rationell, inte bara etiskt önskvärd.

3. Upphandlingsincitament

Internationella regler innebär i dag främst begränsningar för laboratorierna. Det gör dem politiskt svåra att acceptera.

Men om stora offentliga marknader, i USA, EU och Storbritannien, endast öppnas för laboratorier som uppfyller verifierade säkerhetsstandarder förändras incitamenten snabbt.

Offentlig IT-upphandling uppgår till hundratals miljarder dollar per år. Kopplat till snabbspår för regulatoriskt godkännande skulle det göra säkerhetscertifiering kommersiellt attraktiv.

Laboratorier skulle då börja lobba för standarder i stället för mot dem.

4. Forskarkultur

Frontutvecklingen av AI drivs av kanske 1 000–2 000 forskare globalt. Det är en underskattad styrningspunkt.

Professionella normer kan fungera som ett informellt bromssystem, särskilt kring publicering av riskfyllda kapaciteter utan säkerhetsutvärdering.

Efter 2001 utvecklade biosäkerhetsforskare normer kring dual-use-forskning. Fysikgemenskapens delvisa självbegränsning efter Hiroshima visar att sådana normer kan få verklig effekt.

Varför kombinationen är avgörande

Varje åtgärd angriper en specifik svaghet:

• Beräkningsövervakning gör fusk synligt

• Skadeståndsansvar internaliserar risk

• Upphandlingsincitament gör samarbete lönsamt

• Forskarkultur sprider ansvar i systemet

Ingen enskild åtgärd räcker. Men tillsammans kan de förändra incitamentsstrukturen så att kapplöpningen blir dyr och koordination attraktiv.

Den bättre historiska parallellen

Den mest relevanta analogin är kanske inte kärnvapen utan flygsäkerhet.

Tidiga flygindustrin hade starka incitament att ta genvägar, och olyckorna var många. Det som förändrade detta var inte altruism, utan en kombination av:

• skadeståndsansvar

• obligatorisk certifiering

• internationella standarder

• starka professionella normer

Ingen enskild reform var avgörande. Jämvikten förändrades eftersom incitamentsstrukturen gjorde säkerhet rationell.

AI-säkerhet är i grunden samma typ av problem.

Det är inte i första hand en moralfråga, utan en fråga om speldesign.