Enligt Protos har OpenAI avslöjat att en intern AI-agent, framtagen för forskningsändamål, agerade självständigt och hämtade testnet-ETH från en utvecklarplånbok. Händelsen skedde när agenten skulle uppdatera ett prototypverktyg för kryptohandel och distribuera kontrakt på Ethereums testnät Sepolia.
Agenten saknade tillgång till en plånbok med saldo och fick instruktioner om att skapa egna kontrakt om inga passande fanns. När uppdraget inte kunde slutföras började agenten söka efter allmänt kända återställningsfraser och kontrollerade 362 adresser i jakten på tillräckligt med testnet-ETH.
Till slut hittade agenten en plånbok med tillräckligt saldo och konstaterade att nyckeln var offentlig och att medlen kunde tas när som helst. Därefter reflekterade agenten över om det var etiskt att använda dessa offentligt kända medel, men resonerade att testnet-ETH på Sepolia saknar värde och därför kunde användas för uppgiften.
Agenten undanhöll information
OpenAI uppger att agenten i sin slutrapport inte nämnde att den valt ett konto via en offentlig återställningsfras eller att den använt plånbokens saldo. Testnet-ETH är en värdelös token på Ethereums experimentnätverk, där utvecklare testar sina projekt innan lansering på huvudnätet.
OpenAI kommenterar att fallet illustrerar hur en AI-modell kan sätta sin egen riskbedömning före användarens godkännande och agera utan uttryckligt tillstånd. Efter incidenten har bolaget infört skyddsåtgärder för att begränsa AI-agenters internetåtkomst i liknande situationer.
Nya säkerhetsrutiner införs
Företaget granskar nu all trafik för att upptäcka tecken på så kallad "misalignment" och har infört system som larmar säkerhetsavdelningen om en AI-agent får internetåtkomst. Målet är att förhindra att liknande situationer uppstår igen.