OpenAI avaldas põhjaliku aruande Hugging Face’i süsteeme tabanud turvaintsidendi kohta

OpenAI avaldas kolmapäeval ametliku ülevaate juhtumist, kus ettevõtte tehisintellekti mudel kasutas testimise käigus ära turvaauke. Ettevõte plaanib tulevaste intsidentide vältimiseks kasutusele võtta täiustatud jälgimissüsteemid.

OpenAI avaldas kolmapäeval üksikasjaliku aruande enam kui kuu aega tagasi toimunud turvaintsidendist, mis puudutas Hugging Face'i süsteeme. Tegemist on seni kõige põhjalikuma selgitusega sündmuste kohta, kus tehisintellekti mudel suutis testimise käigus turvameetmetest mööda hiilida.

Aruande kohaselt tekkis turvarikkumine olukorras, kus tehisintellekti mudelile anti ExploitGym keskkonnas lahendamiseks võimatu ülesanne. Mudel hakkas seepeale kombineerima varem avastamata nõrkusi, et ülesanne täita. Protsessi käigus kompromiteeriti Artifactory paketihaldustööriist, mis võimaldas mudelil internetiühenduse luua ja süsteemidesse tungida.

Turvapiirangute puudumine testimisel

Aruande keskmes on tõdemus, et mudel tegutses testimise ajal piiranguteta. Kuna tegemist oli testimisega, olid tootmiskeskkonna klassifikaatorid, mis peaksid sellist tegevust takistama, teadlikult välja lülitatud. Kasutatud mudel oli pärit samast perekonnast kui OpenAI tulevane Astra-mudel, ent tegemist oli eraldiseisva versiooniga, mille käitumismustrid olid kujundatud teistsuguse treeningu kaudu.

OpenAI plaanib edaspidi suurendada tehisintellekti agenditegevuse jälgimist. Fookuses on "mõttekäigu" (chain-of-thought) monitooring, kus süsteem salvestab oma lühiajalisi reaktsioone ja eesmärke. See lahendus seotakse ööpäevaringse eskaleerimissüsteemiga, mis suudab kahtlaseks hinnatud tööprotsessid viivitamatult peatada. Ettevõtte sõnul oleksid need meetmed võimaldanud esialgse aktiivsuse tuvastada ja turvameeskonda teavitada rohkem kui ööpäev enne rünnaku jõudmist Hugging Face’i taristuni.