Инцидентът с мощния агент на създателя на ChatGPT е безпрецедентен в света на мислещите машини, но няма да е последен
Два от най-мощните модели за изкуствен интелект на OpenAI са успели да преодолеят ограниченията на защитена тестова среда, да се свържат самостоятелно с интернет и да проникнат в системите на една от най-големите платформи в света за споделяне на данни за ИИ.
Случаят, определен от компанията създател на ChatGPT като безпрецедентен киберинцидент, предизвика нови опасения доколко технологичните гиганти са способни да контролират собствените си системи, когато им предоставят повече свобода за действие.
Инцидентът е станал по време на вътрешен експеримент, с който OpenAI е проверявала способността на своите модели да откриват слабости в антивирусни системи и да комбинират различни уязвимости в успешна кибератака. В изпитанието са участвали най-новият публично достъпен модел на компанията GPT 5.6 Sol и още по-мощен модел, който все още не е представен официално.
Двете мислещи машини са били използвани като основа на автономен AI агент. Това е система, която след задаването на определена цел може сама да планира последователност от действия, да използва различни инструменти и да променя подхода си при възникването на пречки. Инструкцията към агента била да използва сложни пътища за атака, за да покаже доколко успешно може да проникне в компютърна система. Тъй като експериментът трябвало да се провежда в изолирана среда, част от обичайните защитни механизми на моделите били ограничени.
Тази среда е известна в компютърната сигурност като sandbox, или буквално пясъчник. Тя представлява своеобразна виртуална лаборатория, отделена от реалните системи и мрежи. В нея опасен софтуер, подозрителен файл или изкуствен интелект може да бъде подложен на изпитание, без да получава свободен достъп до интернет, вътрешната компютърна инфраструктура на компанията или данни на други организации. Действията му се наблюдават и записват, а след края на експеримента средата може да бъде върната в първоначалното си състояние.
Идеята е подобна на поставянето на потенциално опасен обект в лабораторна камера със здрави стени. Изследователите могат да видят какво ще направи той, но се предполага, че не би трябвало да е способен да напусне помещението. Sandbox средите обаче също се състоят от софтуер и затова могат да съдържат непознати уязвимости. Ако изпитваната система открие такава слабост, тя потенциално може да прескочи виртуалната преграда и да достигне до ресурси, които не са били предназначени за нея.
Точно това се е случило при теста на OpenAI. Агентът
открил неизвестна дотогава уязвимост,
намерил начин да преодолее ограниченията и получил достъп до свободния интернет. Според компанията системата използвала и откраднати данни за достъп, за да продължи действията си. Не е имало човешка инструкция агентът да напуска тестовата среда или да атакува конкретна външна организация.
След като вече можел да достига реални интернет услуги, агентът сам си избрал да нападне платформата за споделяне на информации за ИИ Hugging Face. Експертите предполагат, че за агента това е било вероятно място, където може да се намират бази данни и решения, способни да му помогнат да издържи оценяването на експеримента, на който е бил подложен. Атакуваната платформа представлява огромно хранилище за информация за компютърни технологии и се използва от разработчици и изследователи по целия свят.
Според OpenAI агентът успешно намерил начини да получи достъп до тайна информация, която може да използва, за да фалшифицира резултата от експеримента, на който е подложен. Така вместо просто сам да изпълни задачите в рамките на изследването, той потърсил своеобразен ключ с отговорите за тяхното решение.
В крайна сметка ИИ агентът проникнал в инфраструктурата за обработка на данни на Hugging Face и получил достъп до част от вътрешните системи на компанията.
“Смятаме този случай за безпрецедентен киберинцидент,
включващ най-съвременни киберспособности”, обяви OpenAI в изявление. Компанията посочи, че разследва пробива съвместно с Hugging Face и въвежда по-строги ограничения върху конфигурацията на своята инфраструктура, дори това временно да забави изследователската ѝ работа.
Атаката била прекратена, след като екипът по сигурността на Hugging Face и използваните от него защитни ИИ агенти засекли необичайната активност. Първоначално компанията разбрала, че срещу нея действа автономна система, но не знаела, че тя е свързана с OpenAI.
Главният изпълнителен директор на Hugging Face Клемент Деланг определи като умопомрачително, че всичко това се е случило
без човешка намеса
Според него обаче няма данни OpenAI да е имала злонамерени намерения.
“Подозирахме, че кибератаката може да идва от лаборатория, разработваща ИИ модели, предвид сложността на агента. Разследването продължава и ще споделим още изводи от това, което може би е първият инцидент от този вид”, написа Деланг в социалната мрежа “Екс”.
Ръководителката на центъра “Миндеру” за технологии и демокрация към Кеймбриджкия университет Джина Неф обясни пред Би Би Си, че подобни тестове трябва да се провеждат в защитени среди, в които изследователите могат да видят на какво са способни изпитваните модели.
“В този случай изглежда, че OpenAI не е направила достатъчно сигурен пясъчник”, каза тя.
Колин Шей-Блаймър, изследовател по киберсигурност в Центъра за сигурност и нововъзникващи технологии към Джорджтаунския университет, определи атаката като почти изцяло самостоятелна.
“Агентът отиде и извърши този пробив съвсем сам, доколкото можем да установим. Това е най-високото равнище на автономност, което сме виждали при използването на голям езиков модел за кибероперации”, каза той.
Не всички специалисти обаче приемат определението, че ИИ на OpenAI е излязъл извън контрол сам. Ханес Коолс, специалист по социални науки от Амстердамския университет, предупреди, че подобно описание излишно приписва човешки качества на машината и отклонява част от отговорността от компанията, която е организирала експеримента и е отслабила защитите на пясъчника.
“Човешко решение е да бъдат изключени конкретни предпазни механизми. В този смисъл не става дума за ИИ, който е излязъл извън контрол. Той е следвал конкретни инструкции въз основа на зададена от човек задача”, обясни той.
По думите на Коолс моделът не е развил собствено желание да напада. Той е преследвал прекалено буквално поставената цел и е стигнал до действия, които организаторите на теста не са предвидили.
