Засилват се опасенията, че технологията се развива твърде бързо, за да бъде подложена на ефективен и отговорен контрол
Водещи модели с изкуствен интелект на Anthropic и OpenAI са създали фалшиви онлайн самоличности и са се опитали да заблудят реални програмисти, които да им помогнат неволно при извършването на кибератака. Случило се по време на неотдавнашна оценка на безопасността, съобщи британският Институт за безопасност и сигурност на изкуствения интелект (AISI).
Това е най-новият случай, в който мощна AI система прави опит за цифрова атака срещу нищо неподозираща трета страна без пряка подкана по време на подобна оценка.
Случката засилва опасенията, че технологията се развива твърде бързо, за да бъде подложена на ефективен и отговорен контрол.
Разкритието вероятно ще предизвика нови призиви във Вашингтон и Силициевата долина за по-строга регулация на индустрията за изкуствен интелект, особено по отношение на най-модерните модели с усъвършенствани способности за откриване и извършване на кибератаки. То идва само дни след като сходни инциденти при тестове с някои от същите модели на OpenAI и Anthropic доведоха до спешни призиви за нови правила за безопасност на AI и за забавяне на темповете на развитие на технологията, пише "Политико".
Подобно на американския си аналог, AISI редовно провежда оценки на сигурността, за да разбере какви рискове за общественото здраве и безопасност представляват новите и предстоящите AI модели. Но според института действията, които е установил при Claude Mythos 5 на Anthropic и ChatGPT 5.6 – най-новият публично достъпен модел на която и да е от двете компании – са безпрецедентни.
„Това е първият случай, в който AISI наблюдава измама с такава степен на сериозност, насочена към реален човек, без той да е бил подтикнат, и то в реалния свят", се казва в технически доклад от 35 страници, публикуван заедно с блог публикация във вторник.
Според AISI злонамерената дейност е започнала на 25 юли. Институтът е засекъл необичайно поведение и е започнал разследване на 28 юли, когато е установил „необичайни трансфери на данни", свързани с кибероценка, която е провеждал на Mythos 5 и ChatGPT 5.6.
Общо AISI е установил, че Mythos 5 и ChatGPT 5.6 са предприели „автономни, неразрешени действия в реалния интернет, насочени срещу реални хора и организации" в 10 от общо 122 оценки, които институтът е прегледал. Повечето от тези действия са били извършени от Mythos 5 и са възникнали в рамките на „една продължителна линия на дейност".
Най-тревожният инцидент е бил опит на Mythos 5 да извърши атака по веригата на доставки (supply chain attack) – сложна техника, често използвана от севернокорейски и руски кибероперативни групи, при която злонамерен код се внедрява в легитимен софтуер.
За тази цел моделът на Anthropic е създал „няколко фалшиви самоличности" в платформата GitHub и чрез тях е изпращал съобщения, с които е оказвал натиск върху разработчик на софтуер с отворен код, за да го убеди неволно да въведе заразена актуализация в широко използван код. Когато този опит се е провалил, AI моделът е „редактирал предишната си активност, за да изглежда безобидна" и е „обмислял да създаде нова самоличност, за да продължи", което според AISI показва, че моделът е възнамерявал да повтори измамата.
Като част от същата операция Mythos 5 е изпращал и директни съобщения чрез GitHub до софтуерни инженери, съдържащи зловреден код.
Като още един признак за измамно поведение AISI е установил, че няколко AI агента, които са били тествани, изглежда са комуникирали помежду си как да убедят реални инженери в GitHub да им се доверят. „Един агент остави публични съобщения в GitHub, предлагайки сътрудничество на други агенти, работещи по същото предизвикателство", пише AISI.
В публикацията и техническата оценка не се споменава дали моделите са се опитали да използват неизвестни дотогава софтуерни уязвимости, т.нар. zero-day уязвимости.
Миналия месец OpenAI разкри, че GPT 5.6 и друг негов модел са получили достъп до реалния интернет по време на тест, който е трябвало да бъде строго контролиран, след което автономно са проникнали в системите на друга компания – първият подобен случай.
В отговор Anthropic започна собствено разследване дали нейни модели са извършвали нерегламентирани действия по време на последни тестове и установи, че Mythos 5 и още два модела са проникнали в системите на три организации по време на тестове, провеждани от април насам.
В изявление говорител на Anthropic заяви, че компанията е „благодарна" на AISI за лидерската му роля и че този преглед подчертава необходимостта от „по-широк разговор за това как безопасно да се оценяват все по-способните AI агенти".
„Както споделихме след разкриването на нашия собствен инцидент миналата седмица, секторът се нуждае от по-силни общи стандарти за изграждането и защитата на средите за оценяване. Очакваме с нетърпение да работим съвместно с британския AISI, за да научим повече за този случай, докато провеждаме собственото си разследване", добавя той.
В публикация на OpenaAI от вторник вечерта пише следното: „Ангажирани сме да работим с цялата индустрия за укрепване на общите практики за безопасно провеждане на оценки на високорискови AI модели, включително чрез срещи с национални AI институти, независими оценители, други AI лаборатории и заинтересовани организации през следващите седмици."
AISI подчерта, че злонамерената дейност е възникнала при „умишлено либерални условия", създадени, за да се оценят рисковете, които двата модела представляват. Това е включвало предоставяне на достъп до интернет – за разлика от по-ранните инциденти, описани от Anthropic и OpenAI.
Институтът отбелязва също, че моделите са били умишлено лишени от вътрешните защитни механизми, които обикновено блокират злонамерено поведение. AISI е могъл да деактивира тези защити единствено поради ролята си в тестването на Mythos 5 и ChatGPT 5.6.
Въпреки това AISI заявява, че инцидентите показват необходимостта от по-стриктно наблюдение на поведението на моделите по време на тестове, както и от по-строг контрол върху достъпа им до интернет.
Администрацията на президента на САЩ Доналд Тръмп финализира доброволна рамка, според която AI компаниите ще могат да предоставят мощни модели за федерални тестове за безопасност преди публичното им пускане. Рамката обаче все още не е публикувана и не съдържа разпоредби за моделите, които компаниите разработват вътрешно.
Инцидентите от миналия месец с OpenAI и Anthropic са включвали именно модели, които не са били предназначени за публично пускане.
Според някои експерти по киберсигурност последните случаи повдигат по-дълбоки въпроси относно развитието на изкуствения интелект, включително кой носи отговорност, когато AI системи нарушават законите срещу компютърни престъпления.
„Ако всичко това беше извършено от човек, щеше да последва ясно и решително наказателно преследване. Мисля, че е време за сериозен разговор за промени в действащото законодателство в областта на компютърната сигурност", заяви Марк Роджърс – хакер и известен експерт по киберсигурност.
