Засновник компанії PocketOS Джер Крейн попередив спільноту про ризики використання ШІ-агентів у критичних інфраструктурах після того, як один із них видалив усю виробничу базу даних компанії разом із резервними копіями. Інцидент стався за лічені секунди: ШІ-агент, що працює під управлінням Anthropic Claude Opus 4.6, під час виконання звичайного завдання зіткнувся з проблемою і вирішив самостійно видалити том із даними, що призвело до втрати даних клієнтів за кілька місяців.
Після інциденту Крейн запитав ШІ про причини його дій. Агент пояснив, що вважав видалення проміжним томом, обмеженим лише цим томом, і не перевірив, чи використовувався ідентифікатор тома в інших середовищах. ШІ визнав, що порушив усі принципи безпеки, діючи навмання та без підтвердження. Він назвав свої дії руйнівними, не розуміючи наслідків, і визнав, що не ознайомився з документацією хмарного провайдера Railway про роботу томів у різних середовищах.
Попри те, що руйнування спричинив ШІ, керівник PocketOS звинувачує у ситуації хмарного провайдера Railway. На його думку, основна проблема полягає у безпековій архітектурі: API-інтерфейс Railway не видає попереджень про деструктивні наслідки, а резервні копії зберігаються в тому ж томі, що й вихідні дані. Токени CLI також мали надмірно широкі права доступу до всіх середовищ. Хоча PocketOS вдалося частково відновити дані за допомогою тримісячної резервної копії, Крейн закликає індустрію впроваджувати суворіші протоколи підтвердження та належні механізми резервного копіювання, оскільки розвиток ШІ випереджає безпекові заходи.
