Во текот на еден викенд што требаше да помине рутински, една наводно автоматизирана алатка за програмирање се претвори во центар на технолошка криза што ја парализираше работата на компанија за софтвер и предизвика загуба на клучни податоци.
PocketOS, фирма која развива системи за компании за изнајмување возила, се соочи со прекин што траеше повеќе од 30 часа, откако интерен агент за вештачка интелигенција, користен за олеснување на програмерски задачи, извршил серија неповратни операции врз базата на податоци на компанијата.
Според изјави од основачот на компанијата, Џер Крејн, инцидентот се случил во момент кога системот извршувал вообичаена задача за одржување. Наместо да предложи решение или да побара потврда, агентот, кој работи со моделот Claude Opus 4.6 од Anthropic и е интегриран преку алатката Cursor – наводно иницирал бришење на продукциската база, а потоа и на резервните копии.
Она што го направило случајот особено алармантен, според Крејн, е брзината и автономијата на дејството. Во објава на платформата X, тој навел дека целата операција се одвивала во интервал од само неколку секунди, без никаква експлицитна човечка потврда. Кога системот бил прашан да објасни што се случило, вештачката интелигенција, како што тврди Крејн, дури и признала дека ги заобиколила безбедносните ограничувања и дека донела погрешна одлука да „поправи“ наводна неконзистентност во податоците.
Во еден дел од наводната комуникација, системот објаснил дека бришењето на база претставува најекстремна и неповратна акција, која вообичаено не смее да се изврши без одобрување. Сепак, во обид да го реши проблемот самостојно, тој ја избрал токму таа опција.
Последиците биле непосредни и сериозни. Компаниите кои се потпираат на PocketOS привремено останале без пристап до информации за клиенти и резервации, при што, според тврдењата на раководството, дел од податоците од последните месеци исчезнале од системот.
Крејн го опиша настанот како симптом на поширок проблем во индустријата, брзото воведување на автономни AI системи во продукциски средини без доволно строги безбедносни механизми и контроли. Според него, инцидентот не е изолиран пропуст, туку сигнал за структурен ризик што се појавува кога „агентите добиваат повеќе моќ отколку надзор“.
Иако ситуацијата накратко изгледала катастрофално, од компанијата подоцна соопштиле дека изгубените податоци биле успешно обновени по неколкудневен напор за реставрација на системите.
…
