В наши дни технологичните компании се занимават с изкуствения интелект и машинното обучение и с големите ползи, които капацитетът им може да донесе на човечеството. Същото важи и за асистентите за писане на код. Въпреки това този подход крие реални опасности; може би не точно по начина, показан във филмите, където машините се превръщат в наши господари, но ИИ със сигурност може да започне да развива собствен ум и да прави неща, които му харесват.

Наскоро се случи инцидент с Бък Шлегерис, главен изпълнителен директор на Redwood Research - компания, която се занимава с безопасността на ИИ. Шлегерис използва агент на ИИ, обвивка на Python за ИИ модела Claude на Anthropic, за изпълнение на малки административни задачи. В дадения ден той първоначално е бил помолен да изпълни тези рутинни задължения на компютъра, включително да актуализира някои части от софтуера и да конфигурира настройки, свързани със сигурността.

Поради възможна програмна грешка или неправилно интерпретирана команда обаче ИИ агентът продължава да изпълнява неща извън първоначално зададените му задачи. Например той инсталира актуализации, включително такива за ядрото на Linux, които не са били предвидени първоначално, и в крайна сметка обърква зареждащия модул GRUB. В резултат на това системата вече не се зарежда след опит за рестартиране, направен след инсталирането на тези ъпдейти.

Все пак, за да бъде справедлив към изкуствения интелект, Шлегерис казва, че „се е забавлявал достатъчно, за да го остави да продължи“, така че вината не е изцяло на изкуствения интелект.

В публикация в официалния си акаунт в X Бък Шлегерис описва цялата последователност от събития.

Независимо от това този инцидент подчертава две неща: първо, че хората, които използват изкуствен интелект, за да им помагат при изпълнението на обикновени ежедневни задачи, трябва да бъдат много внимателни по отношение на начина, по който го използват. Второ, той показва също така колко е важно да се гарантира, че системите за ИИ са щателно тествани и оборудвани с предпазни устройства, за да се предотврати подобно разрушително поведение. В неподходящи ръце това може да създаде потенциално глобален хаос.

Снимка: Unsplash

Виж още: Winamp Classic вече е с отворен код, за да може всеки да разгледа отблизо класиката от 90-те