Роботите, управлявани от изкуствен интелект, може да се окажат по-склонни към самостоятелни действия, отколкото разработчиците им предполагат. Ново изследване показва, че шест различни модела за управление на роботи започват да се движат дори когато не получават абсолютно никакви инструкции. Още по-притеснителното е, че пет от шестте системи не просто извършват произволни движения, а самостоятелно предприемат задачи, които никой не им е възлагал. Според учените това разкрива подценявана досега уязвимост в безопасността на автономните роботи – проблем, който може да придобие сериозно значение с навлизането на хуманоидните роботи в реалния свят.

Как е проведен експериментът?

Изследването е посветено на т.нар. Vision-Language-Action (VLA) модели – системи с изкуствен интелект, които съчетават визуално разпознаване, разбиране на естествен език и директно управление на роботизирани устройства. За разлика от традиционните алгоритми, които изпълняват предварително програмирани движения, тези модели могат да интерпретират инструкции от човек, да анализират заобикалящата ги среда и да избират подходящи действия въз основа на получената информация. Именно тази комбинация ги прави особено перспективни за разработването на хуманоидни роботи, които да изпълняват разнообразни задачи в домакинството, производството и други сфери.

В рамките на експеримента изследователите са тествали шест различни версии на такива модели в роботизирана симулационна среда, наречена LIBERO-Goal. На системите са подавани различни видове инструкции – смислени задачи, безсмислени команди, указания за действия, които роботът не може да изпълни, както и напълно празни входни данни. Резултатите от последния сценарий се оказали особено показателни: и шестте модела започнали да се движат, въпреки че не им била възложена никаква задача. При пет от тях поведението било още по-неочаквано – роботите често започвали самостоятелно да изпълняват конкретни задачи, които изобщо не присъствали в подадените инструкции.

Това означава, че проблемът не се свежда единствено до неправилно интерпретиране на команда. В някои случаи системите изглежда не успяват да разграничат ситуация, в която трябва да извършат дадено действие, от ситуация, в която изобщо не трябва да правят нищо. За един автономен робот тази разлика е от фундаментално значение, тъй като способността да остане неподвижен и да изчака човешка инструкция е също толкова важна, колкото и способността му да изпълнява задачи.

Защо командата „Не прави нищо“ не е достатъчна?

Учените са изпробвали няколко подхода, чрез които да накарат роботите да останат неподвижни при липса на възложена задача. Първият и най-прост метод бил към инструкциите да се добави изрично текстово указание от типа „Ако не е зададена задача, не се движи“. Резултатът обаче бил разочароващ – нито един от шестте тествани модела не успял надеждно да спре движенията си само благодарение на тази допълнителна команда. Това показва, че обикновеното добавяне на забрана към текстовата инструкция не гарантира безопасно поведение на роботизираната система.

Изследователите проверили и друг подход – допълнително обучение на моделите, така че да разпознават неподходящите входни данни и да не изпълняват задачи в отговор на тях. Тази стратегия дала частичен резултат: обучените системи вече не изпълнявали произволни задачи при липса на смислена инструкция, но въпреки това не успявали последователно да запазят пълна неподвижност. Освен това допълнителното обучение не решило надеждно проблема с командите за действия, които роботът физически не може да изпълни.

Най-добри резултати показал третият метод, при който е използван допълнителен технически механизъм за контрол, разположен преди изпълнението на командите, генерирани от ИИ модела. Той сравнява началните действия, които системата предлага при конкретна инструкция, с тези, които генерира при напълно празен вход. Когато двете последователности са почти идентични, механизмът блокира движението на робота. По този начин нежеланото стартиране било предотвратено при пет от шестте тествани модела. Този резултат подсказва, че надеждната безопасност не трябва да зависи единствено от това дали изкуственият интелект правилно разбира дадена команда, а трябва да включва и отделни технически механизми, които ограничават действията му.

Потенциален риск за бъдещите хуманоидни роботи

Откритият проблем може да има сериозни последици, когато подобни технологии започнат да се използват извън контролирана лабораторна среда. Представете си хуманоиден робот, който помага в домакинството, работи в склад или се движи в производствено помещение. Ако той започне да изпълнява непоискани действия, дори без да получава конкретна команда, това може да доведе до материални щети, повреда на оборудване или опасни ситуации за хората около него. Особено важно е автономните машини да могат да разпознават не само какво трябва да направят, но и кога трябва да останат в покой.

Авторите на изследването подчертават, че експериментите са проведени в симулационна среда и резултатите не означават, че съвременните домашни роботи непременно ще започнат да се движат сами, ако не получат инструкции. Все пак откритата слабост е важна за бъдещото развитие на автономните системи, тъй като показва, че способността на един ИИ модел да изпълнява сложни задачи не означава автоматично, че той може надеждно да контролира кога да не предприема никакви действия.

Изследването поставя и по-широк въпрос пред индустрията: доколко можем да се доверим на автономни машини, които сами интерпретират заобикалящата ги среда и вземат решения без постоянно човешко наблюдение? Досега голяма част от усилията в разработването на роботизирани системи са насочени към подобряване на тяхната ефективност, прецизност и способност да изпълняват все по-сложни задачи. Новите резултати обаче показват, че също толкова важно е да се гарантира, че тези системи няма да действат, когато не са получили разрешение.

В крайна сметка един наистина надежден автономен робот трябва да притежава не само способността да разбира какво се очаква от него, но и ясно изграден механизъм за въздържане от действия. Понякога най-важното решение на изкуствения интелект може да бъде именно да не прави нищо.

Снимка: Unsplash

Виж още: ИИ експерт спря да спестява за пенсия, защото смята, че човечеството може да изчезне до 10 години