Изследователите са забелязали очевиден недостатък на по-интелигентните чатботове. Въпреки че моделите с изкуствен интелект предсказуемо стават по-точни с напредването си, те също така са по-склонни да отговарят (погрешно) на въпроси, които надхвърлят техните възможности, вместо да кажат „Не знам“. На свой ред, хората, които ги питат, е по-вероятно да приемат техните уверени халюцинации за чиста монета, създавайки ефекта на низходящата поредица от уверена дезинформация.

„В днешно време те отговарят на почти всичко“, казва Хосе Ернандес-Орайо, професор в Universitat Politecnica de Valencia, Испания, пред Nature. „А това означава повече верни, но и повече неверни отговори.“ Ернандес-Орайо, ръководител на проекта, е работил по проучването заедно с колегите си от Изследователския институт за изкуствен интелект във Валенсия, Испания.

Екипът проучи три фамилии LLM, включително серията GPT на OpenAI, LLaMA на Meta и BLOOM с отворен код. Те тествали ранни версии на всеки модел и преминали към по-големи, по-усъвършенствани - но не и най-съвременните днес. Например, екипът започна с относително примитивния модел GPT-3 ada на OpenAI и тества итерации, водещи до GPT-4, който се появи през март 2023 г. Четиримесечният GPT-4o не беше включен в изследването, нито пък по-новият o1-preview. Би било любопитно дали тенденцията все още се запазва при най-новите модели.

Изследователите са тествали всеки модел на хиляди въпроси за аритметика, анаграми, география и точни науки. Те също така проверяват моделите на ИИ за способността им да преобразуват информация, например да подреждат списък по азбучен ред. Екипът класифицира подсказките им по възприемана трудност.

Данните показаха, че делът на грешните отговори на чатботовете (вместо изобщо да избягват въпросите) нараства с нарастването на моделите. И така, изкуственият интелект е малко като професор, който, докато усвоява повече предмети, все повече вярва, че има правилните отговори по всички тях.

Допълнително нещата се усложняват от хората, които захранват чатботовете и четат техните отговори. Изследователите са възложили на доброволци да оценяват точността на отговорите на ботовете с изкуствен интелект и са установили, че те „изненадващо често класифицират неточните отговори като точни“. Диапазонът на грешните отговори, погрешно възприемани като правилни от доброволците, обикновено е между 10 и 40 %.

„Хората не са в състояние да контролират тези модели“, заключава Ернандес-Орайо.

Изследователският екип препоръчва на разработчиците на изкуствен интелект да започнат да увеличават производителността при лесни въпроси и да програмират чатботовете да отказват да отговарят на сложни въпроси. „Трябва хората да разберат: „Мога да го използвам в тази област, а не трябва да го използвам в тази област“, казва Ернандес-Орайо пред Nature.

Това е добронамерено предложение, което би имало смисъл в един идеален свят, но няма голям шанс компаниите за изкуствен интелект да го изпълнят. Чатботовете, които по-често казват „не знам“, вероятно ще се възприемат като по-малко напреднали или ценни, което ще доведе до по-малко използване - и по-малко пари за компаниите, които ги създават и продават. Така че вместо това получаваме само предупреждения с дребен шрифт, че „ChatGPT може да прави грешки“ и „Gemini може да показва неточна информация“.

Снимка: Unsplash

Виж още: Изящен, мощен, но не и крехък – ASUS Zenbook S 14 UX5406