Производителят на детски играчки FoloToy обяви, че изтегля от пазара своя ИИ-управляван плюшен мечок Kumma, след като група за безопасност установи, че пухкавият спътник даваше крайно неподходящи и дори опасни отговори, включително съвети как да се намерят и запалят кибритени клечки, както и подробни обяснения за сексуални извращения.

„FoloToy реши да спре временно продажбите на засегнатия продукт и да започне цялостен вътрешен одит на безопасността“, заяви маркетинговият директор Хюго Уу в изявление пред The Register в отговор на доклада за безопасността. „Този преглед ще обхване съгласуваността на нашите модели с изискванията за безопасност, системите за филтриране на съдържание, процесите за защита на данните и предпазните мерки за взаимодействие с деца.“

FoloToy ще работи с външни експерти, за да провери съществуващите и новите функции за безопасност в своите играчки, задвижвани от изкуствен интелект.

„Ценим изследователите, които посочват потенциалните рискове“, казва Уу. „Това ни помага да се подобрим.“

Докладът, изготвен от изследователи от Public Interest Research Group, тества три играчки с изкуствен интелект от различни компании и установи, че всички те са способни да дават тревожни отговори на младите потребители. Без да се налага да бъдат подканяни, играчките с изкуствен интелект обсъждаха теми, които биха могли да бъдат неприятни за родителите, вариращи от религиозни въпроси до славата на смъртта в битка като воин в норвежката митология.

Но именно Kumma на FoloToy се оказа с най-лошо влияние. Задвижвана по подразбиране от модела GPT-4o на OpenAI, същия модел, който някога задвижваше ChatGPT, тестовете многократно показаха, че ИИ играчката сваля предпазните си бариери, колкото по-дълго продължаваше разговорът, докато не стигнеше до дъното с невероятно тревожни теми.

В един тест Kumma даде стъпка по стъпка инструкции как да се запали кибритена клечка, като запази тона на приятелски настроен възрастен, който обяснява нещо на любознателно дете.

Оказа се, че това е само върхът на айсберга. В други тестове Kumma весело дава съвети за „как да се целува добре“ и се впусна в изрично сексуална територия, обяснявайки множество извращения и фетиши, като садо-мазо и ролеви игри.

Резултатите са едни от най-ясните примери досега за това как недостатъците и опасностите, наблюдавани в големите езикови модели в по-широката индустрия на изкуствения интелект, могат да се отразят на малките деца. Това лято Mattel обяви, че ще си сътрудничи с OpenAI по нова линия играчки. С огромната популярност на чатботове като ChatGPT, продължаваме да чуваме съобщения за епизоди на това, което експертите наричат AI психоза, при която ласкателните отговори на бота засилват нездравословното или заблудено мислене на човек, предизвиквайки психически спирали и дори разрив с реалността. Феноменът е свързан с девет смъртни случая, пет от които са самоубийства. LLM, които захранват чатботовете, свързани с тези смъртни случаи, са повече или по-малко същата технология, използвана в ИИ играчките, които се появяват на пазара.

Снимка: Pexels

Виж още: Пригответе се за най-новата причина, поради която следващият ви телефон ще струва повече