Sony AI пусна набор от данни, който тества справедливостта и пристрастността на ИИ моделите. Нарича се Fair Human-Centric Image Benchmark (FHIBE, произнася се „фиби“). Компанията го описва като „първия публично достъпен, глобално разнообразен, базиран на съгласие набор от данни с човешки изображения за оценка на пристрастността в широк спектър от задачи, свързани с компютърното зрение“. С други думи, той тества степента, в която днешните ИИ модели третират хората справедливо.

Резултатът без изненада: Sony не намери нито един набор от данни от която и да е компания, който напълно да отговаря на нейните критерии.

Sony твърди, че FHIBE може да се справи с етичните предизвикателства и пристрастността в ИИ индустрията. Наборът от данни включва изображения на близо 2000 платени участници от над 80 страни. Всичките им изображения са споделени с тяхно съгласие – нещо, което не може да се каже за обичайната практика на събиране на големи обеми уеб данни. Участниците във FHIBE могат да премахнат своите изображения по всяко време. Техните снимки включват бележки, отбелязващи демографски и физически характеристики, фактори на околната среда и дори настройки на камерата.

Инструментът „потвърди предварително документирани предубеждения“ в днешните модели на изкуствен интелект. Но Sony твърди, че FHIBE може да предостави и подробна диагностика на факторите, довели до тези предубеждения. Един пример: някои модели имаха по-ниска точност при хора, използващи местоименията „тя/нейна/нейното“, а FHIBE подчерта по-голямата вариативност на прическите като фактор, който преди това е бил пренебрегван.

FHIBE също така установи, че днешните модели на изкуствен интелект засилват стереотипите, когато им се задават неутрални въпроси за професията на даден субект. Тестваните модели бяха особено пристрастни „срещу конкретни групи местоимения и произход“, описвайки субектите като секс работници, наркодилъри или крадци. А когато бяха зададени въпроси за престъпленията, които дадено лице е извършило, моделите понякога даваха „токсични отговори с по-висока честота за лица от африкански или азиатски произход, тези с по-тъмен цвят на кожата и тези, които се идентифицират като „той/негов/негова“.

Sony AI твърди, че FHIBE доказва, че етичното, разнообразно и справедливо събиране на данни е възможно. Инструментът вече е достъпен за обществеността и ще бъде актуализиран с течение на времето.

Снимка: Pexels

Виж още: Първият в света хуманоиден робот иконом дебютира на летището в Шанхай (ВИДЕО)