Едно от нещата, с които Марк Зукърбърг може да се похвали относно Meta и социалните мрежи и приложения под тази организация, е разнообразието на поддържани езици. Както всички знаем, платформите всячески се опитват да въведат начини, които да преодоляват езиковите бариери между потребителите. Но при приблизително 7000 известни езика в света една доста значителна част (4 на всеки 10) съществуват без придружаващ писмен компонент. Тези неписани езици представляват уникален проблем за съвременните системи за превод с машинно обучение, тъй като те обикновено трябва да преобразуват вербална реч в писмен вид, преди да извършат превода, и да върнат текста обратно в реч. Meta обаче може би е намерила разрешение на проблема: част от програмата на Meta's Universal Speech Translator (UST) работи за разработване на превод на реч в реално време, така че обитателите на Metaverse да могат по-лесно да си взаимодействат. Като част от този проект изследователите на Meta разгледаха Hokkien - неписан език, говорен из цяла Азия и един от официалните езици на Тайван. За да се обучават, системите за превод с машинно обучение обикновено изискват обширни писмени и говорими примери за етикетиране на езика – точно това, което неписаните езици като Hokkien нямат. „За да преодолеем това, използвахме превод на реч към единица (S2UT), за да преобразуваме входната реч в поредица от акустични единици директно в пътя, въведен преди това от Meta“, обясни изпълнителният директор Марк Зукърбърг в публикация в блог миналата седмица. „След това генерирахме вълнови форми от единиците. В допълнение UnitY беше приет за механизъм за декодиране с две преминавания, където декодерът за първо преминаване генерира текст на сроден език (мандарин), а декодерът за второ преминаване създава единици. Използвахме мандарин като междинен език, за да изградим псевдоетикети, където първо преведохме английска (или Hokkien) реч на мандарин текст, а след това преведохме на Hokkien (или английски) и го добавихме към данните за обучение“, продължи той. Моделът може да превежда само едно пълно изречение наведнъж, но Зукърбърг е убеден, че техниката в крайна сметка може да се приложи към повече езици и ще се подобри до степен да предлага превод в реално време.  

В допълнение към моделите и данните за обучение, които Meta вече извлича от този проект с отворен код, компанията пуска и първа по рода си система за сравнителен анализ на превод от реч към реч, базирана на речеви корпус на Hokkien, наречен Taiwanese Across Taiwan, както и „речевата матрица, голям корпус от преводи от реч към реч, извлечени с иновативната техника за извличане на данни на Meta, наречена LASER“, обяви Зукърбърг. Тази система ще даде възможност на изследователите да създават свои собствени системи за превод от реч към реч (S2ST). 

Снимки: Unsplash

Виж още: Метавселената на Meta: едно празно и тъжно място