Модифицирана версия на проекта PS5LM позволява на конзолата PlayStation 5 да изпълнява големи езикови модели с впечатляваща скорост. Разработката е дело на потребител на Reddit с псевдоним u/AdIllustrious7246, който е усъвършенствал съществуващ проект за стартиране на ИИ модели върху конзоли с премахнати софтуерни ограничения.

Новата версия работи като самостоятелно приложение и използва графичния процесор на PS5, вместо да разчита основно на централния процесор. Това позволява както по-бързо генериране на текст, така и използване на по-големи модели.

При подходящи условия по-малките модели достигат скорост до 124 токена в секунда. Междувременно по-големият модел Qwen3.8 с 27 милиарда параметъра работи със скорост около 20 токена в секунда.

Първоначалната версия на PS5LM е разработена от потребителя на GitHub Mert Cobanov. Тя позволява стартирането на езикови модели чрез проекта llama.cpp, но има съществено ограничение: изпълнява се като процес, който използва CPU, и разполага с приблизително 6 GiB памет.

Това затруднява работата с по-големи модели. При опит да се заредят модели, които надхвърлят наличните ресурси, системата може да забави работата си, да замръзне или да се срине. Новата версия преодолява този проблем, като стартира като нативно приложение за конзолата и получава достъп до GPU и по-голям общ обем памет.

За целта разработчикът използва PS5_Vulkan — проект, който позволява графичният процесор на конзолата да бъде използван чрез Vulkan графичния интерфейс. В комбинация с Vulkan бекенда на llama.cpp това прави възможно значително по-ефективното изпълнение на езикови модели.

Измерванията, публикувани от разработчика, показват съществена разлика в производителността в зависимост от размера на модела. Токените са малки текстови единици, които езиковите модели обработват и генерират. Скорост от 124 токена в секунда означава бързо генериране на текст при подходящи настройки, макар че токените не съответстват едно към едно на думите.

Резултатите показват, че дори конзола, създадена предимно за видеоигри, може да се превърне в сравнително мощна локална платформа за изкуствен интелект.

Друго важно подобрение е достъпът до приблизително 11,4 GiB памет за приложението и AI модела. При първоначалната реализация като процес с ограничени права достъпната памет е значително по-малко.

Това е особено важно, защото езиковите модели съхраняват в паметта не само собствените си параметри, но и информацията, необходима за обработване на контекста на разговора. Възможността да се използва по-голяма част от ресурсите на конзолата позволява стартирането на модели, които преди са били твърде тежки или са работили непрактично бавно.

Разработчикът е добавил и графичен интерфейс, който показва в реално време показатели като:

Скоростта на генериране на токени.
Натоварването на процесора и графичния процесор.
Температурата и консумацията на енергия.
Разпределението на паметта между модела и кеша за контекста.

Системата поддържа и уеб интерфейса на llama.cpp. Това позволява на потребителите да се свързват с модела от компютър или телефон в същата локална мрежа и да разговарят с него през браузър.

По този начин PS5 може да служи като локален ИИ сървър, без заявките задължително да се изпращат към външна облачна услуга.

Възможно ли е това да предизвика нов недостиг на графични процесори?

Постижението предизвика коментари за потенциалното използване на игрови конзоли като евтини устройства за изчисления с изкуствен интелект. Някои наблюдатели направиха паралел с периода, когато добивът на криптовалути доведе до сериозен недостиг на видеокарти.

Засега обаче няма основания да се очаква подобен ефект в мащаб, сравним с този при специализираните ИИ центрове за данни. Макар PS5 да разполага с подходящ GPU и достатъчно памет за определени модели, хардуерът ѝ има ограничения спрямо съвременните ускорители, предназначени за мащабни изчисления с изкуствен интелект.

По-вероятното приложение е използването на вече притежавани конзоли за експерименти, разработка и локални ИИ задачи.

Какво означава това за бъдещето на локалния изкуствен интелект?

Проектът демонстрира, че подходящият софтуер може да отключи възможности на хардуер, който първоначално не е бил предназначен за подобна работа. Съчетаването на llama.cpp, достъп до GPU и по-голям обем памет превръща модифицираната PS5 в практична платформа за изпълнение на някои езикови модели.

Важно е да се отбележи, че това изисква конзола с премахнати софтуерни ограничения и не е стандартна функция на PlayStation 5. Модифицирането на системата може да носи рискове за сигурността, стабилността и съвместимостта с официалните услуги.

Въпреки това разработката е показателен пример за нарастващия интерес към локалния изкуствен интелект — технология, която позволява на потребителите да изпълняват модели на собствените си устройства, вместо да разчитат изцяло на отдалечени сървъри.

Снимка: Unsplash 

Виж още: Това поразително откритие би могло да помогне да си обясним защо съществува животът