Екипът [EXO Labs] демонстрира нещо доста забележително: модифицирана версия на Llama 2 (голям езиков модел), която работи под Windows 98. Защо точно тази версия? Защото, когато става въпрос за персонални компютри, ако нещо може да работи на Windows 98, то може да работи на всичко. Още по-точно: ако нещо може да работи на Windows 98, то е нещо, което никоя технологична компания не може да контролира как използвате, независимо колко голяма или влиятелна е тя.

Какво е да стартирате LLM в Windows 98?

Освен трудностите, свързани с намирането на съвместими периферни устройства (връщане към PS/2 порта за свързване) и прехвърлянето на необходимите файлове (FTP през Ethernet) или дори компилирането (изисква се известно портване на код), работи може би по-добре, отколкото може да се очаква.

Машина с Windows 98, процесор Pentium II и 128 MB RAM генерира бързо 39,31 жетона в секунда с модел Llama 2 с 260 000 параметри. Много по-голям 15M модел генерира 1,03 токена в секунда. Бавно, но работи. Още по-големият модел също ще работи, но все по-бавно. Има видеоклип в X, който показва всичко това в действие.

Вярно е, че съвременните LLM имат милиарди параметри, така че тези модели са малки в сравнение с тях. Но това не означава, че те не могат да бъдат полезни. Моделите могат да бъдат шокиращо малки и въпреки това да са напълно съгласувани и да осигуряват изненадващо добри резултати, ако обучението и „работата“ им са достатъчно тесни, а инструментите, с които да направите това сами, са всички в GitHub.

Тук е моментът да споменем, че този конкретен проект (и текущите усилия по него) е част от набор от дванадесет проекта на EXO Labs, насочени към гарантиране, че неща като моделите на изкуствен интелект могат да се управляват навсякъде и от всеки, независимо от технологичните гиганти, които се стремят да държат всички конци.

Снимка: Unsplash

Виж още: Соларният чадър на Anker ви пази от дъжд и слънце, докато зарежда телефона ви