Повечето чатботове с изкуствен интелект се нуждаят от огромна изчислителна мощ - толкова голяма, че обикновено се намират в облака. Разбира се, можете да стартирате ChatGPT на вашия компютър или дори на Raspberry Pi, но локалната програма изпраща вашите подкани по интернет до сървърите на OpenAI, за да получат отговор. Някои LLM (Large Language Models - големи езикови модели) могат да работят локално, но изискват мощен графичен процесор с много VRAM. Не бихте могли да стартирате локално чатбот на мобилно устройство?

Или всъщност бихте могли?

Съвсем нов проект с отворен код, наречен MLC LLM, е достатъчно лек, за да работи локално на почти всяко устройство, дори на iPhone или стар лаптоп. И след като инсталирате MLC LLM, можете да изключите интернет, защото всички данни и обработка се извършват във вашата система.

MLC означава Machine Learning Compilation (Компилация за машинно обучение) - процес, който разработчиците на този проект са използвали, за да намалят модела и да го направят лесен за обработка. Същата група изследователи, които се наричат MLC AI, имат сроден проект, наречен Web LLM, който изпълнява чатбота изцяло в уеб браузъра. Проектът включва и допълнения от програмата Catalyst на университета Carnegie Mellon, изследователската група за машинно обучение SAMPL и Вашингтонския университет, университета Shanghai Jiao Tong и OctoML.

MLC LM използва Vicuna-7B-V1.1, олекотен LLM, който е базиран на LLaMA на Meta и е обучен през март и април 2023 г. Програмата не е толкова добра, колкото GPT3.5 или GPT4, но е доста прилична, като се има предвид нейният размер.

В момента MLC LLM е достъпен за Windows, Linux, macOS и iOS с лесни за следване инструкции, публикувани от основателите на проектите на техния сайт, и пълен изходен код, достъпен в GitHub. Все още няма версия за Android.

Има много причини, поради които наличието на локален чатбот би било за предпочитане пред използването на хоствано в облака решение като ChatGPT. Данните ви остават локални, така че поверителността ви е непокътната, не се нуждаете от достъп до интернет, за да го използвате, и може да имате по-голям контрол върху резултатите.

Няма да намерите MLC LLM в App Store. Докато версиите за персонални компютри могат да се инсталират от всеки, версията за iOS изисква да използвате TestFlight, системата за разработчици на Apple, на вашето устройство и има ограничение от 9000 потребители на iOS, които могат да инсталират тестовото приложение по едно и също време. Можете също така да го компилирате сами от изходния код. Предполага се, че ще работи на всеки iPhone, iPad или iPod Touch, който работи с iOS 13 или по-висока версия, но според нашия опит изисква едно от по-мощните устройства на Apple с много RAM.

След като инсталирате Miniconda, стартирайте Anaconda Prompt (версия на командния промпт, която работи с Conda) и използвайте набора от инструкции на mlc.ai, за да създадете среда, наречена mlc-chat, и да изтеглите езиковия модел в нея. Моделът Vicuna-7B-V1.1 заема само 5.7 GB място за съхранение, а останалата част от проекта използва още около 350 MB.

Чатботът се стартира в прозорец с команден ред. За да го стартирам, трябваше да активирам средата mlc-chat conda и да въведа командата mlc_chat_cli. Когато стартирате чатбота на MLC LLM, той първо ви пита за името ви. След това ви поздравява и ви пита как може да ви помогне, а вие можете да му задавате въпроси.

Вие сте на ход.

Снимка: Unsplash

Виж още: Нов малуер за Mac на име AMOS е насочен към пароли, лични файлове и крипто портфейли