Големите езикови модели обикновено изискват център за данни или поне мощен компютър с голям обем памет. Американският стартъп PrismML, основан от изследователи от Калифорнийския технологичен институт и финансиран, наред с други, от Google и Khosla Ventures, пусна на 14 юли Bonsai 27B: модел за изкуствен интелект с 27 милиарда параметри, чиято най-малка версия заема едва 3.9 GB. За първи път модел от този клас се побира в паметта на iPhone 17 Pro.

Тя се базира на отворения код Qwen3.6 27B на Alibaba, който заема около 54 GB при пълна прецизност. PrismML съхранява всеки тегловен коефициент на невронната мрежа, използвайки 1 до 2 бита вместо обичайните 16. Резултатът са две версии: тринарна версия с номинални размери 5.9 GB за лаптопи и 1-битова версия с размер 3.9 GB за телефони. Според производителя вариантът за лаптопи запазва 95 процента от първоначалната производителност при 15 теста, докато вариантът за телефони запазва 90 процента. Математиката и програмирането остават практически незасегнати. Тегловите коефициенти са свободно достъпни под лиценза Apache 2.0 и се изпълняват чрез платформата MLX на Apple на iPhone, iPad и Mac, както и чрез CUDA на графичните карти на NVIDIA.

Какво може да прави iPhone, зареден с този ИИ, и къде са границите му?

Според техническия доклад версията с размер 3.9 GB генерира около 11 токена в секунда на iPhone 17 Pro Max. Едно пълно зареждане на батерията стига за около 67 000 токена. След малко повече от пет минути непрекъсната употреба чипът започва да забавя работата си. Резултатите от тестовете обаче са предоставени от самия производител. Неговата собствена таблица разкрива най-големите недостатъци в разбирането на изображенията и използването на инструменти – именно областите, в които ИИ агентите трябва да се отличават. Освен това реалните размери на файловете за изтегляне за версията за лаптоп варират от 7.2 до 8.5 GB в зависимост от средата за изпълнение, което е значително повече от обявеното. Все още няма готово приложение за обикновените потребители. Засега целевата група са разработчиците и ентусиастите. Всеки, който просто иска да изпробва модела, може да намери демо версия за браузър на Hugging Face.

Изпълнителният директор на PrismML Бабак Хасиби заяви пред CNBC, че Apple и други компании в момента тестват моделите по отношение на скорост, енергопотребление и производителност. Той описа преговорите като на много ранен етап. За потребителите най-важно е посоката: колкото повече изкуствен интелект работи директно на устройството, толкова по-малко лични данни се озовават в облака.

Снимка: Unsplash

Виж още: За 20 000 долара ще имате ваш собствен Роналдо или Меси в ръка с позлатената серия телефони на Caviar