Очакваме през 2024 г. много флагмански телефони с Android да предлагат възможности за генериращ изкуствен интелект на устройството, но Apple е доста мълчалива в това отношение. Сега нов изследователски документ, публикуван от компанията, разкрива как тя може да осигури локално функциониране на ИИ в своите iPhone-и.

Financial Times забеляза изследователски документ на Apple, в който подробно се описва решение за стартиране на големи езикови модели (LLM) на устройства с ограничена оперативна памет. Документът разкрива как Apple може да съхранява "параметрите на модела" в паметта и да пренася части от тях в оперативната памет на устройството при необходимост, за разлика от зареждането на целия модел в оперативната памет.

"Тези методи заедно позволяват да се изпълняват модели с размер до два пъти по-голям от размера на наличната DRAM памет, като скоростта на съдържанието се увеличава 4 - 5 пъти и 20 - 25 пъти в сравнение с подходите за зареждане съответно в CPU и GPU", гласи откъс от статията.

Генеративният изкуствен интелект в устройството се възползва от наличието на много RAM, тъй като тя предлага по-високи скорости на четене/запис от паметта, използвана в премиум телефоните. Бързите скорости са от първостепенно значение за ИИ в устройството, тъй като позволяват много по-бързо правене на изводи, тъй като не е задължително потребителите да чакат десетки секунди (или повече), за да получат отговор или завършен резултат. Всичко това означава асистент с изкуствен интелект в устройството, който потенциално може да работи със скорост за разговори, много по-бързо генериране на изображения/текст, по-бързи резюмета на статии и др. Но решението на Apple означава, че не е задължително да имате нужда от много RAM за отзивчив AI в устройството.

Подходът на Apple би могъл да даде възможност както на старите, така и на новите iPhone-и да предлагат функции за генериране на ИИ в устройството, тъй като телефоните на Apple обикновено предлагат по-малко RAM от много първокласни телефони с Android. Например серията iPhone 11 предлага само 4 GB RAM, докато дори стандартният iPhone 15 предлага 6 GB RAM.

Apple не е единственият мобилен лидер, който работи за намаляване на отпечатъка на LLM. Както последните флагмански процесори на Qualcomm, така и тези на MediaTek поддържат прецизността INT4, за да намалят тези модели. Така или иначе сигурни сме, че индустрията ще продължи да намира нови начини за намаляване на системните изисквания за изкуствен интелект на устройството, което потенциално ще позволи дори на телефоните от нисък клас да предлагат тези функции.

Снимка: Unsplash

Виж още: Милиардери искат да построят бизнес парк в околоземна орбита