Ако вашата геймърска машина прекарва по-голямата част от живота си в бездействие в наши дни, няколко стартиращи компании биха били готови да ви платят нещо близко до минималната заплата за времето ѝ на престой. Базираната в Абу Даби Far Labs и базираната в Остин, щата Тексас, Evolving Edge изграждат пазари, за да прехвърлят ИИ изчисления към неизползван потребителски хардуер.
Far Labs планира да пусне своята платформа Far AI през следващите седмици, като твърди, че е с латентност от 100 ms или по-малко, докато Evolving Edge провежда отворена бета-версия. „Представете си Uber или Airbnb, но за задачи за ИИ изчисления“, каза Илман Шажаев, основател и главен изпълнителен директор на Far Labs, пред изданието. И двете компании се насочват към по-малки модели с отворен код, а не към натоварвания от граничен мащаб и се присъединяват към утвърдени играчи, включително базираната в американския щат Юта платформа Salad, която изброява над 60 000 ежедневно активни потребителски графични процесора в мрежата си.
Собственият планировчик на Far Labs разделя модела на части, разпределени на множество машини, а оркестратор и балансьор на натоварването след това сглобяват частичните изходи в отговор. Evolving Edge разпределя задачи с Ray, рамката с отворен код, използвана в конвенционалните центрове за данни.
Допускането на непознат да работи на вашата лична машина очевидно е свързано с някои рискове за собствениците на хардуера, като например попадане на злонамерен код на устройството или достъп на лицето отсреща до локални файлове. Решението на двете фирми за това е изолация, като изводът работи като изолирано работно натоварване с криптирана комуникация и твърди ограничения за графичния процесор, процесора, паметта, съхранението и достъпа до мрежата. Клиентите нямат директен достъп до хост машината, а Evolving Edge е предоставила с отворен код своя софтуер за възли, така че хостовете могат да одитират какво се изпълнява на техния хардуер.
Salad продава потребителски графични процесори на клиенти на цени, започващи от 0.02 долара на час, а собственикът на картата вижда само частица от така генерираните суми, след като платформата вземе своя дял. Salad нашумя през 2021 г., когато мрежата добиваше Ethereum, като според пазарни оценки от тогава компанията е генерирала приблизително 3.6 милиона долара от потребителските компютри, като е разпределила 500 000 долара награди, което се равнява на около 14 цента на долар за хората, доставящи хардуера.
Разходите за електроенергия изяждат каквото е останало. RTX 4090 консумира от 350 до 450 вата при постоянно натоварване, приблизително от 40 до 50 долара на месец при цена от 0.15 долара за kWh, ако картата работи денонощно, така че платформа, която печели по-малко от това, на практика плаща за привилегията да има работа. Засега не са ясни процентите на изплащане за нито една от новите платформи.
И двамата основатели посочват, че разпределените мрежи преодоляват повреди, които иначе парализират централизираните облаци. Джон Федерико, основател и главен изпълнителен директор на Evolving Edge, посочи прекъсването на AWS миналия октомври, което остави свързаните с интернет интелигентни легла заседнали в изправено положение, и казва, че неговата мрежа може да загуби 100 от 250 000 възела „и това няма да има значение“.
Снимка: Unsplash