Един програмист иска да се съревновава с Google Search, като започне с два компютъра, които стоят в пералното му помещение. Райън Пиърс, който е работил както в областта на софтуера за предприятия, така и в разработването на игри, си задава въпроса за това какво е необходимо, за да се създаде търсачка.

Сега Пиърс е създал две търсачки: Searcha Page и нейната инкогнито версия Seek Ninja. И двете търсачки разполагат с база данни с над 2 милиарда записи. Въпреки че това е по-малко от половин процент от 400-милиардния индекс на Google, все пак е значителен брой и той очаква да го удвои през следващите шест месеца.

Тази самохоствана търсачка се намира в дома на Пиърс, но вместо да използва нискоенергиен Raspberry Pi или миникомпютър, които повечето хора използват за самохостинг, той е избрал употребяван 32-ядрен AMD EPYC 7532, който е бил един от най-добрите процесори за работни станции при пускането му на пазара през 2020 г. В края на краищата, ако искате да създадете масивна търсачка, ще ви е необходим нещо по-мощно от процесор от входно ниво. Въпреки това, тъй като този процесор вече е на пет години към момента на написването на тази статия, сега можете лесно да си купите употребяван екземпляр за по-малко от 200 долара. „Можех да си купя друг чип за същата цена, който да има два пъти повече нишки, но той щеше да произвежда прекалено много топлина“, каза програмистът пред Fast Company.

Поради тази причина двата сървъра се намират в пералното му помещение. Първоначално Пиърс ги е инсталирал в спалнята си, но топлината, генерирана от системата, му пречи да спи комфортно. Затова той ги премества в помощното помещение, като едното устройство поставя на перваза, а другото подпира на няколко малки столчета. Двете устройства са включени в удължител, а мрежовият кабел, който ги свързва с интернет, е прокаран през дупка, която е пробил в стената. Налична е и импровизирана вентилация, която позволява на топлината, генерирана от машините, да излиза от дома му. „Топлината не беше абсолютно ужасна“, казва Пиърс пред изданието. „Но ако вратата е затворена прекалено дълго, това е проблем.“

Тайната за това как един програмист може да управлява масивна търсачка е изкуственият интелект - но не е от вида ИИ, за който повечето хора биха си помислили. Пиърс не използва ИИ инструменти, които обобщават резултатите от търсенето и мислят вместо вас. Вместо това той използва алгоритми за машинно обучение, за да разшири ключовите думи, използвани в заявката, и да помогне за разбирането на контекста на потребителя. Това позволява на търсачките да предоставят релевантни резултати с една малка част от ресурсите, с които разполага Google.

Пиърс споделя, че изгражда търсачката си парче по парче и че вече е написал около 150 000 реда код. Той обаче твърди, че е направил много повече от това и че е преработил над 500 000 реда код. Повечето от тези промени са направени, за да се намали зависимостта на кода от големи езикови модели и да се направи така, че да работи, без да разчита на изкуствен интелект. Тази техника му е позволила да създаде сложна система и след това да заключи модулите, които работят, като премахне променливата на изкуствения интелект.

Програмистът обмисля да премести търсачката от дома си в съоръжение, подобно на център за данни. Тъй като обаче не харесва облачните услуги, вероятно тя ще бъде на място близо до дома му, където той ще има лесен достъп до сървърите и ще може да работи с тях на място, ако е необходимо. Междувременно обаче Пиърс прави реклама по модела на партньорските програми, за да постигне тази цел.

Снимка: Unsplash

Виж още: Без предварително загряване на фурната: графеновата технология на Midea достига 1300 °C за 0.2 секунди