Когато се премахнат маркетинговите епитети от съобщенията за пресата, реалността на лабораториите остава непроменена. Архитектурата на съвременните невронни мрежи от години страда от един основен физически и икономически лимит: класическият механизъм за внимание в Трансформърс класифицира и обработва данните с квадратична изчислителна сложност. Колкото по-дълъг е текстът или последователността от данни, толкова по-драматично скачат изискванията към хардуера, консумацията на ток и температурният режим на сървърните стелажи. Поради тази причина от години се търсят алтернативи, базирани на така нареченото линейно внимание, където изчислителният ресурс расте линейно, а не квадратично.
И тук идва проектът ASI-Arch. Вярно е, че системата е извършила 1773 независими експеримента, генерирайки код, променяйки вътрешни топологии и тествайки резултатите без пряка човешка намеса. Но трябва да се разбере как точно функционира този процес на терен. Това не е интуитивно откритие. Това е брутална машина за изпитания, която прекарва хиляди хипотези през цедката на контролните тестове. От първоначалните 1773 варианта, точно 1350 преминават през базовия филтър. След това процесът се с свива до 150 варианта, за да се стигне до 105 архитектури, показващи статистически значимо подобрение при тестове с модели от 340 милиона параметъра.
Зад цялото това упражнение стоят приблизително 20 000 часа работа на графични процесори (GPU hours), от които 10 000 часа са отишли единствено за фазата на предварително проучване. Превърнато в реална инфраструктура, това означава стотици модерни ускорители, работещи на пълна мощност, огромно количество отделена топлина и сметки за ток, които малко независими изследователски екипи могат да си позволят. В този смисъл ASI-Arch не показва толкова "интелект", колкото факта, че когато вкараш достатъчно чипове в една задача, можеш да съкратиш десетилетия човешки опити и грешки до няколко седмици непрекъсната хардуерна работа.
Най-добрият получен вариант подобрява средния резултат на модела DeltaNet с 0.97 процентни пункта. На хартия това звучи скромно, почти като грешка в измерването. В света на алгоритмите за обработка на последователности обаче това е почти три пъти по-голям скок от постигнатия при създаването на Mamba2 – една от най-изчистените и ефективни архитектури, проектирани от хора през последните години. За да се потвърди, че това не е просто случайно напасване към конкретните данни, петте най-добри варианта са били скалирани до модели с 1.3 милиарда параметъра и подложени на 16 независими теста, включително върху набори от данни, които никога не са били показвани на системата в ранните етапи. Резултатите са се запазили.
Интересното в случая не е самият факт, че алгоритъм е подобрил друг алгоритъм. Нещо подобно вече бе наблюдавано в по-ранни академични разработки около генетичните алгоритми и търсенето на архитектури (NAS). Новото е моделът на поведение. Анализът на спечелилите 105 архитектури показва една и съща повтаряща се структура: системата изоставя монолитните, елегантни решения, предпочитани от хората математици, и започва да изгражда множество паралелни пътища за обработка на информацията. След това тя добавя механизъм за динамичен избор, който в реално време определя кой път да използва в зависимост от входните данни.
