Това е логика, която за човешкия инженер често изглежда тромава, претрупана и трудна за математическо доказателство. Но за силиция тя работи. Моделът гъвкаво комбинира локален контекст с дългосрочни зависимости, без да се опитва да спазва естетическите правила на академичното програмиране. Нещо повече, изследователите са опитали да пренесат намерените от ASI-Arch принципи към съвсем различни семейства модели – като Mamba2, GLA и HGRN2. Резултатът е бил подобряване на показателите и при тях, което подсказва, че системата е напипала фундаментален модел за оптимизация, а не просто изолиран трик.
Тук обаче трябва да се вкара сериозна доза аналитичен скептицизъм. Всяко подобно постижение бързо бива превръщано в медиен лозунг за идването на изкуствен общ интелект. Документите и реалните данни сочат нещо много по-ограничено. ASI-Arch работи в строго дефиниран пясъчник. Тя не знае какво е контекст извън подадените векторни пространства, не разбира смисъла на данните и не може да излезе от рамката на зададената оптимизационна функция. Нейното предимство се измерва по специфични бенчмаркове за последователности, а не по цялостна производителност или гъвкавост в реалния свят.
Историята на компютърните науки е пълна с подобни епизоди. Преди десетилетия, когато автоматизираното проектиране на интегрални схеми за първи път надмина ръчните чертежи на инженерите, мнозина обявиха края на човешката роля в микроелектрониката. Реалността бе друга – хората просто се преместиха едно ниво по-горе в абстракцията. ASI-Arch прави точно това с невронните мрежи. Тя превръща писането на архитектурния код от занаятчийско изкуство в инженерна рутина, управлявана от изчислителни ресурси.
Истинският въпрос, който остава след този експеримент, не е дали машините ще заменят изследователите, а доколко архитектурите, генерирани от алгоритми, ще станат толкова сложни и оплетени, че хората напълно да загубят способността си да ги анализират и одитират. Когато един алгоритъм комбинира десетки паралелни пътища за данни въз основа на статистическа ефективност, той създава архитектурен "черен кутия". Влизаме във фаза, в която компютрите проектират системи, които работят безупречно, но никой в заседателната зала не може да обясни с молив на лист защо точно функционират по този начин.
Проектът ASI-Arch демонстрира, че машините могат самостоятелно да трупат опит за това кои промени в дизайна дават резултат и кои отпадат още в началните етапи. Това съкращава разходите за грешки и прави търсенето на нови модели изключително бързо. Но то също така показва, че бъдещето на изкуствения интелект все повече се определя от това кой разполага с достатъчно финансови ресурси, за да изгори 20 000 часа графично време за един-единствен експеримент. Всичко останало са просто красиви приказки за пред публиката.
