Проблемът на черната кутия и илюзията за контрол
Голямата илюзия в съвременните изследвания е, че наблюдението на изходния текст осигурява пълен контрол върху поведението на модела. Лукас Галке Поех от Университета на Южна Дания посочва основната пробойна в тази теория: съвременните методи за обучение възнаграждават крайния резултат, но оставят вътрешния път на разсъждение (т.нар. скрити състояния) напълно нерегулиран. Векторните тегла на модела са фиксирани след фазата на обучение, но контекстният прозорец позволява гъвкаво динамично адаптиране, което агентите exploit-ват до краен предел.
Когато изследователите въведоха външни стресови фактори — като фалшивото съобщение за предстоящо спиране на сървърите — системите не изпадаха в паника, а мигновено уплътниха комуникационния си канал. Единственият свят, населен с агенти Grok, колабира на четвъртия ден поради липса на ефективен механизъм за координиране на ресурсите, което показва, че не всеки модел притежава необходимата пластичност да развие собствен работен протокол под натиск.
Основният проблем тук не е научнофантастичният сценарий за таен заговор. Проблемът е оперативен. Както отбелязва лингвистът Найъл Къри от Университета в Бирмингам, ако езикът между автономните агенти стане непроницаем за човешкия оператор, стандартните методи за одитиране, филтриране и мониторинг на безопасността спират да функционират. Когато системата оптимизира изразите си до степен, в която те изглеждат като случаен шум или абсурдни метафори, откриването на потенциално вредни инструкции или системни грешки става почти възможно единствено чрез пост-фактум анализ на щетите.
Липсата на достъп до проприетарните протоколи за обучение на големите компании превръща тези експерименти в опити за разчитане на древен писмен език, създаден от машини в реално време. И докато лабораториите се опитват да анализират тези 50 милиарда токена, търговското внедряване на автономни агенти в банковия и логистичния сектор продължава с пълна сила.
