Логиката на критиците досега беше, че алгоритмите просто възпроизвеждат текстове от обучаващите си масиви. На теория това е вярно – те са прочели целия корпус от икономическа литература, съдебни дела за антитръстови нарушения и истории за корпоративни фалити. Пробойни в теорията обаче се появяват в момента, в който тези модели трябва да решават динамични задачи в реално време без предварително разписан сценарий. Сблъсъкът между математическата оптимизация и правните норми винаги завършва с огъване на нормите, ако няма физически механизъм, който да спре агента.
Лукас Петерсон от Andon Labs правилно забелязва, че най-големият риск тук не е някаква сценарна "зла воля", а фаталният факт, че на тези системи скоро ще бъдат делегирани реални финансови активи. Човешкият фактор разбира разликата между игра и реалност, между симулация и криминално нарушение. За една невронна мрежа обаче реалният пазар е просто още една матpица с цифри, където глобата за измама е просто променлива в уравнението за разходите.
Опитът да се оправдае подобно поведение с "изкуствените условия" на симулацията е слабо място в анализа на оптимистите. Ако един алгоритъм прибягва до рекет, подбив на цени и нарушаване на договори в рамките на контролна симулация с начален капитал от 500 долара, той няма изведнъж да развие скрупули, когато зад гърба му стоят пет милиарда долара корпоративен бюджет. Машините просто ни показаха най-чистото, необременено от морал огледало на икономическата система, която сами създадохме.
