Всеки, който някога е прекарвал месеци наред в прашни архиви или е прослушвал стотици часове магнетофонни записи от теренни проучвания, познава физическата умора от работата с необработен човешки разказ. Хората не говорят като добре структурирани бази данни, нито подреждат мислите си в спретнати логически кутийки с начало, среда и край. В един и същи абзац от разговор човекът срещу теб може да започне с оплакване от ниското заплащане в болницата, да прескочи към липсата на марли в склада, да вметне иронична забележка за новия софтуер за отчитане на смените и да завърши с въздишка за собственото си здраве. За опитния изследовател този хаос е самата тъкан на реалността, в която интонацията, паузата и контекстът тежат повече от самите думи. За съвременния алгоритъм обаче този поток от съзнание е просто суровина, която трябва да бъде нарязана, претеглена по честота на срещане на отделните лексеми и изсипана в предварително зададени статистически кошници. Именно срещу тази удобна илюзия за автоматизирано прозрение се изправят изследователите от Колумбия, щата Мисури, където журналисти, специалисти по анализ на данни и преподаватели по здравни грижи обединяват усилия, за да проверят какво всъщност вижда машината, когато чете човешки думи.
Проблемът с досегашното използване на генеративни модели в хуманитарните и социалните науки се корени в липсата на единен измерител за качеството на техните изводи. Докато при превода на текст или писането на програмен код грешката лъсва веднага, в качествените изследвания една добре звучаща машинна обобщена справка лесно може да мине за дълбоко научно откритие. В лабораторни условия екипът, воден от доцент Чау Тонг от Училището по журналистика в Мисури и Института за наука за данни и информационни науки, разработва системата AURA, което представлява одит за съответствие и полезност при оценяването на тематичния анализ. Вместо да се възхищават на скоростта, с която софтуерът бълва резюмета, учените разделят проверката на два строго прагматични критерия. Първият измерва чисто механичното съвпадение между темите, които алгоритъмът е извлякъл от текстовете, и онези, които живите изследователи са открили при самостоятелно четене. Вторият критерий обаче е далеч по-безпощаден и проверява дали предложените от машината категории изобщо вършат някаква работа на терен, тоест дали помагат за реалното решаване на изследвания проблем или просто произвеждат гладка, но безполезна интелектуална мъгла.
Тестът в реална среда
За да не остане методологията само на хартия, авторите на проучването я тестват върху конкретен, натоварен с професионално напрежение масив от данни, състоящ се от тридесет и две задълбочени интервюта с преподаватели, практикуващи медицински сестри и студенти. Темата на разговорите засяга собствения им сблъсък с генеративния изкуствен интелект в ежедневната им работа и обучение, което прави експеримента двойно по-остър. Медицинските сестри са хора, чието ежедневие минава под постоянен натиск от недостиг на кадри, тежки дежурства и административна бюрокрация, така че техните отговори са наситени с професионален жаргон, скрит скептицизъм и специфични нюанси. Преди да пуснат машината в текста, живите изследователи прочитат, кодират и структурират всичките тридесет и две беседи по класическия, бавен и трудоемък начин, като в крайна сметка отделят дванадесет основни тематични ядра. Едва след като човешката карта на разговорите е напълно завършена и запечатана, същите текстови файлове се подават на алгоритъма, за да се види какво ще извади той без външна намеса.
На пръв поглед статистиката изглежда впечатляващо и сякаш потвърждава оптимизма на технологичните компании, тъй като софтуерът успява да улови единадесет от дванадесетте големи теми, набелязани от учените. Ако изследването беше спряло дотук, то щеше да се превърне в поредния рекламен дитирамб за мощта на изчислителните центрове. Когато обаче екипът навлиза в детайлите на машинното подреждане, се разкриват сериозни пробойни в теорията за автоматизирания анализ. Оказва се, че алгоритъмът се държи като старателен, но напълно неразбиращ архивар, който сортира документите само по заглавията и повтарящите се печати. В едни случаи моделът наблъсква няколко коренно различни човешки проблема в една огромна, безформена категория, само защото участниците са използвали сходни думи, за да опишат различни ситуации. В други моменти машината прави точно обратното и раздробява една-единствена, цялостна мисъл на няколко дребни, несвързани помежду си парчета, защото събеседникът е сменил изразните средства по средата на разказа си.
Доцент Джон Робърт Баутиста от Училището по медицински сестри в Мисури обръща внимание именно на тази структурна особеност на живата реч, която препъва електронните системи. В истинския разговор хората непрекъснато се връщат назад, поправят се, добавят уточнения към въпрос, зададен преди двадесет минути, или използват сарказъм, чийто смисъл е обратен на буквалното значение на думите. Алгоритъмът може да служи като приличен общ работник, който да изрине грубия строителен отпадък и да направи първоначално пресяване на хиляди страници суров текст, но той не притежава житейския и професионалния опит, за да разбере защо дадено изречение е казано с половин уста. Както отбелязва и докторантът Темитопе Ейинла от Института за наука за данни и информатика, по време на целия експеримент системата не е успяла да предложи нито едно ново, оригинално прозрение, което да е убягнало на човешките изследователи. Машината просто преподрежда вече известното в статистически вероятни комбинации, без да има способността да забележи липсващото звено в разказа или премълчаната истина между редовете.
