/Поглед.инфо/ Универсална невронна мрежа, която в редица способности е сравнима с ChatGPT и Gigachat при значително по-малък размер, е разработена от учени от Новосибирския държавен университет . Според плановете на авторите, невронната мрежа ще може да отговаря на потребителски въпроси в базата данни с текстови документи, да решава проблеми с автоматичното обобщаване и повишаване на разбираемостта на текста, да подобрява разпознаването на реч и много други, каза пресслужбата на университета.

Изследователи от Новосибирския държавен университет (НДУ) създадоха невронната мрежа на езика Meno, кръстена на един от Сократовите диалози на Платон, в който древногръцкият философ постулира своята концепция за „познание чрез припомняне“.

„Основната цел на „Мено“ е да бъде част от диалогова система, в която знанията на невронната мрежа за граматиката и семантиката на руския език се комбинират със знанията за света около нас, представени във външен корпус от текстове. Лъвският дял от вътрешните невронни връзки в езиковите невронни мрежи се пада точно върху представянето на знания за света, следователно такава комбинация ще позволи на разработчиците на диалогови системи да се задоволят с по-малка невронна мрежа и по този начин значително да намалят разходите за работа с тези системи, “, каза изследовател от Лабораторията по приложни цифрови технологии към Факултета по механика и математика на НДУ, съосновател на стартъпа Siberian Neural Networks Иван Бондаренко.

Авторите на "Menon" взеха за основа китайската невронна мрежа на архитектурата "Quen" и я обучиха на специално съставен набор от повече от 700 хиляди задачи на руски език и примери за правилното им изпълнение. Това позволи на разработчиците да „потопят“ невронната мрежа в руския културен контекст (например оригиналната „Quen“ често позволяваше йероглифи в отговорите си, дори ако въпросите бяха зададени на чист руски). В допълнение, това помогна да се развият точно онези способности на невронната мрежа, които са най-полезни, когато се интегрират с външна база от знания, отбеляза ученият.

„Процесът на учене на „Мено“ е организиран на принципа „от просто към сложно“, което отчасти напомня процеса на учене на дете и позволява на невронната мрежа, подобно на истинско живо дете, да „поддържа вътрешен интерес“ ” в придобиването на нови знания”, каза Иван Бондаренко.

Резултатите от тестовете на невронната мрежа Menon бяха официално публикувани в отворения бенчмарк (с други думи, проблемна книга) MERA, създадена за оценка на качеството на съвременните „рускоезични“ модели на невронни мрежи на общ изкуствен интелект.

„Книгата с проблеми се състои от повече от 20 задачи, които са насочени към тестване на различни способности на рускоезичните невронни мрежи, като здрав разум, логически разсъждения, извличане на информация, полезна за отговор на въпрос от текста, и т.н.. В решението на тези задачи се състезават "чудовища”, като GPT-4o, Gigachat, гигантски отворени невронни мрежи с десетки милиарди параметри, а нашата невронна мрежа е с размер само на милиард и половина параметри, десетки пъти по-малка от другите, но изглежда доста добре“, подчерта ученият.

Той отбеляза, че средната стойност за общите способности като „способността да се извлича полезна информация от текста и да се използва, за да се отговори на въпроси“, „способност за разсъждение“, „здрав разум“, „математически способности“ и дори „разбиране на доброто и злото“ Невронната мрежа Menon се нарежда на 38-мо място от 62 модела, представени в MERA, и на първо място в класа си по размер - до милиард и половина параметри.

„По отношение на способността си да се справи със задачата MultiQ, свързана с избора на текст, който е най-подходящ за въпроса и да отговори на въпроса за този текст, нашата невронна мрежа е значително по-добра от средната. Тя се нарежда на 25-то място и дори надминава Gigachat с порядък по-малко междуневронни връзки, това позволява на невронната мрежа не само да разбере за какво се пита, но и да открие информацията, необходима за отговор на въпроса в свободен текст от външен текстов корпус“, подчерта Иван Бондаренко.

Той добави, че Менон също се представя добре при решаването на проблеми на Тери Уиноград („Чашата не се побираше в куфара, защото беше твърде голяма. (Той - куфар ли е или чаша?“), завършвайки 17-ти и надминавайки вече GPT-4o от OpenAI . Според него тази задача е важна за разрешаването на прономинална анафора, когато се отговаря на въпроси като „Ректорът на НГУ е Михаил Петрович Федорук, известен учен в каква област на науката е специализиран?“ Тук местоимението „той“ трябва да бъде заменено със собствено име, за да се повиши точността на автоматичното търсене на текстове в текстов корпус, съдържащ информация, полезна за отговор на такъв въпрос.

В бъдеще разработчиците на невронни мрежи планират да развият проекта Menon в две посоки: приложна и научна. Като част от приложното направление те планират да създадат невронна мрежа „асистент“, която ще позволи на кандидатите да изберат подходяща посока за прием в НГУ и да подадат необходимите документи правилно и навреме, а студентите да разберат тънкостите на организирането на учебния процес в университета.

Като част от научното направление изследователите ще подобрят механизма за обучение на невронната мрежа „от просто към сложно“ и ще повишат нейната устойчивост на фалшиви корелации между входните и целевите фактори в набора за обучение.

Развитието на невронната мрежа беше подкрепено и от програмата Priority 2030.

Превод: ПИ