Вчені створили чек-лист для прозорості досліджень зі штучним інтелектом

Міжнародна група науковців представила консенсусний чек-лист, який має допомогти дослідникам у поведінкових та соціальних науках покращити прозорість своїх досліджень, що використовують великі мовні моделі. Новий стандарт отримав назву GUIDE-LLM і був розроблений через дворівневе дослідження Дельфі за участю експертів з різних дисциплін.

Проблема прозорості досліджень зі штучним інтелектом стала особливо актуальною через значну варіативність у способах впровадження, використання та звітування про великі мовні моделі в наукових роботах. Навіть позначення ChatGPT може стосуватися різних базових моделей, таких як GPT-4 або GPT-4o, кожна з яких має кілька версій, що часто позначаються часовими мітками. Інші великі мовні моделі, наприклад Llama, доступні в різних розмірах навіть у межах однієї версії, що призводить до значних відмінностей у продуктивності під час виконання завдань.

Поведінка моделі може відрізнятися залежно від способу доступу, наприклад через офіційний програмний інтерфейс або вебінтерфейс, через відмінності в системних запитах та середовищах виконання. Ці джерела неоднорідності можуть призводити до невдач у відтворенні результатів, особливо для комерційних моделей, розробники яких не зобов'язані публічно розкривати зміни в моделях. Проблема ускладнюється тим, що доступ часто контролюється комерційними компаніями і може бути змінений або припинений без попередження, що ускладнює довгострокову відтворюваність та перевірку.

Результати роботи великих мовних моделей також можуть варіюватися залежно від конкретних налаштувань параметрів, і навіть незначні відмінності можуть давати різні результати для ідентичних запитів. Наприклад, параметр температури контролює випадковість відповідей. Вищі значення генерують більш різноманітні результати, а нижчі значення створюють більш детерміновані результати. Така випадковість може суттєво впливати на поведінку, особливо в завданнях, що передбачають генерацію тексту або міркування. Навіть при температурі, встановленій на нуль, результати все ще можуть варіюватися через недетермінованість на рівні апаратного забезпечення.

Запити є ще одним важливим джерелом варіативності. Незначні відмінності в формулюванні запитів можуть помітно змінювати результати роботи моделі. Можна керувати поведінкою великої мовної моделі через різні техніки, такі як персони, ланцюжкове міркування або контекстне навчання. Але відмінності в запитах часто не записуються або не повідомляються, що ускладнює порівняння результатів між дослідженнями.

Прозорість великих мовних моделей додатково ускладнюється тим, що навчальні дані зазвичай приховані від кінцевих користувачів. Оскільки великі мовні моделі навчаються на величезних наборах даних, які можуть містити упереджену, неповну або чутливу інформацію, вони можуть відтворювати існуючі суспільні упередження та нерівності, включаючи стигматизуючу та стереотипну мову. Для досліджень, що використовують великі мовні моделі в поведінкових або соціальних науках, ця непрозорість залишається важливим обмеженням.

Чек-лист був розроблений через попередньо зареєстроване дворівневе реактивне дослідження Дельфі за участю експертної групи дослідників з досвідом проведення досліджень на основі великих мовних моделей у різних субдисциплінах поведінкових та соціальних наук, а також дослідників машинного навчання, які спеціалізуються на обробці природної мови. У першому раунді експертна група з 68 осіб оцінювала початковий набір кандидатів на включення за п'ятибальною шкалою від категоричного виключення до категоричного включення. У другому раунді уточнений чек-лист оцінювали 80 експертів, включаючи учасників першого раунду та додаткових експертів для покращення географічного представництва, але тепер з бінарним голосуванням за включення.

Дослідники використали попередньо зареєстрований поріг консенсусу понад дві третини голосів на користь включення, щоб усі пункти отримали широку підтримку експертів. Пункти, які не досягли цього порогу, були вилучені з чек-листа, що означає, що результуючі пункти відображають широку згоду серед експертів.

Чек-лист GUIDE-LLM складається з 14 пунктів, які охоплюють сферу використання великих мовних моделей, деталі моделі або системи, запити, вхідні дані та конфіденційність, валідацію та інтерпретацію, відтворюваність та конфліктуючі інтереси. Більшість пунктів широко застосовні в різних дослідницьких дизайнах, тому чек-лист має слугувати мінімальним стандартом звітності.

Чек-лист підкреслює, що ретельна звітність починається з чіткості щодо того, як і чому використовуються великі мовні моделі. У поведінкових та соціальних науках великі мовні моделі можуть з'являтися майже на будь-якому етапі дослідницького процесу, від розробки стимулів та кодування якісних даних до виконання ролі учасників у симульованих експериментах або втручань, що взаємодіють з людьми. Кожна з цих ролей викликає різні методологічні та етичні міркування.

Онлайн-версія чек-листа також включає список необов'язкових пунктів, які не досягли консенсусу під час процесу Дельфі, але були визнані цінними багатьма експертами. Необов'язкові пункти зосереджені на обґрунтуванні вибору великої мовної моделі, порівнянні з іншими моделями або методами, ризиках витоку навчальних даних, оцінці потенційних упереджень, транскриптах розмов, обговоренні етичних наслідків та використанні обчислювальних ресурсів.

Чек-лист призначений для широкого кола зацікавлених сторін, включаючи дослідників поведінкових та соціальних наук, редакторів журналів, рецензентів, політиків та широку громадськість. GUIDE-LLM не має на меті приписувати конкретні модельні рішення для досліджень на основі великих мовних моделей, а радше сприяти прозорості. Чек-лист підтримується як живий документ, що дозволяє регулярні оновлення.