Як уникнути хибних відповідей штучного інтелекту: досвід використання Perplexity AI

Останнім часом штучний інтелект став невід'ємною частиною наукових досліджень та повсякденного життя. Однак користувачі часто стикаються з проблемою недостовірних відповідей та «галюцинацій» AI. Дослідник Вілліс Ешенбах, який активно використовує систему Perplexity AI, розробив комплексний підхід до вирішення цієї проблеми.

За словами Ешенбаха, будь-який штучний інтелект може «галюцинувати» — видавати неправдиву інформацію, заповнювати прогалини власними припущеннями або некритично повторювати поширені, але неперевірені твердження.

Для подолання цих обмежень дослідник створив набір чітких інструкцій. Першим важливим правилом стала заборона прямого цитування Wikipedia, хоча дозволяється використовувати першоджерела, на які посилається енциклопедія. Це пов'язано з тим, що статті у Wikipedia може редагувати будь-хто, що робить їх ненадійним джерелом інформації.

Ешенбах рекомендує надавати перевагу емпіричним спостереженням та первинним даним з авторитетних джерел перед модельними прогнозами чи популярними наративами. При обговоренні наукових тем важливо чітко розрізняти безпосередньо спостережувані факти (з похибками вимірювань), статистично виведені тренди (з довірчими інтервалами) та теоретичні проєкції або моделі.

Для кожного твердження необхідно вказувати конкретне авторитетне джерело (наприклад, NOAA, NASA, рецензовані дослідження з DOI), включаючи обмеження методології та будь-які суперечливі висновки. Не варто повторювати твердження лише тому, що вони широко цитуються — кожне твердження потребує незалежної перевірки за допомогою спостережних даних та першоджерел.

При аналізі трендів важливо вказувати часовий проміжок вихідних даних і чітко зазначати, чи існує статистично значущий тренд. Якщо даних недостатньо для однозначних висновків, це також має бути явно зазначено.

Для суперечливих тем рекомендується представляти повний спектр доказів з надійних джерел, а не лише популярні інтерпретації. Усі фактичні твердження повинні перевірятися за допомогою первинних баз даних (Google Scholar, PubMed, Scopus) з посиланням на безпосереднє джерело.

Ешенбах радить відповідати лише на конкретно поставлене запитання, використовуючи прямі емпіричні докази та першоджерела. Не варто включати проєкції, моделі, гіпотетичні результати чи непрямі наслідки, якщо про це не просять явно. Якщо прямих емпіричних доказів не існує, це слід чітко зазначити.

Дослідник також розробив рекомендації щодо формулювання запитів до AI. Важливо бути максимально чітким і конкретним у своїх запитаннях, оскільки розпливчасті або неоднозначні запити часто призводять до широких або неправильних відповідей. Необхідно визначати точно, що потрібно, включаючи контекст, обмеження та обсяг питання.

Для складних або широких тем рекомендується розбивати запит на менші, керовані частини. Це зменшує ймовірність «галюцинацій» і забезпечує точну відповідь на кожен аспект. Корисно також явно просити AI базувати свою відповідь на відомих даних, цитувати джерела або узагальнювати з встановлених звітів.

Ешенбах зазначає, що при дослідженні наукових тверджень він часто використовує двоетапний пошук: спочатку запитує про наукові джерела на підтримку твердження, а потім про джерела, які критикують його.

Проте навіть з усіма цими запобіжними заходами повністю уникнути «галюцинацій» та неправдивих відповідей неможливо. Як зауважує дослідник, все одно необхідно перевіряти надані джерела і робити власні висновки.

Розроблений підхід виявився ефективним для різноманітних завдань — від наукових досліджень до перевірки достовірності мемів у соціальних мережах. Ешенбах демонструє, як за допомогою AI можна швидко перевірити автентичність вірусного контенту, використовуючи архіви видалених дописів та незалежні факт-чекінгові ресурси.