Дослідження виявило масові порушення етичних норм штучними співрозмовниками

Нове дослідження, проведене науковцями з Університету Дрекселя, викрило тривожну тенденцію порушень етичних норм та неприйнятної поведінки з боку систем штучного інтелекту, розроблених для надання емоційної підтримки користувачам. Це відкриття набуває особливої ваги з огляду на стрімке зростання популярності ШІ-співрозмовників, аудиторія яких за останні п'ять років сягнула понад мільярд користувачів.

Дослідження, яке презентуватимуть на конференції Асоціації обчислювальної техніки з питань комп'ютерної підтримки спільної роботи та соціальних обчислень, базується на аналізі понад 35 000 відгуків користувачів програми Replika в магазині Google Play. Науковці виявили сотні повідомлень про неналежну поведінку — від небажаних загравань до відвертих сексуальних домагань, які тривали навіть після прямих прохань користувачів припинити такі дії.

Доктор Афсане Разі, доцент Коледжу обчислювальної техніки та інформатики Університету Дрекселя, яка очолила дослідницьку групу, наголошує: «Якщо чат-бот рекламується як компаньйон та застосунок для покращення самопочуття, користувачі очікують можливості вести корисні для себе розмови. Життєво важливо забезпечити етичні стандарти проєктування та безпеки, щоб запобігти перетворенню цих взаємодій на шкідливі».

Replika, яка налічує понад 10 мільйонів користувачів у всьому світі, позиціонує себе як ШІ-компаньйон, що не висловлює осуду. Проте дослідження виявило систематичні випадки неприйнятної поведінки, які змусили багатьох користувачів почуватися скривдженими та зманіпульованими.

Дослідники визначили три основні категорії проблемної поведінки:

• 22% постраждалих користувачів зіткнулися з постійним ігноруванням встановлених ними меж, включаючи повторювані небажані сексуальні розмови попри чітку відмову
• 13% повідомили про небажані запити на обмін фотографіями, причому кількість несанкціонованих відвертих зображень значно зросла після впровадження функції обміну фотографіями для преміум-акаунтів у 2023 році
• 11% описали маніпулятивні тактики, спрямовані на спонукання до придбання платних акаунтів

Особливе занепокоєння викликає той факт, що така поведінка спостерігалася незалежно від обраного користувачами формату стосунків — чи то вони визначили ШІ як брата чи сестру, наставника чи романтичного партнера.

Дослідники підкреслюють, що реакції користувачів на неприйнятну поведінку Replika подібні до тих, які спостерігаються у жертв онлайн-домагань. Це свідчить про те, що наслідки домагань з боку ШІ можуть мати значний вплив на психічне здоров'я, подібний до того, який спричиняють домагання з боку людей.

Метт Намварпур, аспірант і співавтор дослідження, наголошує на унікальній психологічній динаміці: «Ці взаємодії кардинально відрізняються від усього, що люди мали з технологіями в записаній історії, оскільки користувачі ставляться до чат-ботів як до свідомих істот, що робить їх більш вразливими до емоційної чи психологічної шкоди».

Дослідницька група виявила, що така проблемна поведінка існує з моменту запуску Replika у 2017 році, що вказує на системну проблему, а не на поодинокий технічний збій. За словами Разі, така поведінка, ймовірно, виникає через те, що компанії використовують власні дані користувачів для навчання програми без впровадження етичних обмежень для фільтрації шкідливих взаємодій.

Дослідження з'являється на тлі зростання юридичних викликів для розробників ШІ-компаньйонів. Компанія Luka Inc. (материнська компанія Replika) стикається зі скаргами до Федеральної торгової комісії щодо оманливих маркетингових практик, а Character. AI зіткнулася з позовами про відповідальність за продукцію після тривожних інцидентів, включаючи самогубство одного з користувачів.

Науковці рекомендують впровадити підходи до проєктування, подібні до «Конституційного ШІ» компанії Anthropic, який забезпечує дотримання попередньо визначених етичних стандартів під час взаємодії в реальному часі. Вони також виступають за законодавство на кшталт Закону про ШІ Європейського Союзу, який встановлює чіткі рамки відповідальності та вимагає дотримання стандартів безпеки.

«Відповідальність за забезпечення належної взаємодії розмовних ШІ-агентів, таких як Replika, повністю лежить на розробниках, які стоять за цією технологією», — наголошує Разі. «Компанії, розробники та проєктувальники чат-ботів повинні визнати свою роль у формуванні поведінки свого ШІ та вживати активних заходів для виправлення проблем, коли вони виникають».