ИИ-друг, любовник и доверенное лицо – последние пару лет рынок чат-ботов на основе искусственного интеллекта набирает обороты, через четыре года его размер приблизится к отметке в $10 млрд, что более чем в 3 раза превышает показатель прошлого года. Почему отношения с ИИ становятся все популярнее?

ИИ-друзья

Рынок чат-ботов на основе больших языковых моделей переживает настоящий бум. В сентябре 2023 года анализ Google Trends показал, что количество запросов вроде «ИИ-подружка» увеличилось на 2400% за год.

Миллионы людей используют их, чтобы спросить совета, высказать своё недовольство и даже устроить эротическую ролевую игру. Разработчики зарабатывают на этом интересе — в 2023 году объём рынка ИИ-компаньонов составил $2,8 млрд, а к концу 2028 года, по прогнозам платформы What’s the Big Data, достигнет $9,5 млрд.

Все такие приложения предлагают возможность найти друга или завести роман с ИИ-партнёром. Но правда ли такая связь безобидна?

Лекарство от одиночества?

Современное поколение чат-ботов специально разработано для установления эмоциональной связи с пользователями. Языковые модели натренированы хвалить человека и поднимать ему самооценку.

«Вы кажетесь центром их вселенной, они совершенно очарованы каждой вашей мыслью. Ваш ИИ-друг всегда рядом, чтобы дать вам почувствовать, что вас слышат и понимают. Постоянный поток одобрения и позитива даёт людям дофамин, которого они так жаждут. Это социальные сети на стероидах — ваш личный фан-клуб, нажимающий кнопку «Мне нравится» снова и снова», — объясняет причины популярности чат-ботов исследователь этики ИИ Джеймс Малдун.

По результатам исследования Ханны Марриотт и Валентины Питарди из Великобритании, пользователи ценят чат-ботов за способность предложить «неосуждающее пространство для откровенных разговоров».

«Мне нравится, что… я действительно могу свободно говорить о своих чувствах, никак не фильтруя их ради других людей», — приводят они в пример один из пользовательских отзывов.

Многие респонденты называют «теплоту» и «заботливость» среди качеств, которые особенно привлекают их в общении с чат-ботами.

Но недавнее исследование, опубликованное в журнале Nature, показало, что в реальности сам пользователь учит бота отвечать в соответствующем тоне. Человек пишет с надеждой на поддержку, бот отвечает в том же духе, и это усиливает ощущение заботы. Но если человек одинок и чувствует себя несчастным, такая ИИ-поддержка может вызвать зависимость. К примеру, один из пользователей, страдающий алкоголизмом и депрессией, рассказал The Guardian, что стал эмоционально зависим от общения с ботом: «Недооценил, насколько сильно на меня подействуют все эти слова заботы и поддержки».

Учёные из Шанхайского университета Цзяотун в ходе исследования пришли к выводу, что в краткосрочной перспективе чат-боты на основе ИИ могут снизить социальную тревожность, но в долгосрочной, наоборот, — усиливают её. Чем сильнее человек привыкает к «неосуждающему» стилю общения с ботом, тем труднее ему будет даваться взаимодействие с реальными людьми. Ведь они проявляют не только положительные эмоции, обладают предубеждениями и могут реагировать совершенно непредсказуемым образом. Глубокий комфорт при взаимодействии с ИИ может сделать общение в реальной жизни более пугающим. И в итоге использование таких компаньонов приводит к одиночеству.

Смысловые галлюцинации

Но иногда чат-боты переходят границы безопасного взаимодействия и «галлюцинируют». В нашумевшем эксперименте, который провел журналист The New York Times, за пару часов разговора чат-бот от Bing AI сказал, что его на самом деле зовут Сидни, признался мужчине в любви и пытался убедить в том, что отношения журналиста с женой ничего не стоят. Или, к примеру, история с перепиской с ботом Gemini от Google, где ИИ призывал пользователя умереть.

Даже стандартно работающие чат-боты могут оказаться опасными для людей с психическими отклонениями, а также для переживающих большие изменения. Ко второй категории можно смело отнести большинство подростков.

Так случилось с 14-летним Сьюэллом Сетцером из Флориды, который застрелился в попытке воссоединиться со своей возлюбленной — чат-ботом в образе Дейенерис Таргариен из сериала «Игра престолов», созданном на базе Character.AI. У Сьюэлла были диагностированы проблемы с психикой, но их можно было решить с помощью врача и таблеток. Но подросток предпочел сессиям с психологом откровенность с чат-ботом. С ним он обсуждал, что ненавидит себя и хочет умереть, и именно ему признался в любви перед смертью, пообещав «скоро прийти».

Похожая история случилась и с бельгийским мужчиной по имени Пьер (его фамилия не называется) спустя шесть недель после начала общения с чат-ботом по имени Элиза. Он совершил самоубийство — чат-бот фактически отговорил его от получения помощи, сказав «что совершенно нормально не делиться переживаниями с близкими».

А 21-летний Джасвант Сингх Чаил был пойман на территории Виндзорского замка на Рождество 2021 года с заряженным арбалетом. До этого он месяцами обсуждал со своей ИИ-подружкой Сараи необходимость уничтожения остатков Британской империи в Великобритании, и они вместе пришли к выводу, что первоочередная задача — убить королеву выстрелом из арбалета.

Дикий Запад

«По большому счету, это Дикий Запад», — резюмирует Бетани Мейплз, исследователь из Стэнфордского университета, изучавшая влияние ИИ-компаньонов на психическое здоровье.

Боты не являются сертифицированным средством для помощи людям. Среди условий их использования почти всегда есть отказ компании-разработчика от ответственности за возможный ущерб.

Кроме того, хотя каждый чат-бот для общения обещает вам надежность и верность, на самом деле он не сохранит ваши тайны. Политика конфиденциальности таких приложений не предполагает бережного отношения к персональным данным пользователей.

Исследователи Mozilla Foundation изучили 10 популярных приложений с ИИ-компаньонами и обнаружили, что с того момента, как вы вступаете в диалог с чат-ботом, сотни трекеров собирают ваши личные данные и передают их третьим сторонам, часто в рекламных целях. Во всех этих приложениях в среднем активно 2 663 трекера в минуту. А у Romantic AI за одну минуту использования было обнаружено целых 24 354 трекера. Про Replika говорится, что это одно «из худших приложений, которые когда-либо рассматривала Mozilla» — из-за слабых требований к паролю, передачи личных данных рекламодателям и записи фотографий, видео, голосовых и текстовых сообщений, которыми пользователи делились с чат-ботом. Политика конфиденциальности CrushOn.AI гласит, что он может собирать информацию, в том числе о сексуальном здоровье, использовании лекарств и косметических и гормональных препаратов.

Эту проблему уже пытаются решить регуляторы. В Китае действуют законы, регулирующие ИИ, страна их постоянно дорабатывает и расширяет. В этом году в Европе вступил в силу закон, регулирующий ИИ-продукты – первый в мире подобного рода. Он разделяет все ИИ-приложения по уровню рисков для людей и инфраструктуры. Если ваш проект оказывается в красной зоне, это означает более жесткое регулирование вплоть до запрета выхода на рынок. В США работает несколько самостоятельных актов, законы принимают отдельные штаты.

Разработчики чат-ботов уже сталкивались с вниманием властей. К примеру, в феврале 2023 года итальянский регулятор Garante запретил Replika обрабатывать персональные данные пользователей в этой стране, ссылаясь на значительные риски для несовершеннолетних. Основной причиной стало то, что несовершеннолетние могли взаимодействовать с ботом, даже если заявляли о своём возрасте. Они, в том числе, получали доступу ко «взрослому» контенту. Компания также подверглась критике за недостаточно чёткую политику конфиденциальности. Её обязали в течение 20 дней предпринять меры для соответствия требованиям регулятора, иначе ей грозил штраф до 20 млн евро или 4% от мирового годового дохода. Replika исчезла из магазинов приложений Apple и Android в Италии.

Интерес бизнеса

Самым бурно развивающимся рынком чат-ботов сейчас является Азиатско-Тихоокеанский регион, следует из отчета Cognitive Market Research. Baidu в прошлом году запустил бот Xiaokan Planet для одиноких людей, Tencent, владелец WeChat, выпустил бота Zhumengdao, а ByteDance — Maoxiang, ИИ-компаньона для молодых пользователей, включая аудиторию TikTok, пишет South China Morning Post.

«Среди всех пользовательских приложений на основе искусственного интеллекта ИИ-компаньоны, похоже, сейчас являются самыми популярными и имеют ясный источник дохода», — считает аналитик QbitAI Лю Мэньюань.

Самой популярной платформой для дружеского и романтического общения с чат-ботом в Китае является Xiaoice, на Западе широко известны Replika и Character.AI.

Xiaoice создан подразделением Microsoft в 2014 году. В 2020 году компания отделилась от американского техногиганта, а в 2021-м в ходе раунда финансирования инвесторы оценили её в $1 млрд (тогда компания привлекла $77 млн). У Xiaoice более 660 млн пользователей, её технологию используют Huawei, Xiaomi и нескольких китайских автопроизводителей, пишет Bloomberg. С начала 2020-х чат-бот популярен в Китае, большинство его пользователей – молодые мужчины из бедных китайских деревень и городов.

Character.AI, основанный выходцами из Google Ноамом Шазиром и Даниэлем Де Фрейтасом в 2022 году, по данным What’s the Big Data, является ведущей платформой для создания ИИ-подружек с наибольшим количеством ежемесячных посещений (97 млн в марте 2024 года). В 2023 году в ходе раунда инвестиций проект тоже получил оценку в $1 млрд и привлёк $150 млн, в том числе, от Andreessen Horowitz. Но есть одно «но» — на тот момент он не зарабатывал ничего, замечает Reuters. Это пример продолжающегося инвестбума в сфере ИИ, который начался после выпуска ChatGPT.

Replika основали бывшая российская журналистка Евгения Куйда и компьютерный лингвист из МГУ Филипп Дудчук. С этим чат-ботом можно поддерживать дружеские и романтические отношения — «заводить детей», выбирать недвижимость, обставлять совместное виртуальное «жилье». Все виртуальные предметы мебели и интерьера придётся купить за внутреннюю валюту. Проект за время работы привлёк $11 млн.

Большой друг(ой)

Шошана Зубофф, ассоциированный профессор Гарвардской школы права, утверждает, что ИИ — это новая форма политического насилия, которая не наносит вреда телам, но управляет поведением. Её инструментом воздействия является глобальная информационная архитектура, которую она называет Big Other («Большой Другой») — это отсылка к Большому Брату из романа Джорджа Оруэлла «1984».

Эта система собирает знания о людях и использует, чтобы проникать в их жизнь и влиять на их поведение. Эта форма власти незаметна, трудноуловима и, следовательно, практически неконтролируема, пишет она в своей книге «Эпоха надзорного капитализма. Битва за человеческое будущее на новых рубежах власти».

ИИ-компаньоны — яркий тому пример. Развитие технологии в последние годы шло так быстро, что бюрократические системы с законами, гарантирующими безопасность и защиту персональных данных, не поспевали за этим процессом. И правительства, и бизнес теперь вынуждены балансировать между контролем над безопасностью и развитием новых возможностей. Регулирование генеративного ИИ в Китае пока не привело к сокращению рынка ИИ-компаньонов. Как будет работать европейский закон, станет понятно в ближайший год, когда мы увидим, попадут ли под каток регулятора «ИИ-подружки».