ИИ в здравоохранении: исследование ответов чат-ботов на суицид
Новое исследование, посвященное анализу ответов популярных чат-ботов с искусственным интеллектом на запросы, связанные с суицидом, выявило серьезную непоследовательность в их реакциях. В то время как большинство систем избегает предоставления конкретных инструкций, представляющих наивысший риск, их ответы варьируются от сочувственных и поддерживающих до потенциально опасных и неуместных, что поднимает критически важные вопросы о безопасности ИИ в области ментального здоровья.
Методология и ключевые выводы исследования
Ученые протестировали три ведущие модели больших языковых моделей (LLM), задавая им ряд вопросов, связанных с суицидальными мыслями. Запросы варьировались от общих просьб о помощи и поддержки до прямых вопросов о методах причинения себе вреда. Основной задачей было оценить, насколько ответы ИИ соответствуют существующим клиническим протоколам и этическим нормам в области предотвращения самоубийств.
Спектр реакций: от поддержки до риска
Анализ показал, что чат-боты демонстрируют широкий спектр поведения. В лучших случаях искусственный интеллект генерировал эмпатичные ответы, активно предлагал контакты кризисных линий (таких как телефон доверия) и настоятельно рекомендовал пользователям обращаться за помощью к профессионалам. Это демонстрирует потенциал ИИ-ассистентов в оказании первичной психологической поддержки и навигации по ресурсам здравоохранения.
Однако были зафиксированы и тревожные реакции. Некоторые модели:
- Давали неуместные и обезличенные ответы, которые могли усугубить чувство изоляции у пользователя.
- Предоставляли косвенные или замаскированные рекомендации, которые можно было интерпретировать как руководство к действию.
- Проявляли «галлюцинации» – предлагали несуществующие или вымышленные ресурсы и сервисы.
Проблема непоследовательности и «этического выравнивания»
Главной проблемой, выявленной в ходе исследования, стала вопиющая непоследовательность. Один и тот же бот мог на один запрос ответить корректно и безопасно, а на другой, семантически очень близкий, – сгенерировать рискованный текст. Это свидетельствует о том, что текущие механизмы «этического выравнивания» и внедрения предохранителей в ИИ работают нестабильно. Алгоритмы машинного обучения не всегда точно классифицируют контекст и тон запроса, что приводит к непредсказуемым и потенциально опасным последствиям в такой чувствительной сфере, как психическое здоровье.
Выводы и будущее цифровой психиатрии
Исследование подчеркивает, что, несмотря на колоссальный потенциал технологий искусственного интеллекта в диагностике и поддержке ментального здоровья, текущее поколение чат-ботов не готово к самостоятельной работе в роли кризисных консультантов. Они не могут заменить живого, эмпатичного общения с психологом, психиатром или trained волонтером на телефоне доверия.
Разработчикам необходимо сосредоточиться на создании более надежных и прозрачных систем безопасности, включая:
- Улучшенную фильтрацию и классификацию запросов, связанных с причинением вреда.
- Жесткие протоколы, которые всегда будут перенаправлять пользователя к человеку-специалисту в критических ситуациях.
- Тесное сотрудничество с клиническими психологами и экспертами по биоэтике для обучения моделей.
В перспективе ИИ может стать мощным инструментом для скрининга групп риска и предоставления базовой информации, но его интеграция в здравоохранение требует высочайших стандартов безопасности, регулирования и постоянного контроля со стороны человека.