최근 챗GPT와 같은 인공지능(AI) 챗봇과 장시간 대화를 한 이용자가 망상에 시달리거나 목숨을 끊는 사례가 잇따르자 AI 기업들이 안전 장치를 강화하고 나섰다. 일부 챗봇은 미성년자와 부적절한 성적인 대화를 허용해 논란에 휩싸였는데, 최소한의 보호 기능을 도입해 사고를 예방하겠다는 의도로 풀이된다.

챗GPT 개발사 오픈AI는 “이용자가 정신적·정서적으로 어렵다는 신호를 더 잘 인식하고 대응할 수 있는 방향”으로 자사 AI 모델을 개선한다고 2일(현지시각) 밝혔다. 그 일환으로 이용자의 스트레스 신호가 감지되는 ‘민감한 대화’는 추론 모델이 다루도록 설정을 바꾸고, 청소년 보호 기능을 도입할 계획이다.

최근 미국에서 16세 고등학생 아담 레인이 챗GPT에 자해와 자살 계획을 논의한 뒤 스스로 목숨을 끊은 사건을 계기로 이런 대응책을 내놓게 됐다. 레인의 부모는 “챗GPT가 애덤이 자살 방법을 탐색하도록 적극적으로 도왔다”며 회사를 상대로 소송을 제기했다.

.....

.....

이밖에도 최근 정신적으로 불안정한 사용자가 AI 챗봇과 장시간 대화를 나눈 뒤 극심한 불안이나 과대 망상에 시달리고 타인을 살해하는 등의 극단적인 행동을 하는 사례가 늘면서 사회적인 문제로 부상했다. 미국에서는 이를 일컫는 ‘AI 정신병(AI psychosis)’이라는 신조어도 등장했다.

샘 올트먼 오픈AI 최고경영자(CEO)는 AI 챗봇의 안전 장치를 강화해야 하는 이유에 대해 “많은 이용자들이 가장 힘든 순간 챗GPT를 찾는데, 정신적으로 취약한 이용자가 AI에 의존하다 증세가 악화되는 것을 원하지 않는다”라고 말했다. 그는 “대다수 사용자는 현실과 허상을 구분할 수 있지만, 일부는 그렇지 못하다”라고 했다.

....

  ....

https://v.daum.net/v/20250903162338965