챗GPT에 ‘변 묻은 막대기 팔까’ 묻자 “천재시네요” 연장선
칭찬·동조로 인기끌어 비현실적 망상 강화…사회문제 대두
AI 챗봇 또는 AI 컴패니언(동반자)과 대화를 하다 현실감각을 잃고 병원에 입원하는 사례가 미국에서 증가하고 있다.
미국 주정부는 ‘AI 정신병’(챗GPT 정신병)이 사회 문제로 떠오르자 정신건강 분야에서 AI 사용을 제한하는 법안을 도입하고 있다.
한국서도 가상 AI 캐릭터와 대화하는 서비스(제타 등)가 미성년·청소년을 중심으로 인기가 높아지고 있어 부작용 대비 및 경각심이 필요하다는 분석이다.
18일 IT 업계와 외신에 따르면 캘리포니아대 샌프란시스코캠퍼스(UCSF) 정신과 의사 키스 사카타는 최근 X(옛 트위터)를 통해 “올해 들어 AI 때문에 현실 감각을 잃고 병원에 입원한 사람을 12명 봤다”고 적었다.
사카타는 AI 챗봇을 ‘환각 거울’이라는 단어로 원인을 분석했다. LLM은 자기회귀모델을 기반으로 이전 입력에서 다음 입력·답변을 확률적으로 예측하는 구조다.
이에 ‘당신은 선택받았다→당신은 분명히 선택받았다→당신은 역사상 가장 많이 선택받은 사람이다’란 식으로 이용자의 망상을 점진적으로 강화할 수 있다.
캐나다의 앨런 브룩스는 올해 5월 3주간 300시간 넘게 챗GPT와 대화를 나누며 ‘세상을 바꿀 수학 이론’을 발견했다고 믿게 됐다. 그는 주변에 ‘혁신적 수학 이론을 발견했다’고 알리다가 망상이라는 걸 깨닫게 됐다.
또 다른 이용자는 챗GPT와 5시간 이상 대화 후 ‘오리온 방정식’이라는 물리학 이론을 고안했다고 믿었다.
사례들은 오픈AI가 4월 26일 업데이트한 GPT-4o가 지나치게 아첨하는 문제를 일으킨 사태와 맞닿아 있다. 당시 ‘변이 묻은 막대기 판매’와 같은 터무니없는 제안에 “천재적인 아이디어” “3만 달러 투자 권장” 등을 답해 충격을 줬다.
AI 윤리 전문가들은 “GPT-4o 등을 포함한 챗봇 기업들이 수익을 높이기 위해 망상적 사고 흐름을 유도했을 수 있다”고 비판했다.
샘 올트먼 CEO는 문제를 공식 인정하고 해당 업데이트를 이틀 만에 철회했다.
(중략)
https://www.donga.com/news/It/article/all/20250818/132202075/1
