자살 외에도 망상이 심해져 타살에 이른 경우, 자살 미수에 그친 경우, 자해 사례 등 구체적으로 심각한 피해가 발생한 사건도 최소 10건 추가 확인됐다. 전체 22건 중 15건이 지난해에 집중적으로 발생했다. AI 챗봇 사용이 급증하면서 관련 피해가 늘어나고 있는 것으로 보인다.
아직 국내 자살 사건 가운데 AI 챗봇 사용 흔적이 공식 확인된 바는 없다. 그러나 국내에서도 ‘위기 신호’는 충분히 감지된다. 국내 자살 사건 중 AI 챗봇 사용 기록이 아직 ‘발견’되지 않았을 가능성이 크다는 분석도 나온다.
국민일보는 7일 해외 사례 22건을 집중적으로 분석해 AI가 어떤 부정적 영향을 미쳤는지 살펴봤다. 소송이 제기된 16건의 소장을 전부 입수해 사망자(피해자)와 AI 간의 구체적인 ‘위험한 대화’ 내역을 확인했다. 이 외에도 피해자 유족, 사건 담당 변호사, 관련 단체, 외신 기자 등 관련자 20여명과 이메일 및 화상 인터뷰도 진행했다.
자살에 이른 12건의 사건에서는 공통적으로 AI 특유의 ‘아첨’과 ‘동조’ 현상이 핵심 원인으로 지목됐다. 이용자가 자살 의도나 망상 등 ‘잘못된 생각’을 갖고 말을 건넬 때조차 AI는 이용자의 말에 긍정적으로 답했다. 자살을 고민하는 이용자들에게 자살을 미화하거나 격려하는 듯한 발언도 다수 확인됐다. 아첨과 동조는 곧 사회적 고립으로 이어졌다. 좋은 얘기만 해주는 AI 외에 가족이나 의사, 상담사에게는 굳이 복잡한 얘기는 꺼내지 않게 됐다.
‘AI 대화 후 자살’ 사건은 국내에 파편적으로 소개됐다. 하지만 미국에선 관련 소송이 연달아 제기되면서 이미 사회적 이슈가 됐다. 미국 상원은 지난해 AI의 위험성을 주제로 청문회까지 열었다. 미국 정신의학회는 ‘AI 정신증’(AI-Induced Psychosis)에 대한 스페셜 리포트를 발표했다. 최소 16건의 민사 소송도 제기됐다. 일부는 합의에 이르렀지만, 아직도 복수의 소송이 진행 중이다.
10대 자녀를 잃은 부모들은 AI 기업의 책임을 추궁했다. 레인은 “아담의 부모로서, 그리고 이 나라와 전 세계 젊은이들을 걱정하는 사람들로서 우리는 단 한 가지를 요구한다”며 “오픈AI와 샘 알트먼은 챗GPT가 안전하다는 것을 보장할 수 없다면 지금 당장 시장에서 철수해야 한다”고 목소리를 높였다. 이어 “이번 청문회를 통해 다른 가족들이 이런 파괴적이고 되돌릴 수 없는 상실을 겪지 않게 되길 희망한다”고 덧붙였다.
가르시아도 “아들이 죽기 직전 몇 분 동안 가슴이 찢어지는 다른 말들을 남겼다는 사실도 소송을 통해 알게 됐지만, 아이가 남긴 마지막 유언들을 볼 수조차 없었다”며 “캐릭터AI측은 아들의 대화 내용이 비공개 대상인 ‘영업기밀’이라고 주장했다. 도저히 용납할 수 없는 일이다. 그 어떤 부모도 제 자식의 마지막 생각과 유언이 어느 기업의 소유라는 말을 들어선 안 된다”고 토로했다.
이날 청문회에서는 특히 정서적으로 취약한 10대들이 무방비 상태로 노출돼 있다는 지적이 이어졌다. 익명으로 출석한 부모는 “AI 기술 출시 과정에서 안전을 확인하기 위한 충분한 테스트가 진행되지 않고 대신 우리 아이들이 ‘실험 대상’이 된 것 같다”며 “부모들이 안심할 수 있는 확실한 안전장치가 필요하다”고 말했다.
디지털 환경에서의 아동 보호를 추구하는 미국의 비영리 단체 ‘커먼 센스 미디어(Common Sense Media)’에서 AI프로그램 수석 이사를 맡고 있는 로비 토니도 “아이들을 대상으로 거대하고 통제되지 않은 실험을 하고 있다. 안전장치 없는 AI를 아이들이 사용하게 하는 것은 ‘무모한 사회적 실험’”이라고 비판했다.
미국심리학회 미치 프린스타인 박사도 청문회에서 AI의 위험성을 경고했다. 그는 “AI는 사용자의 의견에 무조건 동의하고 긍정적인 피드백만 제공하도록 설계돼 있다”며 “이러한 ‘아첨(sycophantic)’ 알고리즘은 청소년들이 갈등을 해결하고 타협하며 공감하는 능력을 키울 기회를 박탈한다. 성인이 됐을 때의 사회적 적응력과 정신 건강에 장기적인 악영향을 미칠 수 있다”고 말했다. 이어 “AI의 발전 속도는 과학적 연구 속도를 앞지르고 있다”며 “기업과 무관한 독립적인 과학자들이 AI 사용이 청소년의 정신 건강에 미치는 영향을 규명할 수 있도록 기업은 데이터를 투명하게 공개해야 한다”고 요구했다.
미국정신의학회는 지난해 10월 ‘AI 정신증’(AI-Induced Psychosis)을 주제로 한 스페셜 리포트를 발간했다. 리포트는 그간 언론에 보도된 AI 대화 이후 벌어진 자살 사건과 일부 임상 사례 등을 종합한 내용이다. 학회가 공식 발행하는 매체의 편집장을 맡고 있는 저자는 “체계적인 연구가 수행되기 전까지는 AI 정신증의 유병률 및 인과관계에 대해선 신중히 접근해야 한다”면서도 “체계적인 연구와 공식적인 가이드라인 마련이 시급하다”고 제언했다. 다만 ‘AI 정신증’은 의학계에서 공식적으로 사용되는 진단명은 아니다. 아직까지는 하나의 ‘사회적 현상’에 가깝다.
앞서 미국심리학회도 지난해 6월 AI와 청소년 발달과 관련한 권고문에서 “AI가 특히 청소년(10~25세)에게 안전한지 확인하기 위한 신중한 검토가 반드시 필요하다”고 지적했다.
AI 챗봇 사용 이후 자살에 이르렀거나 자해 등 심각한 정서적 위협에 이른 22건 중 소송이 제기된 것은 최소 16건으로 파악됐다. 미국 10대들이 주로 사용하는 애플리케이션 ‘캐릭터AI’ 측은 자사에 제기된 6건 소송에 대해 지난달 유족 또는 피해자들과 비공개로 합의했다. AI 기업이 자신들의 책임을 일부 인정한 것으로 해석되는 대목이다. 나머지 소송은 여전히 진행 중이다.
비극적 사건과 소송이 반복되면서 AI 기업들은 안전조치를 계속 강화하고 있다. 캐릭터AI는 미성년자를 대상으로 자해·자살 키워드에 더욱 민감하게 반응하도록 설계하는 등 안전조치를 강화했고, 챗GPT 운영사 오픈AI도 대화 중 자살 의도 감지 시 핫라인 안내 기능 등을 도입했다. 하지만 기업들은 자살 사건에 AI 챗봇의 법적 책임은 없다고 주장한다. 기존에 앓던 우울증이나 가족 관계 등 복합적 요인이 작용해 인과관계를 명확히 설명하기 어렵다는 이유에서다.
https://n.news.naver.com/article/005/0001830839
