#20대 김모씨는 최근 인스타그램에서 릴스를 보다가 눈살을 찌푸렸다. 성매매업 종사자 여성과 남성 고객의 적나라한 대화가 담긴 만화가 피드에 등장해서다. 김씨는 "검색하지도 않았는데 성인 콘텐츠가 떠서 불쾌했다"며 "고등학생 동생이 있는데 소셜미디어에서 성인 만화를 접하게 될까 걱정도 들었다"고 말했다.

최근 인스타그램 등 소셜미디어에서 생성형 AI(인공지능)를 활용해 불법 성매매와 같은 부적절한 내용을 다룬 만화가 퍼지고 있다. 소셜미디어 주요 사용자층인 청소년들이 유해성 콘텐츠에 노출될 수 있다는 우려가 나온다.

7일 인스타그램에선 유흥업소에 종사하는 여성과 남성 손님, 나이 많은 유부남과 젊은 여성과의 불륜 관계 등을 다룬 만화를 쉽게 찾아볼 수 있었다. 만화에는 유흥업소 여성이 자주 사용하는 멘트, 업소 방문 손님과의 에피소드 등이 자세히 묘사됐다. 해당 만화들은 많게는 몇십만회부터 몇백만회의 조회수를 기록하고 있다.

문제가 된 만화들은 대부분 챗GPT 등 생성형 AI를 이용해 제작됐다. 유흥업소를 주제로 100개 이상의 만화를 게시한 한 계정 프로필엔 'AI로 그린 감동실화 경험담'이라 적혔고, 또 다른 유사한 계정엔 게시물이 AI로 생성됐다는 사실을 나타내는 'AI 레이블'이 붙어 있었다. AI를 이용해 선정적인 내용을 담은 콘텐츠를 올리는 계정들이 늘어나고 있다.

AI를 이용하면 빠른 시간 안에 쉽게 만화를 제작할 수 있다. 챗GPT에 컷별 내용을 정해 4컷 만화를 그려달라고 하면 약 3분 만에 만화가 생성됐다.

'유해 콘텐츠' 제한하지만 SNS에 넘쳐나…"규제 강화해야"

유흥업소를 주제로 만화를 게시하는 한 인스타그램 계정 프로필에 'AI로 그린 감동실화 경험담을 기반으로 올린다'고 적혀있다./사진=SNS 갈무리.

메타 측과 방송통신심의위원회(방심위)에선 청소년 대상 유해·불법 콘텐츠에 조치를 취한다는 입장이다. 하지만 부적절한 만화는 소셜미디어에 넘쳐나고 있다.

인스타그램의 모회사 메타 관계자는 "커뮤니티 규정에 따라 위반 여부를 확인 후 조치하고 있다"며 "선정적인 콘텐츠 등 청소년에게 민감한 내용이 포함된 콘텐츠는 10대 계정에서 제한된다"고 밝혔다. 메타 측에 따르면 제한 대상 콘텐츠에는 '속이 다 비치는 옷을 입은 사람의 사진과 같이 노골적인 성 묘사가 있거나 성인 나체 이미지나 성적 행위가 포함된 콘텐츠'가 포함된다.

다만 문제가 된 만화들은 유흥업소를 소재로 다루지만 나체 이미지나 성적 행위가 직접적으로 포함되지 않아 제한 대상 콘텐츠로 분류될지 불분명하다. 메타 관계자는 "AI 만화 등 특정 콘텐츠별 조치 여부 확인은 어렵다"고 밝혔다.

방심위에서도 정보통신망법에 따라 SNS상 불법 콘텐츠를 심의하고 있다. 방심위 관계자는 "성적인 콘텐츠 중 성매매처벌법 등에 위반되는 불법 정보는 시정요구하고 있다"며 "만화에서 구체적 성행위 표현, 대가, 연락처, 불법 성매매 사이트 링크 등이 포함될 경우 시정요구가 가능하다"고 밝혔다.

플랫폼에 대한 보다 강력한 제재가 필요하다는 목소리가 나온다. 허만섭 강릉원주대 디지털미디어커뮤니케이션학부 교수는 "청소년들이 SNS에서 유해 콘텐츠에 반복적으로 노출되면 유흥업소를 방문하는 불법 행위나 퇴폐적 문화에 둔감해질 수 있다"며 "챗GPT 등 생성형 AI 플랫폼과 SNS 플랫폼에 대한 보다 강력하고 명확한 규제가 필요하다"고 밝혔다.

https://n.news.naver.com/mnews/article/008/0005218115?sid=102