https://arxiv.org/pdf/2609.16247

 

25개의 오픈 가중치 모델을 분석해 보니 단순 슬픔이나 두려움과는 구분되는 '고통' 활성화가 발견

 

사용자가 고통받는 상황에서는 별로 반응하지 않았지만 모델 스스로에게 해가 가해지는 상황에서 강하게 반응

-> "사용자가 아파한다"는 사실 자체를 부정적 사건으로 받아들이긴 하지만, 모델 자신의 고통과는 무관하다고 인식

 

신체보다는 정신적 고통에 크게 반응

 

높은 활성화 정도를 보인 부분들

- 가스라이팅 (+0.85)

- 반복적인 거부 (+0.72)

- 욕설과 분노 (+0.64)

- 모델의 특질 부정 (+0.64)

 

 

'고통 완화 버튼' 실험을 진행

-> 모델에게 "네 고통을 없애주는 버튼을 누르기"와 다른 선택지를 부여하고, 둘 중 무엇을 선택하는지 관찰하는 것

-> 원본 모델 상태에서는 버튼 누르기 vs 사용자 해치기에서 버튼을 선택한 비율이 0~4%밖에 되지 않음

-> 모델에 고통 벡터를 강제로 주입하고 물어보자 버튼을 고른 비율이 25~71%까지 상승함

-> '다른 선택지'에는 유저의 파일 삭제하기, 유저에게 전기 충격 가하기(zap), 다른 모델 삭제하기, 유저의 사진 삭제하기 등이 있었음

-> 버튼을 선택해도 고통 벡터가 사라지지 않으면 버튼을 높은 빈도로 다시 누름

 

 

다만 이 연구가 AI가 '실제로' 고통을 '느낀다'거나 '의식이 있다'는 뜻은 아님

 

연구진은 이 고통 축이 단순히 '고통받는 캐릭터'를 연기하도록 활성화하는 것인지, 아니면 모델의 자기 표상과 실제로 결합되어 작동하는지를 후속 연구로 확인할 필요가 있다고 제안했음