https://x.com/nuuuukkkkk/status/2041530956440600894
https://www.nature.com/articles/d41586-026-01100-y?utm_source=x&utm_medium=social&utm_campaign=nature&linkId=61282557
The condition doesn’t appear in the standard medical literature — because it doesn’t exist. It’s the invention of a team led by Almira Osmanovic Thunström, a medical researcher at the University of Gothenburg, Sweden, who dreamt up the skin condition and then uploaded two fake studies about it to a preprint server in early 2024. Osmanovic Thunström carried out this unusual experiment to test whether large language models (LLMs) would swallow the misinformation and then spit it out as reputable health advice. “I wanted to see if I can create a medical condition that did not exist in the database,” she says.
The problem was that the experiment worked too well. Within weeks of her uploading information about the condition, attributed to a fictional author, major artificial-intelligence systems began repeating the invented condition as if it were real.
Even more troublingly, other researchers say, the fake papers were then cited in peer-reviewed literature. Osmanovic Thunström says this suggests that some researchers are relying on AI-generated references without reading the underlying papers.
문제는 실험이 너무 잘 진행되었다는 점이었다. 그녀가 가상의 저자가 쓴 것으로 위장한 질병에 대한 정보를 업로드한 지 몇 주 만에 주요 인공지능 시스템들이 마치 실제 질병인 것처럼 그 조작된 질병을 반복하기 시작했다. 더욱 심각한 것은, 다른 연구자들이 지적했듯이, 가짜 논문들이 동료 평가를 거친 학술지에 인용되었다는 점입니다. 오스마노비치 툰스트룀은 이는 일부 연구자들이 원문을 읽지 않고 AI가 생성한 참고문헌 에만 의존하고 있음을 시사한다고 말합니다.
어느 팀이 18개월 동안 실험을 했는데
빅소니마니아라는 가상의 피부병을 만들고
가짜 병을 만들어서 블로그로 쓰고
가짜 병으로 논문을 쓰고
가짜 논문이 학술지에 인용되어
가짜논문으로 AI가 병명을 판단한다는 이야기
지금의 인공지능(LLM)이 어떤 정보를 판단하는게 아니라는 것..
