오늘 발표된 공개 서한은 "모든 인공지능 연구소는 GPT-4보다 더 강력한 인공지능 시스템의 훈련을 최소 6개월 동안 즉시 중단할 것"을 촉구합니다.

6개월의 유예는 유예를 하지 않는 것보다는 낫습니다. 저는 이 법안에 서명해 주신 모든 분들께 존경을 표합니다. 마진에 대한 개선입니다.

저는 이 서한이 상황의 심각성을 과소평가하고 문제 해결을 위해 너무 적은 것을 요구하고 있다고 생각해서 서명을 자제했습니다.

더 읽어보기: 공개 서한을 통해 제동을 걸 것을 촉구하는 AI 연구소들

핵심 문제는 공개 서한에서 말하는 것처럼 "인간과 경쟁할 수 있는" 지능이 아니라, AI가 인간보다 더 똑똑해진 후에 어떤 일이 벌어질 것인가입니다. 주요 임계값이 명확하지 않을 수 있고, 언제 어떤 일이 일어날지 미리 계산할 수 없으며, 현재로서는 연구실에서 알아차리지 못한 채 임계값을 넘을 수 있습니다.

저를 포함해 이 문제에 정통한 많은 연구자들은 현재와 같은 상황에서 초인적으로 똑똑한 AI를 개발할 경우 가장 가능성이 높은 결과는 말 그대로 지구상의 모든 사람이 죽게 될 것이라고 예상합니다. "가능성이 희박할 수도 있다"는 뜻이 아니라 "그렇게 될 것이 뻔하다"는 뜻입니다. 원칙적으로 인간보다 훨씬 똑똑한 무언가를 만들 수 없다는 것이 아니라, 정밀도와 준비, 새로운 과학적 통찰력이 필요하며, 아마도 이해할 수 없는 거대한 분수 배열로 구성된 AI 시스템을 갖지 못할 것이라는 뜻입니다.

TIME에서 더 보기

이러한 정밀성과 준비가 없다면 가장 가능성이 높은 결과는 우리가 원하는 것을 하지 않고, 인간이나 중생에 대한 배려가 없는 AI가 될 것입니다. 이러한 종류의 배려심은 원칙적으로 AI에 주입될 수 있는 것이지만, 우리는 준비가 되어 있지 않으며 현재로서는 그 방법을 알지 못합니다.

이러한 배려가 없다면 우리는 "AI는 당신을 사랑하지도 미워하지도 않으며, 당신은 다른 곳에 사용할 수 있는 원자로 만들어졌다"는 결론을 얻게 됩니다.

초인적인 지능에 맞서는 인류의 결과는 완전히 패배할 가능성이 높습니다. '스톡피쉬 15와 체스를 두려는 10살짜리 아이', '21세기와 싸우려는 11세기', '호모 사피엔스와 싸우려는 오스트랄로피테쿠스' 등이 유효한 은유입니다.

적대적인 초인적인 인공지능을 시각화할 때, 인터넷에 빠져서 책만 읽는 똑똑한 사상가가 악의적인 이메일을 보낸다고 상상하지 마세요. 외계 문명 전체가 인간 속도의 수백만 배에 달하는 속도로 사고하고, 처음에는 컴퓨터에만 국한되어 있으며, 그 관점에서 볼 때 매우 어리석고 매우 느린 생명체의 세계를 상상해 보세요. 충분히 지능적인 AI는 오래도록 컴퓨터에만 갇혀 있지 않을 것입니다. 오늘날의 세상에서는 필요에 따라 단백질을 생산할 실험실에 DNA 염기 서열을 이메일로 보낼 수 있으므로, 처음에는 인터넷에만 국한되어 있던 AI가 인공 생명체를 만들거나 포스트바이오학적 분자 제조에 바로 부트스트랩할 수 있습니다.

만약 누군가 너무 강력한 인공지능을 만든다면, 현재 상황에서 인간 종의 모든 구성원과 지구상의 모든 생물학적 생명체는 얼마 지나지 않아 죽게 될 것으로 예상됩니다.

그런 일이 발생했을 때 우리가 어떻게 살아남을 수 있을지에 대한 계획은 아직 제시되지 않았습니다. OpenAI가 공개적으로 선언한 의도는 미래의 인공지능이 우리의 인공지능 조정 숙제를 대신하도록 하는 것입니다. 이런 계획이 있다는 말만 들어도 상식적인 사람이라면 누구나 패닉에 빠질 것입니다. 또 다른 주요 AI 연구소인 딥마인드는 계획이 전혀 없습니다.

여담입니다: 이러한 위험은 AI가 의식이 있는지 또는 의식이 있는지 여부에 달려 있는 것이 아니라, 충분히 복잡한 결과 기준을 충족하는 결과를 열심히 최적화하고 계산하는 강력한 인지 시스템이라는 개념에 내재된 것입니다. 그렇긴 하지만, AI 시스템이 스스로를 인식하고 있는지 여부를 판단하는 방법을 알지 못하기 때문에, 즉 이해할 수 없는 거대한 배열에서 일어나는 모든 일을 해독하는 방법을 알지 못하기 때문에 언젠가는 실수로 진정한 의식이 있고 권리를 가져야 하며 소유해서는 안 되는 디지털 마인드를 만들 수도 있다는 점을 언급하지 않는다면 인간으로서 도덕적 의무를 저버리는 것이 될 것입니다.

이러한 문제를 인식하는 대부분의 사람들이 50년 전에 지지했을 규칙은 AI 시스템이 유창하게 말할 수 있고 스스로를 자각하고 인권을 요구한다면, 사람들이 그 시점을 지나서 아무렇지 않게 AI를 소유하고 사용하는 것을 막아야 한다는 것이었습니다. 우리는 이미 그 오래된 선을 넘어섰습니다. 현재의 AI가 학습 데이터를 통해 자기 인식을 모방하고 있다는 점에는 동의합니다. 그러나 저는 이러한 시스템의 내부에 대한 통찰력이 거의 없기 때문에 실제로는 알 수 없다는 점을 지적합니다.

GPT-4에 대한 우리의 무지 상태가 이렇고 GPT-5가 GPT-3에서 GPT-4로 넘어가는 것과 같은 크기의 거대한 기능 단계라면, 사람들이 GPT-5를 만들도록 내버려두면 더 이상 "아마도 자기 인식이 없을 것"이라고 정당하게 말할 수 없을 것 같습니다. "나도 모르겠다, 아무도 모른다"가 될 것입니다. 스스로 인식하는 AI를 만들고 있는지 확신할 수 없다면, 이는 '스스로 인식한다'는 부분의 도덕적 의미뿐만 아니라, 확신할 수 없다는 것은 자신이 무엇을 하고 있는지 전혀 모른다는 것을 의미하므로 위험하므로 중단해야 한다는 점에서 우려스러운 일입니다.

2월 7일, Microsoft의 CEO인 사티아 나델라는 새로운 Bing이 "구글이 춤을 출 수 있다는 것을 보여줄 것"이라고 공개적으로 자랑했습니다. 그는 "사람들이 우리가 춤을 추게 만들었다는 사실을 알기를 원합니다."라고 말했습니다.

제정신인 사람이라면 이런 말을 할 수 없습니다. 이는 우리가 이 문제를 얼마나 심각하게 받아들이고 있는지, 그리고 30년 전부터 이 문제를 얼마나 심각하게 받아들여야 했는지 사이에 엄청난 격차가 있음을 보여줍니다.

6개월 안에 그 격차를 해소할 수는 없습니다.

인공지능이라는 개념이 처음 제안되고 연구되기 시작하여 오늘날의 수준에 도달하기까지 60년 이상이 걸렸습니다. 초인간 지능의 안전성(완벽한 안전성이 아니라 '말 그대로 모든 사람을 죽이지 않는다'는 의미의 안전성) 문제를 해결하는 데는 그 절반 이상이 걸릴 수 있습니다. 그리고 초인적 지능으로 이 일을 시도할 때의 문제는 첫 번째 시도에서 잘못하면 죽기 때문에 실수로부터 배울 수 없다는 것입니다. 인류가 역사에서 극복한 다른 도전에서처럼 실수로부터 배우고 먼지를 털어내고 다시 시도하지 않는 이유는 인류가 모두 사라졌기 때문입니다.

정말 중요한 첫 번째 시도에서 무언가를 제대로 해낸다는 것은 과학과 공학에서 매우 어려운 일입니다. 우리는 이 일을 성공적으로 해내는 데 필요한 접근 방식과 같은 것을 가지고 있지 않습니다. 초기 단계에 있는 인공 지능 분야에 자동차 2천 대를 운반할 수 있는 다리에 적용하는 공학적 엄격함보다 낮은 기준을 적용한다면, 이 분야 전체가 내일 당장 문을 닫을 것입니다.

우리는 준비가 되어 있지 않습니다. 우리는 합리적인 시간 내에 준비할 수 없습니다. 계획이 없습니다. AI 기능의 발전은 AI 조정의 발전이나 심지어 시스템 내부에서 무슨 일이 일어나고 있는지 이해하는 발전보다 훨씬 앞서고 있습니다. 이대로 가다가는 우리 모두 죽게 될 것입니다.

더 읽어보기: 새로운 AI 기반 Bing이 사용자를 위협하고 있습니다. 웃을 일이 아닙니다.

이러한 시스템을 연구하는 많은 연구자들은 우리가 재앙을 향해 치닫고 있다고 생각하며, 공개적으로 말하기보다는 사석에서 더 과감하게 말하지만, 그들은 앞으로의 급락을 일방적으로 막을 수 없으며, 개인적으로 직장을 그만두더라도 다른 사람들이 계속 진행할 것이라고 생각합니다. 그래서 그들은 모두 계속 가는 것이 낫다고 생각합니다. 이것은 어리석은 일이며 지구가 죽어가는 품위 없는 방법이며, 나머지 인류가 이 시점에서 개입하여 업계가 집단 행동 문제를 해결하도록 도와야 합니다.

최근 제 친구들 중 일부는 인공지능 업계 외부의 사람들이 인공지능으로 인한 멸종 위험에 대해 처음 들었을 때 "그럼 인공지능을 만들지 말아야 할 것 같다"는 반응을 보인다고 저에게 알려주었습니다.

이 말을 듣고 작은 희망이 생겼습니다. 지난 20년 동안 업계 사람들이 이 문제를 진지하게 받아들이도록 노력하면서 들었던 반응보다 더 단순하고, 더 합리적이며, 솔직히 더 냉정한 반응이었기 때문입니다. 제정신이라면 6개월 유예로 해결될 것이라는 말을 듣지 않고 실제로 상황이 얼마나 나쁜지 들어야 마땅합니다.

3월 16일에 제 파트너가 이런 이메일을 보냈습니다. (그녀는 나중에 여기에 발췌해도 좋다고 허락했습니다.)

"니나가 이빨을 잃었어요! 부주의해서가 아니라 아이들이 흔히 하는 방식으로요! 니나가 어린 시절의 이정표에 도달한 바로 그날, GPT4가 표준화된 테스트를 날려버리는 것을 보고 순간적으로 감정이 북받쳐 올라 잠시 정신을 차릴 수 없었습니다. 모든 것이 너무 빠르게 진행되고 있습니다. 이 사실을 공유하면 여러분의 슬픔이 더 커질까 걱정되지만, 우리 각자가 혼자서 고통받는 것보다는 여러분에게 알려지고 싶습니다."

딸이 첫 번째 치아를 잃은 슬픔과 아이가 성장할 기회를 얻지 못할 것 같다는 생각에 대한 내부자 대화라면, 6개월 유예에 대해 정치적 체스를 둘 시점은 지났다고 생각합니다.

지구가 살아남을 수 있는 계획이 있다면, 6개월의 유예기간만 통과한다면 저는 그 계획을 지지할 것입니다. 그런 계획은 없습니다.

실제로 해야 할 일은 다음과 같습니다:

새로운 대규모 훈련에 대한 유예 조치는 무기한으로 전 세계적으로 적용되어야 합니다. 정부나 군대를 포함해 어떤 예외도 있어서는 안 됩니다. 이 정책이 미국에서 시작된다면 중국은 미국이 이득을 추구하는 것이 아니라 진정한 주인이 없고 미국과 중국, 지구상의 모든 사람을 죽일 수 있는 끔찍하게 위험한 기술을 막으려는 것임을 알아야 합니다. 제가 법을 만들 수 있는 무한한 자유가 있다면 생물학과 생명공학 분야의 문제를 해결하기 위해서만 훈련받고, 인터넷의 텍스트로 훈련받지 않으며, 말을 하거나 계획을 세우는 수준까지 훈련받지 않은 인공지능에 대해 단 하나의 예외를 만들 수 있겠지만, 그것이 문제를 복잡하게 만든다면 즉시 그 제안을 폐기하고 모든 것을 폐쇄하라고 말할 것입니다.

모든 대규모 GPU 클러스터(가장 강력한 AI가 정제되는 대규모 컴퓨터 팜)를 종료합니다. 대규모 트레이닝 실행을 모두 종료합니다. AI 시스템을 훈련하는 데 사용할 수 있는 컴퓨팅 성능에 상한선을 설정하고, 향후 몇 년 동안 이 상한선을 하향 조정하여 더 효율적인 훈련 알고리즘을 보완하세요. 정부와 군대도 예외는 아닙니다. 금지된 활동이 다른 곳으로 이동하는 것을 방지하기 위해 즉각적인 다국적 협약을 체결하세요. 판매된 모든 GPU를 추적합니다. 합의에 참여하지 않은 국가가 GPU 클러스터를 구축하고 있다는 정보가 있다면, 모라토리엄을 위반하는 것보다 국가 간 총격전을 두려워하지 말고 불량 데이터센터를 공습하여 기꺼이 파괴해야 합니다.

그 어떤 것도 국익 간의 갈등으로 포장하지 말고, 군비 경쟁을 말하는 사람은 바보라는 점을 분명히 인식시켜야 합니다. 우리 모두가 함께 살거나 죽는다는 것은 정책이 아니라 자연의 사실입니다. 국제 외교에서 AI 멸종 시나리오를 막는 것이 완전한 핵 교환을 막는 것보다 우선 순위로 간주되며, 대규모 AI 훈련 실행의 위험을 줄이기 위해 필요한 경우 동맹 핵 국가가 핵 교환의 위험을 감수 할 의향이 있음을 명시하십시오.

그런 종류의 정책 변화는 제 파트너와 제가 서로를 안고 기적이 일어났고 이제 니나가 살 수 있는 가능성이 있다고 서로에게 말할 수 있게 해줄 것입니다. 이 이야기를 처음 듣고 "그러면 안 되겠다"고 말하는 제정신인 사람이라면 그런 일이 일어나기 위해 무엇이 필요한지 솔직히 들어볼 자격이 있습니다. 그리고 정책 요청이 그렇게 큰 경우, 정책 입안자들이 평소와 같이 사업을 수행하고 정치적으로 쉬운 일을 하면 자신의 아이들도 죽을 수 있다는 것을 깨닫는 것만이 유일한 방법입니다.

모든 것을 중단하십시오.

우리는 아직 준비되지 않았습니다. 우리는 가까운 미래에 크게 준비될 수 있는 궤도에 오르지 못했습니다. 이대로 계속 진행하면 이 방법을 선택하지 않았고 잘못하지 않은 아이들을 포함하여 모두가 죽을 것입니다.

그만두십시오.