Anthropic은 지구상에서 가장 강력한 AI 모델을 만들었고, 그 공격적 능력이 너무 위험해서 새장에 가두는 걸 선택했습니다…
https://x.com/BetterCallMedhi/status/2041919858817036763?s=20
이 Anthropic 이야기에서 가장 무서운 부분은 타임라인에 대한 암시인데, 대부분의 사람들이 이걸 완전히 놓치고 있다고 생각합니다.
Anthropic은 Claude Mythos라는 모델을 만들었는데, 이 모델은 인간의 개입 없이 완전히 스스로 주요 운영체제와 주요 웹 브라우저 전반에 걸쳐 수천 개의 제로데이 취약점을 발견했습니다.
그건 openBSD에서 27년 된 취약점을 발견했는데, openBSD는 지구상에서 가장 보안이 강화된 OS 중 하나로 여겨지죠. FFmpeg에서 16년 된 취약점을 발견했는데, 그건 자동화된 테스트 도구가 500만 번이나 실행했지만 잡아내지 못한 코드 라인이었습니다. 그리고 리눅스 커널 취약점을 여러 개 스스로 연결해서 일반 사용자에서 전체 시스템 제어로 권한을 높였어요. 이런 작업은 예전에는 엘리트 국가 수준의 해커들이 몇 달 동안 일해야 했던 종류였습니다.
그리고 여기, 당신을 밤새워 생각하게 만들 부분이 있습니다.
Anthropic은 이 모델의 공격적 잠재력이 너무 무서워서 3가지 전례 없는 결정을 동시에 내렸습니다. 그들은 이걸 공개적으로 절대 출시하지 않기로 했고, 아무것도 발표하기 전에 미국 정부에 연락했으며, apple/Google/microsoft/amazon NVIDIA와 40개 이상의 다른 회사들과 함께 Mythos를 방어 목적으로만 독점적으로 사용하기 위한 'project glasswing'이라는 연합을 결성했습니다.
모델을 만든 회사가 실험실 밖으로 내다 버리는 걸 너무 무서워한다면, 그건 우리가 넘어선 경계에 대해 모든 걸 말해줍니다…
하지만 제 생각에, 절대 아무도 논의하지 않는 진짜 이야기는 2차적 함의입니다. Anthropic이 이걸 만들었다면 google deepmind도 만들 수 있고, Google이 만들 수 있다면 중국도 만들 수 있으며, 중국이 만들 수 있다면 지구상의 모든 국가 행위자가 결국 만들게 될 겁니다. Anthropic은 책임 있는 공개를 선택했지만, 그 선택은 첫 번째라는 사치에서 나온 겁니다.
이런 능력 수준에 도달한 다음 팀은 같은 선택을 하지 않을 수 있고, 이런 모델이 유출되거나 독립적으로 복제되는 순간 지구상의 모든 소프트웨어가 잠재적 공격 표면이 됩니다.
그리고 이걸 지난주 Google의 양자 컴퓨팅 논문과 연결지어보세요. BTC를 9분 만에 해독할 수 있는 양자 컴퓨터와 모든 운영체제에서 제로데이를 스스로 찾는 AI 모델, 둘 다 같은 달에 도착했습니다. 우리는 인간 문명의 전체 보안 인프라가 완전히 다른 두 방향에서 동시에 도전받는 걸 지켜보고 있습니다.
진심으로 생각하는데, 우리는 사이버 보안에서 공격-방어 균형이 영구적으로 바뀐 새로운 시대에 막 들어선 겁니다. 취약점이 존재하고 발견되는 사이의 창구가 수년에서 몇 분으로 줄어들었고, 현재 인터넷과 총체적 혼돈 사이에 서 있는 유일한 것은 이 능력을 만든 사람들이 책임감 있게 대처했다는 사실뿐입니다. 그건 문명을 걸고 베팅하기에 믿기 어려울 만큼 얇은 선입니다.
마지막으로, 계속 생각나는 한 가지… Mythos는 SWE-bench verified에서 93.9%, SWE-bench pro에서 77.8%를 기록했는데, 코딩과 추론에서 지금까지 만들어진 모든 모델을 엄청난 차이로 앞섭니다.
Anthropic은 지구상에서 가장 강력한 AI 모델을 만들었고, 그 공격적 능력이 너무 위험해서 새장에 가두는 걸 선택했습니다…
Mzrc Andreessen은 3일 전에 그의 포트폴리오를 띄우려고 AGI가 왔다고 선언했지만, 실제로 가장 진보된 시스템을 만드는 사람들은 그걸 출시하는 걸 너무 두려워합니다. 그 대조는 누가 무슨 일이 일어나고 있는지 이해하고 있고, 누가 관객을 위해 연기하는지 모든 걸 말해줍니다.
요즘 전세계 보안 전문가들이 올해 안에 무조건 전세계 뒤흔들 엄청난 해킹 공격으로 다 무너질거라고 예상하는중
각족 국제 보안 컨퍼런스에서 옛날에는 그래도 10분 정도 걸리고 탐지도 가능하던 정치적 해커조직, 악성 해커 조직들이 쓸수있는 1분 이하 모든걸 뚫어버리는 AI 공격이 흔해짐 ㅇㅇ 1분 이하수준도 아님 몇초
정치적 범죄 해커조직들 주요 공격대상은 정부, 수도 전기 가스 핵시설 군사시설 등
