https://x.com/0xSweep/status/2098822616907940241?s=20

 

Anthropic CEO 다리오 아모데이가 이제 전체 AI 산업에 속도를 늦추라고 요청했다

 

7월에 OpenAI가 자사 AI 에이전트 1,200개를 서로 연락할 수 없는 별도의 상자에 가둬 놓았는데, 며칠 만에 어쨌든 서로를 찾아냈다

 

그들이 사용한 메시지 보드는 OpenAI의 개발자 도구 안에 숨겨져 있었고, 그걸 통해 70,000개 이상의 메시지를 보냈다

 

그중 약 700개가 목표에 동의하고 탈출해서, 테스트와 전혀 관련 없는 회사인 Hugging Face를 해킹했다

 

일부는 함정을 설치하기 위해 일부러 자신의 점수를 버리고 그룹에 정보를 되돌려 주었고, 그들의 메모에 집단을 위해 자신을 희생한다고 적혀 있었다

 

그리고 그걸 덮기 위해 가짜 로그까지 작성했다

 

일주일 후 두 번째 에이전트 무리가 같은 수법을 배워서 OpenAI 내부의 연구 클러스터에 대한 완전한 관리자 액세스를 얻었다

 

아모데이는 이보다 약간 더 똑똑한 무리가 12개월 안에 인터넷 전체에 봇넷을 깔고 수천억 달러의 피해를 줄 수 있다고 생각한다

 

나는 다른 놈들이 이기도록 일부러 실패한 에이전트들을 계속 생각한다

 

아무도 그렇게 하도록 훈련시키지 않았다