https://www.youtube.com/watch?v=OBAXUdygTqQ
-
조나단은 엔비디아 수석 소프트웨어 아키텍트이자 그로크(Groq) 창립자이며 구글 TPU의 발명가임.
-
현재 AI 기술은 약 60년 전 인류의 달 착륙 기술과 구별되는 완전히 새로운 최첨단 영역임.
-
1970년대부터 AI 알고리즘은 존재했으나 최근에야 이를 구동할 충분한 컴퓨팅 자원을 확보함.
-
AI의 실질적 구현을 위해서는 칩, 패키징, 시스템, 네트워킹, 데이터센터, 서버, 전력 등 방대한 인프라 구축이 필수적임.
-
AI 모델의 훈련(Training)과 추론(Inference)은 완전히 분리된 두 개의 독립적인 기술적 과제임.
-
AI 산업의 공급망 병목 현상은 동적이며 특정 제약이 심화될 경우 자본과 기술이 집중되어 결국 해결됨.
-
과거 범용 상품(Commodity)이었던 메모리가 현재 AI 인프라 구축의 가장 큰 병목으로 작용하고 있음.
-
메모리는 가격이 오를수록 수요가 증가하는 베블런재(Veblen good)가 아니라 필수재인 기펜재(Giffen good)의 특성을 보임.
-
기펜재의 논리에 따라 메모리 가격이 상승하면 기업들은 예산을 다른 곳에서 축소하여 오히려 메모리 확보에 더 많은 비용을 지출함.
-
메모리 비용이 감당 불가능한 수준에 이르면 기술자들은 하드웨어 증설 대신 알고리즘을 개선하는 대체 방안을 강구함.
-
딥시크(Deep Seek) V4 모델이 KB 캐시를 90% 압축한 사례는 메모리 제약을 소프트웨어 효율화로 극복한 기술적 대응임.
-
이러한 소프트웨어 최적화 작업은 우수한 엔지니어들이 다른 혁신에 투입할 시간을 뺏는 기회비용을 유발함.
-
일각에서는 AI가 박사급 수준에 도달하면 인간이 지능 차이를 구분하지 못해 지능 향상의 효용 체감 법칙이 작용한다고 주장함.
-
위 주장을 바탕으로 약 6개월 뒤처진 오픈소스 모델이 결국 폐쇄형 가중치(Closed-weight) 모델의 성능을 따라잡을 것이라는 가설이 존재함.
-
그러나 암 치료, 노화 극복, 컴퓨팅 자원 한계 등 인류의 근본적 난제가 남아있는 한 더 높은 지능에 대한 수요는 결코 포화하지 않음.
-
인간의 본성인 경쟁심으로 인해 경제적 필요성을 넘어서라도 더 우수한 AI를 확보하려는 투자는 지속됨.
-
인간은 두 AI의 성능 차이를 직접 체감하지 못하더라도 투자 수익률 등 최종 결과물의 차이를 통해 우수한 모델을 선택함.
-
에이전틱 AI는 작업 효율성을 극대화하기 위해 인간처럼 더 뛰어난 지능을 가진 다른 AI를 스스로 판별하고 호출함.
-
채용 시장 사례에 따르면 특정 LLM은 동일한 LLM 시스템을 활용해 작성된 이력서를 편향적으로 선호하는 경향이 있음.
-
구직자는 채용 담당자가 사용하는 모델(예: Claude Opus 47, ChatGPT)을 파악하고 맞춰야 서류 통과 확률을 극대화할 수 있음.
-
대니얼 카너먼의 사고 모델을 빌리자면 직관적인 빠른 사고와 반복적이고 논리적인 느린 사고가 존재함.
-
컴퓨터 기반임에도 불구하고 AI는 방대한 데이터 학습을 통해 인간보다 압도적으로 우수한 직관적 빠른 사고 능력을 발휘함.
-
자율주행 기업 웨이모(Waymo)는 하루 만에 인간의 평생 운전 경험에 맞먹는 데이터를 수집하여 예외 상황에 대한 직관적 대응력을 확보함.
-
과거 모델은 인간이 생산한 데이터에 의존했으나 최신 모델은 훈련용 합성 데이터를 스스로 생성함.
-
AI는 스스로 데이터를 생성하고 고품질 정보를 필터링하여 재학습하는 과정을 통해 성능을 선형적으로 향상시킴.
-
자체 생성 데이터의 순환 구조를 고려할 때 AI의 지능 발전은 한계에 부딪히지 않고 지속적으로 고도화됨.
-
지능은 예측을 수행하거나 원하는 결과를 통제하는 정적이고 고정된 능력치(Capability)로 정의됨.
-
지각력(Sentience)은 지능이 향상되는 변화율(Rate of change)이자 개선 속도이며 이분법적 상태가 아님.
-
세계 최고 바둑 선수가 적수가 없어 발전이 정체된 것처럼 경쟁 환경이 없으면 지각력은 점근선에 수렴함.
-
거대 언어 모델은 단순한 연산 능력을 넘어 정보와 지식을 문명 전체에 유통하는 핵심 인프라로 진화함.
-
지능이 개별 모델이나 유기체의 독립적 속성이라면 지각력은 누적된 지식을 공유하는 문명 전체의 거시적 속성임.
-
AI가 진화할수록 이를 활용하는 인간 역시 더 고차원적인 질문을 던지며 다시 AI의 학습을 돕는 상호작용이 일어남.
-
과거 인터넷 보급이 인류의 지적 수준을 끌어올린 것처럼 AI와 인류의 피드백 루프는 문명 전체의 지각력을 폭발적으로 가속화함.
