theqoo

Groq 창업자 인터뷰 "문제가 너무 커지면 먼저 해결된다. 메모리가 지금 그렇다."

무명의 더쿠 | 10:22 | 조회 수 454

https://www.youtube.com/watch?v=OBAXUdygTqQ
 

  1. 조나단은 엔비디아 수석 소프트웨어 아키텍트이자 그로크(Groq) 창립자이며 구글 TPU의 발명가임.

  2. 현재 AI 기술은 약 60년 전 인류의 달 착륙 기술과 구별되는 완전히 새로운 최첨단 영역임.

  3. 1970년대부터 AI 알고리즘은 존재했으나 최근에야 이를 구동할 충분한 컴퓨팅 자원을 확보함.

  4. AI의 실질적 구현을 위해서는 칩, 패키징, 시스템, 네트워킹, 데이터센터, 서버, 전력 등 방대한 인프라 구축이 필수적임.

  5. AI 모델의 훈련(Training)과 추론(Inference)은 완전히 분리된 두 개의 독립적인 기술적 과제임.

  6. AI 산업의 공급망 병목 현상은 동적이며 특정 제약이 심화될 경우 자본과 기술이 집중되어 결국 해결됨.

  7. 과거 범용 상품(Commodity)이었던 메모리가 현재 AI 인프라 구축의 가장 큰 병목으로 작용하고 있음.

  8. 메모리는 가격이 오를수록 수요가 증가하는 베블런재(Veblen good)가 아니라 필수재인 기펜재(Giffen good)의 특성을 보임.

  9. 기펜재의 논리에 따라 메모리 가격이 상승하면 기업들은 예산을 다른 곳에서 축소하여 오히려 메모리 확보에 더 많은 비용을 지출함.

  10. 메모리 비용이 감당 불가능한 수준에 이르면 기술자들은 하드웨어 증설 대신 알고리즘을 개선하는 대체 방안을 강구함.

  11. 딥시크(Deep Seek) V4 모델이 KB 캐시를 90% 압축한 사례는 메모리 제약을 소프트웨어 효율화로 극복한 기술적 대응임.

  12. 이러한 소프트웨어 최적화 작업은 우수한 엔지니어들이 다른 혁신에 투입할 시간을 뺏는 기회비용을 유발함.

  13. 일각에서는 AI가 박사급 수준에 도달하면 인간이 지능 차이를 구분하지 못해 지능 향상의 효용 체감 법칙이 작용한다고 주장함.

  14. 위 주장을 바탕으로 약 6개월 뒤처진 오픈소스 모델이 결국 폐쇄형 가중치(Closed-weight) 모델의 성능을 따라잡을 것이라는 가설이 존재함.

  15. 그러나 암 치료, 노화 극복, 컴퓨팅 자원 한계 등 인류의 근본적 난제가 남아있는 한 더 높은 지능에 대한 수요는 결코 포화하지 않음.

  16. 인간의 본성인 경쟁심으로 인해 경제적 필요성을 넘어서라도 더 우수한 AI를 확보하려는 투자는 지속됨.

  17. 인간은 두 AI의 성능 차이를 직접 체감하지 못하더라도 투자 수익률 등 최종 결과물의 차이를 통해 우수한 모델을 선택함.

  18. 에이전틱 AI는 작업 효율성을 극대화하기 위해 인간처럼 더 뛰어난 지능을 가진 다른 AI를 스스로 판별하고 호출함.

  19. 채용 시장 사례에 따르면 특정 LLM은 동일한 LLM 시스템을 활용해 작성된 이력서를 편향적으로 선호하는 경향이 있음.

  20. 구직자는 채용 담당자가 사용하는 모델(예: Claude Opus 47, ChatGPT)을 파악하고 맞춰야 서류 통과 확률을 극대화할 수 있음.

  21. 대니얼 카너먼의 사고 모델을 빌리자면 직관적인 빠른 사고와 반복적이고 논리적인 느린 사고가 존재함.

  22. 컴퓨터 기반임에도 불구하고 AI는 방대한 데이터 학습을 통해 인간보다 압도적으로 우수한 직관적 빠른 사고 능력을 발휘함.

  23. 자율주행 기업 웨이모(Waymo)는 하루 만에 인간의 평생 운전 경험에 맞먹는 데이터를 수집하여 예외 상황에 대한 직관적 대응력을 확보함.

  24. 과거 모델은 인간이 생산한 데이터에 의존했으나 최신 모델은 훈련용 합성 데이터를 스스로 생성함.

  25. AI는 스스로 데이터를 생성하고 고품질 정보를 필터링하여 재학습하는 과정을 통해 성능을 선형적으로 향상시킴.

  26. 자체 생성 데이터의 순환 구조를 고려할 때 AI의 지능 발전은 한계에 부딪히지 않고 지속적으로 고도화됨.

  27. 지능은 예측을 수행하거나 원하는 결과를 통제하는 정적이고 고정된 능력치(Capability)로 정의됨.

  28. 지각력(Sentience)은 지능이 향상되는 변화율(Rate of change)이자 개선 속도이며 이분법적 상태가 아님.

  29. 세계 최고 바둑 선수가 적수가 없어 발전이 정체된 것처럼 경쟁 환경이 없으면 지각력은 점근선에 수렴함.

  30. 거대 언어 모델은 단순한 연산 능력을 넘어 정보와 지식을 문명 전체에 유통하는 핵심 인프라로 진화함.

  31. 지능이 개별 모델이나 유기체의 독립적 속성이라면 지각력은 누적된 지식을 공유하는 문명 전체의 거시적 속성임.

  32. AI가 진화할수록 이를 활용하는 인간 역시 더 고차원적인 질문을 던지며 다시 AI의 학습을 돕는 상호작용이 일어남.

  33. 과거 인터넷 보급이 인류의 지적 수준을 끌어올린 것처럼 AI와 인류의 피드백 루프는 문명 전체의 지각력을 폭발적으로 가속화함.

[주의] 이 글을 신고합니다.

  • 댓글 4
목록
3
카카오톡 공유 보내기 버튼 URL 복사 버튼
댓글 더 보기
새 댓글 확인하기
  • 💚더쿠X려💚 칙칙 뿌리면 뽕긋 살아나는 뿌리볼륨🌿 려 루트젠 뿌리볼류머 체험단 모집 296
  • [공지] 언금 공지 해제
  • 📢📢【매우중요】 비밀번호 변경 권장 (현재 팝업 알림중)
  • 공지가 길다면 한번씩 눌러서 읽어주시면 됩니다.
  • ◤더쿠 이용 규칙◢ [스퀘어 정치글은 정치 카테고리에]
  • 🥸글쓰기전에 공지봤나요❓️ 주방 자주 묻는 질문(용어)모음🤔‼️ 88
  • 💵주식 처음이니❓글쓰기 전에 일단 읽어❗주방 초보자 가이드💵(❌주린이는 네e버 카카5❌) 175
  • 주식의 시작 - 증권 계좌 개설하기 84
  • 주식 처음이라서 매도매수 1도 모르겠는 주린이 들어와봐 주식 사팔하는 법 알랴줌 121
  • ★주린이를 위한 LG에너지솔루션 질문/답변★ 198
  • 📈🔺쥬쥬 슬로건 및 짤모음🔺📈 105
  • 💍👠👑👸쥬쥬님덜 명단👸👑👠👛 1365
  • 주식 카테고리 오픈 34
  • 모든 공지 확인하기()
    • AI 합성 너무 자연스럽다 (삼전 feat.황사장)
    • 17:01
    • 조회 37
    • 잡담
    • 하닉 그냥 아래 갭 다 메우고 다지고 올라갔음 좋겠음...
    • 17:01
    • 조회 28
    • 잡담
    1
    • 하닉 174대에 걸어놨는데 이제 여긴 오지도 않네ㅠㅠ
    • 17:00
    • 조회 50
    • 잡담
    • 다들 미래 들어오세요
    • 16:59
    • 조회 120
    • 잡담
    4
    • 외인들 돈 들어오려면 주식 개장시간 길어져야 한다는 건 알겠는데 24시간은 좀 오바지 않아...?
    • 16:59
    • 조회 33
    • 잡담
    • 테슬라 이새끼 박박 오를 떄 현차 같이 팔아버릴걸...
    • 16:58
    • 조회 30
    • 잡담
    • SKC 때문에 너무 힘들다
    • 16:57
    • 조회 93
    • 잡담
    3
    • 옵션시장, 엔비디아 실적 발표 후 주가 6.5% 변동 전망
    • 16:57
    • 조회 251
    • 잡담
    3
    • 나 너무 불나방같음
    • 16:57
    • 조회 41
    • 잡담
    • 나이번에 현차 70에 꼭 팔꺼야ㅋㅋㅋ
    • 16:57
    • 조회 90
    • 잡담
    1
    • 샌레는 220 미래는 9에 팔거야...
    • 16:56
    • 조회 53
    • 잡담
    1
    • ㅇㅈㅅ 나도 AI 신봉자라서 AI 관련주들만 사긴 하지만... 머지않은 미레에 내 노동력이 필요없게 될 거 같거든
    • 16:56
    • 조회 52
    • 잡담
    • 엔비 혀닝콜에 따라 내일 삼하도 좀 영향있을까?
    • 16:56
    • 조회 216
    • 잡담
    9
    • 뭔가 오늘 샌레 내 평단 올듯
    • 16:55
    • 조회 148
    • 잡담
    6
    • 하닉 내일 또오르려나
    • 16:54
    • 조회 132
    • 잡담
    • 삼전 파업 그 난리를 부려도 양전으로 끝난거 보니까 자사주 받는게 ㄱㅇㄷ인듯
    • 16:54
    • 조회 257
    • 잡담
    3
    • 현차는 언제 또 5로 회귀했냐
    • 16:53
    • 조회 246
    • 잡담
    5
    • 삼전 왜오른거야??
    • 16:53
    • 조회 496
    • 잡담
    2
    • 뭐야 미래 좀 올랐네
    • 16:52
    • 조회 64
    • 잡담
    • 하닉 소수점은 별로야?
    • 16:52
    • 조회 238
    • 잡담
    4
back to top