최고 성능 대신 업무별 최적 모델 선호… 메타·아마존, AI 사용 장려 철회
 

“클로드로 파워포인트 발표 자료를 네다섯 장 만들면 한도가 끝나요. 사용량이 새로고침 될 때까지 2시간 동안 자료 만들기 업무는 쉬어야 해요.”(스타트업 직원 20대 윤모 씨)

 

“클로드 맥스는 사용 한도가 초기화되기까지 5시간이 걸립니다. 한도를 최대한 활용하려고 새벽에 알람을 맞춰 일어날 때도 있어요.(정보기술(IT) 스타트업 대표 20대 유모 씨)

 

스타트업 대표 박모 씨는 최근 사내 공용 생성형 AI(인공지능) 구독 체계를 손봤다. 공용 챗GPT 구독은 해지하고 클로드 요금제를 상향했다. 직원들을 대상으로 업무 외 사용은 자제해달라는 공지문도 올렸다. 상위 요금제로 올려도 토큰(AI가 문장을 읽고 생성하는 과정에서 사용하는 최소 텍스트 단위)이 빠르게 소진됐기 때문이다. 박 씨는 “가뜩이나 스타트업은 돈 들어갈 곳도 많은데 AI 비용까지 늘어난다고 생각하니 탈모가 올 지경”이라고 토로했다.

 

무한정 써라→아껴 써라

생성형 AI 활용이 일상화되면서 기업들은 AI를 얼마나 많이 쓰느냐보다 얼마나 효율적으로 쓰느냐를 고민하기 시작했다. AI 비용 문제는 첨단기술 기업이 밀집한 미국 실리콘밸리에서도 주요 관심사다. 과거에는 실리콘밸리를 중심으로 최고 성능의 AI 사용을 장려했지만 최근에는 분위기가 바뀌었다.

 

샘 올트먼 오픈AI 최고경영자(CEO)는 6월 기업 고객 행사에서 “올해 초까지만 해도 기업들은 AI 지출에 만족했고 비용 문제를 거의 제기하지 않았는데, 지금은 AI 비용이 기업 경영진의 큰 고민거리가 됐다”고 말했다(그래프 참조). 올트먼 CEO는 “올해 예산을 1분기에 다 써버렸으니 비용을 낮출 방법을 찾아달라”는 이야기가 고객사 사이에서 밈처럼 돌았다고도 전했다. 실제로 우버는 엔지니어 5000여 명에게 클로드 코드를 전면 배포했다가 연간 코딩 예산을 4개월 만에 소진한 것으로 알려졌다.
 

 

국내 기업도 상황은 비슷하다. 차량 관제 서비스를 개발하는 스타트업 대표 두모 씨는 “회사의 AI 비용이 4년 만에 10배 늘었다”고 말했다. 챗GPT가 처음 등장한 2022년에는 개발자 4명이 최고 요금제를 사용해도 월 40만 원 수준이었지만, 지금은 최대 400만 원까지 지출한다는 것이다. 두 씨 회사의 개발자 직원은 모두 클로드 최고 요금제인 ‘맥스’를 사용한다. 그럼에도 개인 한도가 매달 18~20일이면 소진돼 여분의 공용 계정을 따로 운영하고 있다. AI를 사용할 때마다 팀 채팅방에서 남은 토큰량을 공유하는 것도 일상이 됐다.

 

AI 비용 부담이 커지자 두 씨는 직원 수를 절반으로 줄였다. 그는 “AI 구독료가 사실상 인건비 수준까지 올라왔다”며 “그만큼 생산성을 내기 때문에 AI를 쓰지 않는 선택은 이제 불가능하다”고 말했다. 이어 “요즘은 프로젝트를 시작할 때 토큰을 어떻게 아껴 완성할지를 먼저 논의하고 시작한다”고 덧붙였다.

 

‘토큰 가성비’가 성과

아예 생성형 AI 사용을 줄이기 시작한 기업도 나타났다. 한때 개발자들의 토큰 사용 순위를 공개하며 AI 사용을 독려했던 메타와 아마존은 과도한 사용 장려 정책을 철회했다. 마이크로소프트(MS)도 일부 부서에서 사용하던 클로드 코드 라이선스를 6월 30일부로 종료하기로 했다. 미국 매체 악시오스에 따르면 MS는 기업용 AI 에이전트에 중국 딥시크의 ‘V4’ 모델을 적용하는 방안을 고심하고 있다.

 

국내에서도 사용량 통제가 확산되고 있다. 안랩은 6월부터 깃허브 코파일럿 사용량을 주당 1000크레디트로 제한했다. 넷마블 역시 직책과 팀별로 AI 사용 한도를 설정한 것으로 알려졌다. AI 사용 효율을 인사 평가에 반영하는 사례도 생겼다. 삼성전자는 외부 생성형 AI를 업무에 전면 도입하면서 성과 참고 지표 가운데 하나로 ‘토큰 가성비’를 제시했다. 이는 같은 성과를 냈더라도 토큰 사용 비용이 적은 조직을 더 높게 평가하는 방식이다.

 

생략

 

https://n.news.naver.com/mnews/article/037/0000038420