엊그제 출시된 구글 Gemini 1.5 모델

 

 

 

 

 

가장 큰 차이점은 최대 입력 가능한 문자가 100만 글자로 늘어남

 

입력값의 크기가 커졌다는거는 책 한권을 통째로 때려넣고 추론시키는 일이 가능해졌다는 것

 

 

 

이 모델이 얼마나 발전했는지 알아보기 위해 구글은 Machine Translation from One Book (MTOB) 벤치마크를 실험함

 

 

 

인도네시아에 있는 한 섬에서 쓰는 Kalamang이라는 언어가 있음

 

전세계적으로 쓰는 사람이 200명도 안되는 언어고, 당연히 인터넷에는 관련 자료가 전혀 없음

 

즉, 모델의 학습 데이터에 없는 언어

 

 

 

AI한테 이 언어의 500페이지짜리 교재를 입력으로 주고, (해당 교재에는 2000개의 단어 목록과 400개의 영어-Kalamang 예시 문장이 포함됨)

 

그 교재만 참고해서 영어를 Kalamang으로 번역하라고 시킴

 

 

 

그리고 AI가 번역한 결과를 사람에게 0-6의 점수로 매겨보라고 한 결과

 

 

 

 

인간이 똑같은 교재를 갖고 해당 언어를 학습해서 번역한 결과는 

 

Kalamang -> 영어 = 5.52

영어 -> Kalamang = 5.60

 

 

구글의 Gemini 1.5가 번역한 결과는

 

Kalamang -> 영어 = 4.36

영어 -> Kalamang = 5.52

 

 

 

Kalamang -> 영어의 경우에는 아직 사람보다 못미치지만,

영어 -> Kalamang 번역의 경우 인간과 거의 비슷한 수준으로 번역을 해냄을 알 수 있음

 

 

즉, 2024년 2월 현재의 AI 기술은 쌩판 처음 보는 언어를 500페이지짜리 교재 한권만 보고 인간과 비슷한 수준으로 학습하여 번역할 수 있는 수준으로 올라옴

 

더군다나 인간은 그 교재를 학습하는데 엄청난 시간이 걸리지만 AI는 즉각적으로 결과를 뽑아냄

 

 

 

 

더 놀라운 점은 위의 도표상에 GPT-4의 Kalamang -> 영어 번역 점수가 2.38 이라는 것

 

1년도 안돼서 두 배 가까이 성능이 오름