세계최고 한국어·영어 성능 달성
경량 '카나나 나노' 오픈소스 공개
CPO조직 신설하고 AI조직도 통합
카카오가 글로벌 최고 수준의 한국어·영어 성능을 보유한 인공지능(AI) 초거대 언어모델 '카나나 플래그' 개발을 완료했다고 27일 밝혔다.
카카오는 또 경량모델인 '카나나 나노 2.1B'를 오픈소스로 갓허브에 배포했다. 중국 '딥시크'가 일으킨 가성비 AI 경쟁에 카카오도 참전한 것이다.
카카오는 AI 서비스와 개발을 담당해온 조직을 통합해 혁신도 가속화한다는 방침이다.
카카오는 이날 자체 개발 언어모델 '카나나'의 연구 성과를 담은 테크니컬 리포트를 아카이브(ArXiv)에 공개했다. 테크니컬 리포트는 매개변수와 학습 방법, 학습 데이터 등 세부 사항을 담아낸 AI 논문이다. 카카오는 이번 리포트에 다양한 사이즈에 이르는 카나나 언어모델 전체의 프리 트레이닝부터 포스트 트레이닝까지 전 과정을 자세히 담았다. 카나나 모델의 구조, 학습 전략, 그리고 글로벌 벤치마크에서의 성과도 확인할 수 있다.
카카오의 초거대 언어모델 '카나나 플래그'는 지난해 말 학습을 완료했다. 카카오는 작년 10월 개발자 콘퍼런스 '이프 2024'에서 공개한 '카나나 언어모델'의 전체 라인업(카나나 플래그, 에센스, 나노)을 모두 구축하게 됐다.
'카나나 플래그'는 글로벌 최고 수준의 한국어·영어 성능을 달성한 모델이다. 한국어 성능을 평가하는 '로직Kor', 'KMMLU' 벤치마크에서 타 모델을 압도하는 처리 능력을 입증했다. 영어 성능을 평가하는 'MT-bench', 'MMLU' 벤치마크에서는 경쟁 모델과 유사한 성과를 기록했다. 또한, 학습 자원 최적화를 통해 유사 사이즈의 모델 대비 50% 이상 비용을 절감하며, SOTA(State-of-the-Art) 수준의 효율성과 성능을 동시에 구현해냈다.
카카오는 대규모 언어모델의 학습 효율을 극대화하고자 △Staged pre-training △Pruning(모델 구성 요소를 가지치기해 중요 요소만 남기는 기법) △Distillation(큰 모델의 지식을 더 작은 모델로 전달하는 증류 기법) △DUS(Depth Upscaling, 깊이 업스케일링) 등 혁신적 학습 기법을 적용했다. 이를 통해 경량 모델 '카나나 나노 2.1B'부터 초거대 모델 '카나나 플래그 32.5B'까지 다양한 사이즈의 고성능 모델을 효율적으로 개발, 글로벌 유사 크기 모델 대비 절반 이하의 학습 비용을 실현했다.
카카오는 향후 카나나 모델에 강화 학습과 연속 학습 기반의 최신 기술을 접목해 추론, 수학,코딩 능력을 강화하고, 정렬(Alignment) 기술을 고도화해 사용자 요청의 수행 정확도를 높일 계획이다. 이를 통해 음성, 이미지, 영상 등 다양한 형태로 소통 가능하도록 지속적 모델 고도화를 이어가며, 일상에 실질적인 가치를 더하는 기술로 자리잡을 수 있도록 기술 경쟁력을 강화해 갈 예정이다.
카카오가 오픈소스로 공개한 경량모델 '카나나 나노 2.1B'는 연구자와 개발자가 활용하기 적절한 크기의 모델이자 온디바이스(On-device) 환경에서도 활용 가능한 고성능의 경량 모델로, 비교적 작은 규모임에도 유사한 크기의 글로벌 모델에 견줄 만한 성능이다. 한국어와 영어 처리 능력에서 뛰어난 결과를 보여준다. 카카오는 이번 오픈소스 공개로 AI 기술의 접근성을 높이고자 하며, 연구자와 개발자들이 해당 모델을 토대로 다양한 응용을 시도할 수 있도록 모델의 업데이트를 지속 지원할 계획이다.
카카오는 카카오톡과 연계된 기술, 광고, 커머스, 디자인 등 핵심 사업 역량을 CPO 조직으로 통합하고, AI 관련 조직도 개편했다. AI 서비스와 개발을 각각 담당해 온 '카나나엑스'와 '카나나알파'를 단일 조직인 '카나나'로 통합했다. 영역 간 유기적 협업을 통해 서비스를 빠르게 선보임으로써 AI 대중화를 앞당기려는 목적이다. 또, AI 스튜디오를 신설해 AI 신규 사업 기회 및 AI 서비스의 기술 협력 기반을 마련하고, OpenAI를 포함한 파트너들과의 시너지를 강화하게 된다.
김미경기자 the13ook@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
