업스테이지 LLM, 자연어 처리 최고 권위 학회 ‘NAACL’ 채택

업스테이지 NAACL 채택 논문./업스테이지

업스테이지가 개발한 세계 최고 수준의 거대언어모델(LLM) 솔라 개발 논문이 글로벌 탑티어 자연어 처리(NLP) 학회에 채택됐다.

업스테이지는 세계 최고 권위의 NLP 학회인 'NAACL 2024(북미 전산언어 학회)'에서 솔라 개발 논문을 발표한다고 29일 밝혔다.

NAACL은 ACL, EMNLP와 함께 세계 3대 NLP 학회로 꼽힌다. 매년 구글, 메타, 아마존 등 글로벌 빅테크 기업과 수천여 명의 NLP 연구자들이 참여해 최신 연구성과를 공유하며, 올해 학회는 6월 16일부터 21일까지 멕시코시티에서 열린다.

이번 NAACL 2024에 채택된 업스테이지 논문은 김다현 연구원, 박찬준 수석 연구원 등의 주도로 김성훈 대표, 이활석 최고기술책임자(CTO) 등 주요 경영진까지 모두 참여한 업스테이지 기술력의 집약체다.

해당 논문은 '깊이 확장 스케일링(DUS)'이라는 기법으로 LLM의 깊이 차원을 확장해 모델 규모를 늘리는 새로운 방법론을 제시했다. LLM은 텍스트 입력에서 처리, 출력까지 다양한 층위의 신경망 레이어(layer)로 구성되는데, 이러한 레이어를 조합해 모델의 성능을 끌어올리는 방식이다.

구체적으로 업스테이지는 '라마2' 아키텍처인 '미스트랄 7B'를 기반으로 DUS 기법을 적용해 모델의 깊이 차원을 확장, 107억 매개변수로 구성된 '솔라 10.7B' 모델을 개발했다.

김성훈 업스테이지 대표는 "세계 최고 수준의 언어모델 솔라를 개발한 업스테이지의 기술력을 글로벌 탑티어 학회에서 인정받게 돼 기쁘다"라며 "앞으로 업스테이지는 세계 최고 AI 기술력을 토대로 국내는 물론 해외 시장을 주도할 수 있는 강력한 LLM 개발에 힘쓸 것"이라고 밝혔다.