[더구루=홍성일 기자] 네이버가 대화형 인공지능(AI) 검색 기능 'AI탭'의 근간을 이루는 '프로덕트 네이티브 LLM·하네스 엔지니어링(Harness Engineering)·멀티모달' 등 3대 핵심 기술을 공개했다. 네이버는 실험실이 아닌 실서비스에서 잘 작동하는 AI를 만들겠다며, 향후에도 빠르고 가벼우면서 효율적인 모델을 중점적으로 개발하겠다고 전했다.
네이버는 지난 2일 네이버 D2SF 강남에서 '탐색에서 실행까지, 차세대 AI 기술이 만드는 네이버 AI 검색'이란 주제로 테크 딥톡 세션을 개최하고, △'AI탭' 최적화 모델 △하네스 엔지니어링 △멀티모달 기술 등 차세대 AI 검색을 구현하는 핵심 기술을 선보였다.
가장 먼저 AI탭에 적용된 자체 개발 LLM(거대언어모델)이 공개됐다. 해당 모델은 기존 하이퍼클로바X(이하 HCX)를 기반으로 AI 검색 서비스에 최적화시킨 것으로, 네이버의 데이터·서비스 시나리오·사용자 피드백을 모델 설계 전반에 반영한 프로덕트 네이티브 LLM이다. 즉 범용 AI가 아닌, 특정 서비스에 최적화해 맞춤 설계된 모델이라는 의미다.
네이버는 해당 모델의 서비스 효율성을 극대화하기 위해 데이터, 아키텍처, 트레이닝 측면에 집중했다. 데이터의 경우 문서 품질 필터를 통해 학습 데이터의 품질을 높였으며, 복잡한 사용자 요청과 최적의 답변을 매핑하는 '서비스형 데이터 수집 파이프라인'을 구축해 검색·쇼핑·플레이스·생활정보 분야의 고품질 데이터를 사전 학습 단계부터 반영했다.
아키텍처 측면에서 대규모 서비스 환경에 최적화된 MoE(Mixture of Experts) 구조를 도입해, 기존 HCX 대비 더 빠른 응답 속도와 높은 처리량을 확보했다. MoE는 AI모델이 가지고 있는 매개 변수 중 필요한 부분만 활성화해 연산 성능을 높일 수 있는 기술로, 글로벌 AI 개발사들도 적극 활용하고 있다.
MoE 아키텍처 도입으로 프로덕트 네이티브 LLM의 E2E 레이턴시(End to end Latency, 입력부터 최종 답변 완료까지 걸리는 총 소요시간) 지표가 극적으로 향상됐다. 네이버는 "기존 트랜스포머 구조 모델은 입력 길이가 늘어날수록 연산량이 제곱으로 증가해 응답 시간이 가파르게 늘어나는 반면, 해당 모델은 입력 길이와 연산량이 선형적으로 비례하는 수준까지 개선했다"고 설명했다.
트레이닝 단계에서는 강화학습에 투입되는 컴퓨팅 자원이 기존 HCX 대비 2배 이상 확대됐으며, 답을 낼 수 없는 질문에 대해 추가 조건을 되물었을 때, 보상을 부여해 모델 성능을 높이는 기술도 적용됐다. 강화학습은 머신러닝 기법 중 하나로 보상과 시행착오를 통해 최적의 행동 패턴을 익히는 기술로, AI에게 어떤 질문을 했을때 정확한 답변을 내놓으면 보상을 주고, 틀린 답을 내놓으면 감점을 준다.
네이버는 질문 과정에서 답을 낼 수 없는 질문을 던져 AI가 되물으면 보상, 아무 답이나 내놓으면 감점을 주는 방식을 추가했다. 네이버는 이를통해 프로덕트 네이티브 LLM의 할루시네이션 비율을 HCX 대비 최대 30% 줄이는데 성공했다.
AI탭을 안정적으로 구동하는 핵심 기술인 하네스 엔지니어링에 대한 정보도 공개됐다. AI모델은 특정 시점까지의 데이터를 가지고 학습된다. 그렇다보니 검색 엔진 등 다른 서비스가 연동되지 못하면, 과거의 정보를 최신 정보인 것처럼 제시하는 문제 등이 발생한다.
네이버는 이처럼 AI가 부적절한 답변을 하지 않도록 제어하는 동시에, 필요한 정보를 스스로 찾고 적절한 도구를 활용해 이용자의 요청을 끝까지 수행하도록 하는 모든 기술을 하네스 엔지니어링으로 정의했다.
또한 네이버는 AI탭의 효율성을 높이기 위해 분업형 SLM(Small Language Model, 소규모 언어모델) 구조 구축했다. 하나의 거대 LLM이 모든 작업을 처리하는 대신, 역할별로 특화된 SLM을 조합해 운영 비용을 줄이면서도 응답 속도와 품질을 동시에 높인 것이다. LLM이 모든 물건을 다 파는 대형마트라면, SLM은 특정 영역 제품만 판매하는 전문점이라고 이해하면 된다.
마지막으로 네이버는 검색창 전면에 배치된 스마트렌즈를 중심으로 한 멀티모달 기술 고도화 전략도 함께 펼쳐나갈 것이라고 전했다. 멀티모달은 텍스트뿐 아니라 이미지와 영상 등 다양한 형태의 정보를 AI가 이해할 수 있는 형태로 변환해 활용하는 기술이다.
네이버는 "2017년 스마트렌즈를 출시하며 이미지 검색 서비스를 선보인 이후, 지속적인 기술 고도화를 통해 멀티모달 검색 역량을 축적해왔다"며 "상품 검색을 넘어 다양한 영역에서 실행형 멀티모달 검색 경험을 제공할 수 있도록 관련 기술을 고도화할 계획"이라고 설명했다.
이기창 네이버클라우드 하이퍼스케일 AI모델 이사는 "AI탭에 적용된 모델은 학습 데이터 구축부터 모델 설계, 강화학습까지 전 과정을 네이버 서비스에 맞춰 최적화한 것이 특징"이라며 "네이버 사용자가 검색·구매·예약 등 실제 서비스 과정에서 가장 정확하고 효율적으로 작동하는 모델을 만드는 것이 목표"라고 말했다.
