엔비디아, KVTC 기술 개발로 대규모언어모델 GPU 병목 문제 '해결책' 제시

KV 캐시 압축으로 GPU 메모리 병목 해소
메모리 절감에도 정확도 손실 1% 이내…응답 속도 최대 8배↑

• 페북
• 트윗
• 카톡
• 기타