엔비디아(CEO 젠슨 황)가 맞춤형 AI 모델 파운드리 서비스인 게임용 엔비디아 아바타 클라우드 엔진(Avatar Cloud Engine for Games, 이하 게임용 ACE)을 발표했다. 엔비디아 게임용 ACE는 AI 기반 자연어 상호 작용을 통해 NPC(non-playable character)에 인텔리전스를 부여해 게임을 혁신한다.

게임용 ACE를 사용해 미들웨어, 툴, 게임 개발자는 소프트웨어와 게임에 맞춤형 음성, 대화, 애니메이션 AI 모델을 구축 및 배포할 수 있다.

엔비디아의 개발자 및 성능 기술 부문 부사장인 존 스피처(John Spitzer)는 “생성형 AI는 플레이어가 게임 캐릭터와 가질 수 있는 상호 작용을 혁신하고 게임 몰입도를 극적으로 높일 수 있는 잠재력을 가지고 있다. 엔비디아는 AI 전문성 및 게임 개발자들과의 수십 년간의 경험을 바탕으로 게임에서 생성형 AI 사용을 주도하고 있다"고 말했다.

게임 생성형 AI의 선구자

엔비디아 옴니버스(Omniverse)를 기반으로 하는 게임용 ACE는 다음과 같이 음성, 대화, 캐릭터 애니메이션을 위해 최적화된 AI 기반 모델을 제공한다.

엔비디아 네모(NeMo) — 자체 데이터를 사용해 언어 모델을 구축, 맞춤, 배포한다. 대규모 언어 모델은 기존 지식과 캐릭터 배경 스토리로 맞춤화할 수 있으며 네모 가드레일(NeMo Guardrails)을 통해 비생산적이거나 안전하지 않은 대화로부터 보호할 수 있다.
엔비디아 리바(Riva) —자동 음성 인식 및 텍스트 음성 변환을 통해 실시간 음성 대화를 지원한다.
엔비디아 옴니버스 오디오투페이스(Audio2Face) — 게임 캐릭터의 표정 애니메이션을 모든 음성 트랙과 일치하도록 즉시 생성한다. 오디오투페이스는 언리얼 엔진 5(Unreal Engine 5)용 옴니버스 커넥터를 갖추고 있어, 얼굴 애니메이션을 메타휴먼(MetaHuman) 캐릭터에 직접 추가할 수 있다.
 

개발자는 엔비디아 게임용 ACE 솔루션 전체를 통합하거나 필요한 구성요소만 사용할 수 있다.

'카이로스'를 통해 엿본 게임의 미래

엔비디아는 엔비디아 인셉션(Inception) 스타트업인 컨베이(Convai)와 협력해 개발자들이 게임용 엔비디아 ACE를 사용하여 NPC를 구축할 수 있는 방법을 선보였다. 가상 게임 세계를 위한 최첨단 대화형 AI 개발에 주력하고 있는 컨베이는 ACE 모듈을 엔드투엔드 실시간 아바타 플랫폼에 통합했다.

'카이로스(Kairos)'라는 데모에서 플레이어는 라면 가게의 납품업자인 진(Jin)과 상호작용한다. 진은 NPC이지만 생성형 AI의 도움을 받아 자연어 쿼리에 대한 사실적이고 내러티브 배경 스토리와 일치하는 응답을 제공한다. 최신 레이 트레이싱 기능과 엔비디아 DLSS를 사용하여 언리얼 엔진 5에서 렌더링된 데모를 시청할 수 있다.

컨베이의 창립자 겸 CEO인 푸르넨두 무케르지(Purnendu Mukherjee)는 “컨베이의 툴은 게임용 엔비디아 ACE를 통해 레이턴시와 품질 요건을 달성함으로써 모든 개발자가 경제적으로 AI NPC 캐릭터를 개발할 수 있도록 지원한다”고 말했다.

로컬 또는 클라우드에서 게임 모델용 엔비디아 ACE 배포

게임용 엔비디아 ACE를 가능하게 하는 신경망은 다양한 크기, 성능, 품질 조정을 통해 여러 기능에 최적화되어 있다. 게임용 ACE 파운드리 서비스를 통해 게임용 모델을 미세 조정한 다음 실시간 추론을 위해 엔비디아 DGX 클라우드(Cloud), 지포스(GeForce) RTX PC 또는 온프레미스를 통해 배포할 수 있다.

이러한 모델은 게임에서 몰입감 있고 반응이 빠른 상호 작용을 위한 핵심 요소인 낮은 레이턴시에 최적화돼 있다.

게임 경험을 혁신하는 생성형 AI

게임 개발자와 스타트업은 이미 워크플로우에 엔비디아 생성형 AI 기술을 접목하고 있다.

유럽의 선도적인 게임 개발사 중 하나인 GSC 게임 월드(GSC Game World)는 차기작 '스토커 2: 하트 오브 체르노빌(S.T.A.L.K.E.R. 2: Heart of Chernobyl)'에 오디오투페이스를 채택하고 있다.

인디 게임 개발사인 폴른 리프(Fallen Leaf)는 화성을 배경으로 하는 3인칭 공상 과학 스릴러인 포트 솔리스(Fort Solis)의 캐릭터 얼굴 애니메이션에 오디오투페이스를 사용하고 있다.

AI를 통해 가상 캐릭터를 구현하는 회사인 카리스마.ai(Charisma.ai)는 오디오투페이스를 활용해 대화 엔진의 애니메이션을 강화하고 있다.
 

컴퓨텍스(COMPUTEX)에서 엔비디아 ACE를 포함한 다양한 최신 기술을 사용해 엔비디아 옴니버스를 구축하는 방법에 대해 자세히 알아볼 수 있다.