“인간이 관여하면 느려지고 AI에게 모든 것을 맡기면 신뢰를 잃는 상황에서 AI에게 맡길 것과 맡기지 않을 것을 어떻게 정하는지가 가장 중요합니다”

‘유저 리서치 3주를 30분으로 - AI에게 맡길 것과 맡기지 않을 것’으로 강연에 나선 넥슨코리아 게임 UX 분석팀 이세왕 분석가가 AI 기반 분석 플랫폼 ‘인사이트 파인더’의 설계 과정에서 생겨난 판단의 노하우를 공개했다. 그는 갈수록 중요해지는 유저 데이터 분석 과정에서의 현실적인 어려움, 또 효율적인 AI 사용으로 시간과 전문성이라는 두 마리 토끼를 전부 사로잡은 비결은 정확한 업무 분담에 있다고 설명했다.

중요해지는 유저 데이터, 비선형 구조의 한계에서 생겨나는 온전한 이해의 소실

먼저 이 분석가는 유저 리서치의 중요성에 대해 설명했다. 하나의 게임임에도 캐주얼 유저, 하드코어 유저가 느끼는 게임의 경험의 차이가 다르고 이런 경험의 차이를 플레이어 행동 로그나 데이터로는 온전히 이해할 수 없기 때문이다. 하지만 게임이 정교해지고 유저 데이터 역시 방대해지면서 데이터를 처리하고 통계적으로 유의미한지 검증하는 데 최소 2~3주가 소요되는 치명적인 병목 현상을 겪었다. 기껏 도출한 분석 결과마저 일회성 문서로 휘발되어 조직의 자산으로 쌓이지 못하는 일도 비일비재했다.

이 분석가 및 UX 분석팀은 이 고질적인 문제를 챗GPT를 대표로 하는 범용 AI로 해결하려 했으나 곧바로 명확한 한계에 부딪혔다. 통계 비전문가가 범용 AI를 사용할 경우, 맥락 없이 지어낸 '그럴듯한 오답(환각, 할루시네이션)'을 걸러낼 수 없었기 때문이다. 이 연구원은 "아예 엉뚱한 답보다 틀린 줄 모른 채 멀쩡해 보이는 오답을 받아드는 것이 의사결정에 가장 치명적인 위험을 초래한다"고 지적했다. 더불어 전문가가 사용하더라도 개개인의 프롬프트에 따라 결과값이 달라져 조직 단위의 통일된 시스템화는 불가능했다.

일론 머스크의 휴먼 인 더 루프(Human in the loop)... AI와 사람의 철저한 분업

이러한 고민 끝에 탄생한 것이 분석 파이프라인의 병목을 제거한 '인사이트 파인더'다. 넥슨은 AI의 한계(허구 생성, 계산 취약성, 인과관계 단정 불가)를 명확히 인지하고, 업무를 세 가지로 분리했다.

일론 머스크가 언급한 ‘휴먼 인더 루프’에서 영감을 얻은 이 업무 분류 방식은 우선 100%의 정확도가 필요한 통계 검증 등 결정론적 업무는 '시스템'이 고정적으로 처리하도록 분리했다. 반면 리버스 코딩 판별이나 데스크 리서치를 통한 맥락 보강, 자연어 요약 등은 'AI'에게 전담시켰다. 사람은 모델이 도출한 결과에 맹점이 있는지 검수하고, 수백번의 연구를 통해 몸에 쌓인 암묵지(감)을 바탕으로 최종적인 인사이트를 도출하는 작업에만 배분한다. 이를 통해 판단이 필요 없는 구간에서는 사람을 빼서 속도를 최고로 올리고 사람이 필요한 구간, 즉 판단이 필요한 지점에 사람을 불러와 업무 효율성을 극대화 시켰다.

이 연구원은 "AI는 못 믿을 구간이 명확하다. 최신 추론모델조차 10~33%의 오류를 기록하고 전문 도메인에서는 훨씬 치솟는다. 모델 세대가 바뀌어도 환각을 없애는 것은 현재까지 구조적으로 불가능하다. 핵심은 모델 성능이 아니라 사람과 AI 사이의 판단을 어떻게 배분하는지에 있다. AI 작업에 사람이 끼면 병목이 발생하지만 그렇다고 사람을 빼는 것은 답이 아니다. 휴먼인더루프의 핵심은 판단이 필요 없는 구간에서 사람을 빼 속도를 올리고, '리서처의 인사이트가 만들어지는 보고서 직전 단계'에만 사람을 정확히 위치시키는 것"이라고 강조했다.

5년, 1만 2천 시간 절약... 소수의 역량이 조직 전체의 자산으로

넥슨은 이 시스템에 '쓰레기를 넣으면 쓰레기가 나온다(Garbage in, Garbage out)'는 원칙을 적용, AI의 모든 해석에는 근거가 되는 정형 데이터를 인용하도록 해 사람이 반드시 검수할 수 있는 구조를 만들었다.

도입 효과는 파괴적이었다. 단 4개월 만에 13개 실로 확산된 인사이트 파인더 덕분에 3~4개에 불과하던 분석 시각이 설문당 평균 19개 각도로 대폭 넓어졌다. 시간으로 환산하면 무려 1만 2,000시간(약 5년)이 절약된 셈이다.

끝으로 이 연구원은 강연을 마치며 "3주가 30분으로 줄어든 시간 단축보다 더 중요한 것은 소수의 리서처만 보유하던 역량이 디렉터, 기획자 등 누구나 자기만의 시선으로 질문할 수 있는 조직 전체의 자산이 되었다는 점"이라며, "누가 어떤 질문을 했는지 그 맥락이 쌓일수록 시스템은 진화하며 좋은 리서치의 선순환을 만들고 있다"고 평가했다.