Haip의 공동 창립자 Jan Bartnik, Szymon Milas가 ‘발로 모르티스 플레이테스트: 우리가 놓친 데이터 속 AI가 본 것은 무엇일까’를 주제로 플레이테스트 결과를 AI로 분석하면서 생기는 착오와 수정 과정을 공개했다.

Haip는 플레이어가 게임을 플레이하는 과정 속에서 일어나는 일을 AI 연구원이 분석하는 방식으로 플레이테스트를 진행한다. 특히 AI를 사용해 플레이 테스트를 진행하므로 전세계에서 언어와 상관없이 모든 시간대에서 한번에 100명 이상의 플레이테스트 데이터를 수집할 수 있었다.

테스트 과정을 예를 들면 원거리 교전이 일어난 상황이라면 올바른 해답은 플레이어는 소총 류의 무기를 드는 것이지만 플레이어가 갑자기 다른 무기를 들고 뛰는 상황이 펼쳐진다면 사람은 그 이유를 지금까지 맥락적인 플레이에서 찾아보게 된다. 그 플레이어가 원거리 무기를 선호하지 않아서 다른 무기를 들었구나 하는 것처럼 말이다.

하지만 AI는 그 상황에서 실제 플레이하는 플레이어의 말과 행동으로 인간이 놓친 것을 찾아내고 틀린 이유를 찾는 방식으로 다른 서비스를 제공한다.

그리고 그 과정에서 AI가 다른 결과 값이 나온 이유를 더 정확히 찾았다고 밝혔다.

실제로 230시간 동안 진행된 플레이테스트 기간 동안 한 사람이 모든 패턴을 기록할 수는 없지만 AI는 가능했다. 물론 AI가 틀린 순간도 있었다. 바로 플레이어의 말 없이 화면에 의미 있는 결과값이 도출될 때였다.

그리고 사람이 하는 일은 바로 이 두 가지를 결합해 의미 있는 답을 찾는 것이라고 Simon은 조언했다.

다시 발로 모르티스 플레이테스트에 대한 이야기를 하자면 Haip는 이런 방식으로 230시간 동안 게임을 테스트했고 AI가 찾아낸 불만사항을 개발사에 전달했다. 그리고 개발자가 테스트 결과를 받아 들이고 고친 결과 실제 플레이어들의 좋은 평가가 이어졌다.

AI는 230시간 동안 플레이어의 데이터를 어떤 식으로 수집하고 정리했는지를 알아보자면 우선 플레이어의 혼잣말을 계속 수집했다.

두 명의 플레이어가 같은 구간에서 막혔을 때 한 사람은 “여기가 막힌다. 운이 중요하다. 카지노 같다”라고 말했지만 다른 한 명은 계산이 힘들다 말하고 20분 간 침묵하다 문제를 해결했다.

이 상황에서 Simon은 후자에 더 집중해 그가 어떤 방식으로 해결할 수 있었는지를 살펴 데이터로 저장해야 한다고 조언했다. 물론 혼잣말을 계속하던 사람이 왜 실패했는지도 확인해볼 가치는 있다. 왜냐하면 여기서 AI가 놓치는 것들을 찾을 수 있기 때문이다.

어떤 플레이어는 지속된 전투에서 계속 실패하며 “건강을 되찾고 싶다”라고 혼잣말을 하면서도 적과의 전투를 도망가지 않고 적극적으로 진행했다. 그리고 이 플레이어에 대해 AI는 강한 힘을 추구해 건강이 떨어질까봐 우려한다고 평가했다.

하지만 실제 해당 플레이어는 빠르게 회복이 가능한 위치로 이동하기 위해 적과의 싸움을 적극적으로 했던 것이었다.

이 외에도 AI의 오류를 일으키는 이유 중에 하나는 정확하게 무언가를 지정하지 않고 이거, 저거라고 언급하는 것으로 그에 대한 사람의 체크가 필요했다.

한편 Szymon Milas은 게임에서 AI 플레이테스트가 필요한 이유 중에 하나를 버그 수정 때문이라고 전했다.

플레이 테스트 기간 동안 약 40% 정도의 버그가 인간 테스터가 주의 깊게 보지 않아 놓친 경우로 AI는 이를 모두 관찰하고 비디오 자료로 남기기 때문에 버그의 빠른 수정이 가능했다.

한편 오늘 발표를 진행한 Haip의 공동 창립자는 “우리가 테스트하는 것은 바로 플레이어들의 감정이다”이라며 플레이어들이 어떤 것에 흥미를 갖고 즐기는지와 같은 것인지를 확인하는 것이며 그렇기에 우리가 할 일은 심플하다”라고 전했다.

바로 혼자 또는 누군가와 게임을 진행할 때 이것과 반대되는 상황을 AI로 확인하고 막는 것이다고 전하며 강연을 마무리했다.