#ndc_16 데이터를 이용한 게임 밸런싱 - 실험을 통해 적절한 숫자(parameter) 찾기
테스트하면 생각나는 AB 테스트. 환경 변화를 반영하려면 계속 테스트를 유지해야 하는데, 그렇게 하려니 손실 금액이 크다. 그래서 대안으로 여러 테스트를 동시에 진행할 수 있고 테스트 비용이 상대적으로 낮은 MAB(Multi-armed bandit)를 소개하는 발표.
수입을 계산할 때, 이 발표에서 사용하는 fun Index에 대한 소개가 없다고 아쉬워할 필요는 없을 것 같다. 이걸 소개할 수 있는 발표는 없으므로. 포스트모템이면 모를까. 게임마다 다 달라서.
내부에서 사용하는 계산 식이 있는 게임도 있지 않을까? 이걸 서비스로 사용하는 움직임이 있다. 예를 들자면 클래시 로얄에서 멋진 승부를 모아서 보여주는 로얄 TV. 이런 서비스가 있으면 테스트하기도 쉬울 것 같다. fun index를 이걸로 측정해도 될 것 같아서.
AB 테스트가 절실한 곳은 기본 조작법. 보통 게시판에 적힌 몇 개 글과 개인 취향으로 양념해 변경한다. 근거가 미약하지만 반박할 근거 또한 약해서 그냥 들어주곤 한다. 하지만 나조차 변경된 키 때문에 개발할 때 짜증. 생각해보면 MAB까지는 필요 없고 AB 테스트를 하면 딱 좋을 것 같다.
선을 그린 방법이 간지난다.
테스트에는 항상 비용이 들어간다. 명심.
AB 테스트를 해서 B로 결정했는데, 환경이 변해서 A가 더 효율적이라면?
epsilon 값은 개발자가 선택. 작게 잡아서 수입을 늘릴 수도 있고 크게 잡아서 환경 변화를 민첩하게 따라가게 할 수도 있다.
발표
- 발표자: 박장시 (박스앤위스커)
- 발표자료: ndc replay
