변경 내용

• 대회의 성적을 티어로 환산하는 알고리즘이 변경되었습니다.
• 티어는 앞으로 Rating으로 표기되며, 0부터 시작하는 정수로 표기됩니다. 티어의 LP 시스템은 더 이상 사용하지 않습니다.
• 시즌 2의 레이팅은 시즌 1의 성적을 기반으로 측정됩니다. 이에 시즌 1의 랭킹은 시즌 2에서도 보존되며, 이전 시즌의 랭킹을 볼 수 있는 페이지가 곧 추가될 예정입니다.

시즌 1의 아쉬운 점

최상위 사용자일수록 LP 획득이 어려움

이는 티어를 계산하는 과정에서 발생하는 문제입니다. CTF는 모든 티어에서 참여할 수 있기 때문에 대회의 성적만을 순수하게 반영하지 않습니다. CTF 경기가 끝나면 본인과 비슷한 티어를 가진 사용자들의 점수 평균, 그 평균과 비교하는 것이 얼마만큼 믿을 수 있는지 계산합니다. 만약 자신과 비슷한 티어의 사용자가 적다면 그 검색의 범위를 늘리지만, 범위가 늘어날수록 자료는 부정확해집니다.

결과적으로 최상위 사용자가 많은 LP를 획득할 수 있는 가장 이상적인 상황은, 본인과 비슷한 실력을 갖춘 최상위 사용자들이 같은 경기에 참여하여 겨룰 때입니다. 하지만, 특정 CTF에 모든 최상위 사용자가 동시에 참여할 확률이 낮고, 심지어 최상위 구간의 사용자 비율은 전체 사용자 대비 매우 적습니다. 따라서 최상위 사용자는 다른 사용자가 최상위 구간까지 승급하기를 기다리거나, 승리하면 적은 LP를 받고 패배하면 많은 LP가 하락하는 페널티를 안고 참가해야 했습니다. 이는 최상위 사용자들에게 좋지 않은 경험을 제공한다고 판단하였습니다.

티어 분포가 실제 실력 대비 올바르게 형성되지 않음

CTF의 티어는 기본적으로 실력의 척도를 정규 분포로 생각하고 평가합니다. 그리고 각 티어마다 기본적으로 가져야 할 실력대가 존재합니다. 예를 들어, “실버 티어의 사용자는 워게임의 난이도가 2인 문제를 풀 확률이 90%다”와 같이 말할 수 있습니다. 이를 만족하고 있는지 지속적으로 모니터링을 했지만, 경기가 진행될 수록 의도한 티어 분포와 실제 실력대가 맞지 않는 것을 확인했습니다. 이에 의도한 스케일로 조정하기 위하여 별도의 수정이 필요하다고 판단하였습니다.

아쉬움을 줄이기 위한 선택

LP 시스템이 제거됩니다

기존의 시스템을 단순하고 직관적으로 변경하여, 앞서 가지는 문제점을 줄이고자 합니다. 먼저, 가장 개선이 필요한 부분은 LP시스템입니다.

LP 시스템을 채용한 이유는 단순히 하나의 티어 구간에 속한 사용자들은 같거나 비슷한 실력 구간 대에 존재하지만 미세한 차이가 존재하고 이를 강조할 필요가 있다고 믿었기 때문이었습니다. 예를 들어 다이아몬드 1과 다이아몬드 3은 같은 다이아몬드 구간으로서 의도된 난이도의 문제를 모두 비슷한 확률로 해결할 수 있지만, 해결에 필요한 혹은 문제의 본질을 이해하는 시간 등이 미세하게 차이가 나고, LP를 획득할 수록 그 능력이 더욱 상위의 티어와 비슷해지는것을 나타내기 위함이었습니다. 하지만 해당 시스템을 복잡하게 받아들이는 사용자분들이 많으며, 미세한 차이가 아닌 더욱 명확한 실력의 차이가 존재한다고 받아들여지는 문제점(실제로는 정말로 근소합니다!)이 있었습니다. 따라서 LP로 표기하는 시스템 대신 같은 구간의 사용자로 보이도록 하며 강조의 세기를 줄인 디자인과 체계로 수정했습니다.

사용자의 티어 변동을 더욱 추적하기 쉽게 변경합니다

기존 CTF를 열정적으로 참여해주신 분들이 많이 보내주신 피드백으로 “자신이 어느 대회에서 높은 점수를 얻었는지 추적하고 싶다”라는 의견을 많이 보내주셨습니다. 이에 따라 Mypage에서(혹은 마이페이지) 그래프로 트렌드를 보여주도록 수정하여, 본인의 티어 증감을 쉽게 확인할 수 있습니다.

시즌 2 티어 공식의 특징

공지를 통해 CTF 티어 산정 방식의 모든 것을 투명하게 설명해 드리면 이를 악용하거나 이득을 취하기 위한 여러 시도가 있을 수 있기 때문에 구체적인 설명을 할 수 없다는 점에 먼저 양해를 구합니다. 대신 이전과 눈에 띄게 달라지는 부분을 따로 정리해 드리고자 합니다.

지속적인 상태에 크게 반응합니다

시즌 1의 공식에도 연승과 연패가 고려되어 높은 성적을 지속적으로 내시는 분들은 레이팅의 변동이 크게 발생합니다. 하지만 느껴지는 변동의 크기가 미미하거나 변동이 발생하는 경우의 수가 사용자 입장에서 다소 무작위로 발생하는 것 처럼 느껴질 수 있습니다. 이는 의도적으로 시스템을 조정한 것이며, 어뷰징을 방지하기 위해 보수적으로 레이팅 시스템을 디자인한 결과입니다. 하지만 의도와 달리 사용자에게 되려 부정적인 경험을 주는 경우가 많아 이를 개선하기로 결정 했습니다.

시즌 2는 사용자 입장에서 사용자의 상태에 따른 본인의 상태에 따른 변화량을 쉽게 체감할 수 있도록 변경되며, 이전보다 그 측정의 기준 또한 명확하게 정해두었기에 개선된 느낌을 즉각적으로 받으실 수 있을 겁니다.

배치 경기의 변화량 감소

기존 시즌 1에선 처음 CTF를 기준으로 5개의 CTF를 배치 경기 대상으로 삼고, 이 경우 발생할 수 있는 티어의 변동 크기를 의도적으로 크게 조절했습니다. 동시에 배치 경기의 부담을 줄이고자 레이팅이 감소하는 경향을 보이는 경우 이전보다 현재 사용자에게 적용된 레이팅이 실제 실력과는 거리가 멀다는 의미로 불확실한 상태로 표시하되, 실제 감소하는 레이팅의 크기는 다소 낮게 설정해 쉽게 복구할 수 있도록 했습니다. 이는 임의의 사용자가 본인의 실력에 맞는 레이팅으로 빠르게 수렴할 수 있도록 의도적으로 설정한 방식이며, 다른 서비스나 게임에서도 자주 볼 수 있는 설계입니다.

하지만 배치 경기 시스템이 정상적으로 동작하기 위해선 CTF에 참여하는 인원의 실력대가 비슷하고, 다른 참가자의 실력이 정확한 위치에 이미 수렴해 있어야 합니다(다른 말로 표현하자면 매치메이킹 시스템이 별도로 존재해야 합니다). CTF는 모든 티어의 사용자를 대상으로 진행되었기 때문에 사용자의 실력과 비슷한 모집단의 평균 점수와 레이팅 구간마다의 점수 분포를 구하기 어려운 점이 있었습니다. 모든 사용자가 동시에 배치 경기를 진행하기 때문에 모든 사용자가 부정확한 레이팅으로 대회에 임하게 되고 이것이 오히려 독이 되어 시스템이 레이팅을 측정하는 데 있어 방해 요소로 동작했습니다.

시즌 2는 앞서 본인의 상태에 따른 변화량의 크기가 배치 경기의 크기보다 훨씬 크게 작용하도록 설계되었기 때문에 배치 경기로서의 특색은 많이 감소할 예정입니다. 이에 따라 실제로 체감되는 변동의 크기는 비슷합니다.

시즌 1의 기록은 모두 보존됩니다

여러분들이 꾸준히 참여해주신 시즌 1의 CTF 기록은 다음과 같은 형태로 모두 보존됩니다.

• 시즌 1에서 이뤄진 모든 경기의 결과와 최종 티어의 랭킹은 별도의 랭킹 페이지로 남아 따로 보존됩니다.
• 본래 새로운 시즌이 시작될 때 모든 기록을 소프트 리셋하고 새롭게 출발해야 하지만, 시즌 1에 진행된 경기의 수가 계획된 시즌 2의 경기의 수 보다 극히 작아(실제론 약 20% 밖에 되지 않습니다) 이 기록을 기반으로 새로운 레이팅 공식하에 Replay한 뒤 현재 시즌 2 티어에 반영할 예정입니다.

꾸준한 개선과 투명한 운영을 위해 노력하겠습니다

지금까지 시즌 2에 적용되는 레이팅 시스템의 변화를 설명 드렸습니다. 여러분들에게 보다 정확하고 의미 있는 경쟁을 즐길 수 있는 플랫폼으로 발돋움하기 위해 앞으로도 더욱 노력하고자 합니다.

앞으로도 경과를 지켜보며 작은 수정을 거쳐나갈 생각입니다. 하지만 새롭게 적용한 공식을 다시 크게 갈아엎기 보단 적용된 공식을 일부 수정하거나 새로운 측정 기준을 포함하는 식의 형태로 전환하면서 보다 공평하고 정확한 측정을 목표로 나아갈 것입니다.