최근 워게임을 풀다 보면 이상한 느낌이 든다.
새 문제가 올라오면 몇 분 만에 solver가 생기고, 난이도 높은 문제의 풀이 수가 예전과 비교가 안 될 정도로 빠르게 늘어난다.
랭킹은 계속 올라가는데, 정작 그 문제를 왜 그렇게 풀었는지 설명할 수 있는 사람은 점점 줄어드는 것 같다.
이 글은 LLM을 쓰지 말자는 글이 아니다.
워게임과 랭킹이 원래 보여주던 "실력"이라는 의미가 사라지고 있다는 이야기다.
본인이 100% LLM 의존한다면 찔릴수도 있는 이야기...
문제점 (feat. 문제를 LLM으로 만들고 LLM으로 풀거면...)
지금 시대의 워게임은 누굴 위한 워게임인지 모르겠다.
출제자는 LLM으로 문제를 만들고, 풀이자는 LLM에 문제 파일을 넣고 나온 페이로드를 제출한다.
그러면 이 과정에서 사람은 뭘 배운 걸까?
LLM이 만든 문제를 LLM이 푸는 구조라면, 랭킹은 사람의 실력이 아니라 "LLM을 얼마나 빨리 돌렸는가"를 보여줄 뿐이다.
1. 능력을 얻지 못함
플래그는 얻었는데 취약점이 왜 생겼는지 메모리에서 무슨 일이 일어났는지는 모른다.
보안은 정답을 맞히는 분야가 아니라 처음 보는 시스템에서 이상한 점을 찾아내는 분야인데,
그 능력은 막혀서 며칠 고민하는 과정에서 생긴다. 지금은 그 과정을 통째로 건너뛰고 있다.
2. 랭킹이 신뢰를 잃음
랭킹이 허수로 채워지면 결국 아무도 랭킹을 믿지 않게 된다.
그 피해는 직접 고민해서 푼 사람들에게 돌아간다.
3. 출제와 커뮤니티의 질이 떨어진다
공들여 만든 문제가 자동으로 풀리면 좋은 문제를 낼 이유가 줄어들고,
write-up은 LLM 출력을 붙여넣은 글로 채워진다.
보안분야 채용에 대해
1. 랭킹이 더 이상 증명이 되지 않음
지금의 드림핵 워게임은 벤치마킹 사이트랑 다른게 없는것같다.
그동안 랭킹, solve 수, CTF 성적은 학력이나 경력이 부족한 사람이
"나는 이 정도는 한다"를 보여줄 수 있는 몇 안 되는 수단이었다.
특히 고등학생이나 비전공자에게는 거의 유일한 무기였다.
그런데 랭킹이 LLM으로 채워지기 시작했는데
채용하는 쪽에서는 랭킹을 보고도 이 사람이 진짜 실력자인지 알 수가 없다.
결국 랭킹을 참고하지 않게 되고 직접 고민해서 랭킹을 올린 사람도 같이 증명 수단을 잃는다.
2. 채용방식의 전환
서류의 숫자를 못 믿게 되면 기업은 다른 방법으로 검증할 수밖에 없다.
현장 실기, 라이브 코딩, 면접에서 풀이 과정을 처음부터 설명하게 하는 식이다.
이 단계에서 LLM으로 랭킹을 올린 사람은 바로 드러난다.
"이 문제 어떻게 풀었어요?"라는 질문 하나에 막히거나 걍 아무말이나 한다
즉, LLM으로 문제를 풀어서 얻은 실력은
정확히 LLM으로 대체되는 일자리에만 맞는 실력이다.
어떤 기업에서 바이브 코더를 채용하겠다는 말과 다른게 없는 수준이다.
보안분야에서 살아남기
LLM은 이미 공격자도 쓰는 도구다. 쓰는 것 자체가 문제는 아니다.
문제는 도구 없이는 아무것도 못 하는 사람이 "실력자"로 보이는 구조다.
앞으로 LLM이 쉽게 푸는 정형화된 문제의 가치는 떨어지고,
실제 서비스 구조를 이해하고, 여러 취약점을 엮고,
제가 최근에 올렸던 게시글과 비슷한 입장이군요. 워게임도 결국 그 의도가 학습 및 수양이 목적이었는데 이것이 훼손되고 단순히 플래그 빨리 얻기 자체에만 치중된 상황이 너무나도 안타깝습니다.
랭크 시스템이나 CTF 등도 공정성을 사람들이 납득할 수 있도록 개편되었으면 좋겠습니다.