이전에 보안 공부를 쭉 했던 사람으로서 CTF대회와 같은 보안 대회에 나가는 일들이 참 많았었는데,
그 당시에는 보안 공부를 위해 책을 살펴보고, 교수님께 질문해보고, 또 해외 커뮤니티들에서 자료를 한땀한땀 찾아갔었어야 했었습니다.
그러나 AI가 등장하고는 달라졌습니다.
킬러 문제를 제외한 간단한 문제들은 10분 이내로 풀어버리기 시작하고, 추론 능력은 인간의 한계를 이미 벗어났습니다.
경진(競進)대회는 분명히 능력주의여야 합니다.
그렇지만 이제 CTF가 과연 능력이 중심되는 능력주의의 경쟁인지에 대한 의구심이 들기 시작했습니다.
<정의란 무엇인가>를 집필한 美 하버드대 교수 마이클 샌델 교수의 책 <공정하다는 착각>이라는 책에서는 능력주의는 공정할 수 없다고 말합니다.
당장 美 아이비리그에서 소득 최하위권에 속하는 학생들은 5% 미만이며, 그런 대학에 가기위해 제대로 된 학습기회를 얻을 수 있는 형편이 되는 집안들은 이미 전부 부르주아(Bourgeois)라는 것입니다.
사실 지금까지 보안이라는 학문을 공부하기 위해서는 다양한 무료 교육들(교육부 정보보호영재교육원 등)과 인터넷에서 볼 수 있는 자료들을 통해 큰 돈을 들이지 않고 공부할 수 있었습니다.
그리고 이런 학습의 결과를 증명하기 위한 수단적 성격으로 CTF라는 대회에 나가기도 했습니다.
이런 교육 시스템들이 존재해 밀리지 않는다는 것은 사실상 샌델이 말했었던 "능력주의의 착각"은 CTF에서는 발동되지 않았었다는 증거가 되기도 합니다.
그렇지만, 이제는 다릅니다.
'누가 더 좋은 AI플랜을 가지고 있는가?'에 대한 경쟁이 되었습니다.
저는 이전까지 AI시대에 질문(質問)을 잘하는 사람이 유리해지는 사회가 반드시 올 것이라고 확신했습니다.
허나, AI의 발전은 이를 짓밟고 무시하는 수준까지 왔습니다.
시간이 지날수록 AI의 추론능력은 점점 발달해갔고, 이에 맞게 대부분의 인공지능 서비스 제공사에서는 추론능력이 우수한 본인들의 AI를 비싼값에 유료로 제공하고 있습니다.
이는 역설적으로 무료 플랜 이용자들은 추론능력이 뒤쳐진 AI를 사용해야한다는 의미이기도 합니다.
그리고 또 이는 프롬프트를 아무리 잘 써도 유료 플랜의 추론 능력에 밀리기에 AI 활용능력도 사실상 동일선상에서 놓여진 것이 아니므로 진정한 의미에서의 실력(實力)주의라고 말할 수 없는 현실을 보여주기도 합니다.
즉, 사실상 현재 CTF는 '가진 자들의 싸움'으로 의미가 변질되었다는 의미로서 해석될 수도 있습니다.
현재 진행되는 CTF 대회의 대부분은 AI를 허용하고 있습니다. 시대의 변화는 아무래도 이기기 어려운 것이 현실입니다.
그렇지만, 이렇게 CTF가 AI를 남용하는 대회가 되어선 아니된다고 생각합니다.
글을 맺으며 현재와 같이 AI 성능 싸움으로 번지는 대회를 과연 실력(實力)을 가를 수 있는 진정한 의미에서의 경진(競進)대회라고 할 수 있는가에 대한 의구심이 드는 건 씁쓸한 현실이지 않은가 싶습니다.
드림핵 디스코드 등에서도 여러 차례 언급이 된 바 있지만, CTF를 열 때 '대회의 목적'을 명확히 하고 이것에 맞게 '규칙을 적용' 하는 것이 가장 현실적인 해결책입니다.
만약 AI가 정말로 기존 대회의 공정성이나 능력주의 등 원래 대회가 갖고자 하는 의미를 해친다면, 그것에 맞춰 규칙을 바꾸어 도구를 제한하거나 콘텐츠를 그에 맞게 바꾸는 것이 올바른 개선 방안입니다.
이번에 드림핵 측에서도 완벽하지는 않지만, 기존의 일반적인 CTF와 AI 사용을 전면 제한하는 No-LLM 대회로 기존 대회를 포크(Fork) 시켰습니다.(No-LLM이 첫 번째 실험이기도 하며, 랭크에 반영되지는 않으므로 아직 완전한 포크는 아닙니다.)
어떤 규칙을 세울지는 개최자 마음입니다. 만약 개최자가 '인간의 순수한 지성 측정', ' 정보 보안 교육', '컴퓨터로 즐기는 지적인 유희(게임)' 등의 목적을 가지고 대회를 개최한다면, AI 등 도구 사용에 금지/제한을 걸 수도 있겠습니다.
그리고 CTF는 본질적으로 컴퓨터로 하는 지적 유희(게임) 입니다. 게임을 잘한다고 정보보안의 모든 것을 마스터 하지는 않으므로, 만약 게임이 현재의 규칙과 설정에서 공정성이 깨지거나 재미가 없다면 규칙을 수정하는 것이 정상입니다.