Too many question (rev-10단계)가 딸깍으로 뚫리고, 갑자기 풀이자가 급증하고 있네요..
GPT로만 9~10단계의 문제가 풀리는 걸 보니 신기하기도 하고, 한편으로는 아쉽기도 합니다
분명히 LLM을 활용하고, 그에 맞는 프롬프트를 활용하는 것도 하나의 능력이고, LLM없이 문제를 푸는게 어쩌면 너무 시대에 못따라가는 것일수도 있지만, 누군가가 몇일, 몇주간 고생을 하고 노력을 해서 푼 문제를 단 몇시간만에 노력 없이 GPT로만 풀어서 문제를 제출하는게 무슨 의미가 있나 싶네요
LLM만을 사용해서 워게임을 풀고서는 난이도 투표를 안하는건 어떨까 싶습니다
제출하던지 말던지는 본인의 자유이고, 난이도 투표 또한 본인의 자유 의지겠지만,
유저들끼리 투표를 해서 문제의 난이도를 정해가는 과정에서 LLM만으로 푼 문제에 투표하는 건 워게임 문제 난이도의 객관성을 해칠 수 있는 행동이라는 개인적인 생각을 가지고 있습니다
저는 워게임을 AI로 푸는 건 충분히 합리적인 선택이라고 생각합니다.
결국 워게임의 본질이 바이너리를 분석하고 flag를 얻는 과정이라면,
그걸 가장 효율적으로 할 수 있는 수단을 쓰는 건 이상한 일이 아니니까요.
AI도 도구고, 그 도구를 잘 활용하는 것도 능력이라고 생각합니다.
다만 워게임을 단순히 점수를 올리거나 플래그를 따는 데서 얻는 성취감에서 끝나는 게 아니라
지식 탐구나 해킹에 대한 깊은 이해를 목표로 삼는 사람에게는
AI로만 푸는 방식이 큰 의미가 없을 수도 있다고 느낍니다.
그리고 문제 출제자의 의도와 상관없이
AI로 문제를 풀고 난이도 투표까지 하는 건 좀 조심스러워야 하지 않나 하는 생각도 드네요 .
AI와 공존하는 세상에서, AI를 활용하지 않는 것은 멍청하다고 생각됩니다.
다만, AI에게서 얻어낸 답을 제출하고 난이도 투표하는 것은 형평성에 어긋나는 행위라고 생각이 듭니다.
pwnable문제 9레벨은 LLM이 풀어내지 못하며 실제로 한달내내 잡아서 풀었으나
reversing문제 9레벨은 LLM이 10분 내로 풀이합니다.
둘의 난이도는 사실상 비슷한데, LLM의 개입으로 solve 수가 많아지는데 난이도는 그대로라... 사실 애매하기는 하죠
문제 풀이에서는 LLM의 개입을 신경쓰지 않더라도 CTF에서는 AI의 개입을 어느정도 막을 필요는 있어보이기는 합니다. 이번 귤CTF에 참여하면서 writeup을 제출했었고 그걸로 평가도 해주시던데 그런 시스템이나 별도 검증시스템이 들어가있으면 좋을 것 같다는 의견입니다.
사실 이것도 사람이 하는 행동인지라 AI로 풀어놓고 그 내용을 습득하는 것은 본인의 의지겠지만
AI가 얻어준 답을 그대로 제출하는 것도 본인의 의지기도 하구요.
그리고 무작정 답 얻어달라고 해서 답이 생기는 것도 아니고 어떻게 활용하느냐에 따라 또 AI가 답을 얻어주기도 하고 헤메기도 하고 하니까 이부분에 대해서는 AI를 활용하여 문제풀이를 하는 당사자가 받아들이기 나름이지 않을까요.