안녕하세요, 최근에 만들어진 Project S1ngularity 팀입니다.

LLM은 전반적으로 박학다식하고 뛰어난 능력을 보여주지만, 아직 인간의 지적 능력을 완전히 따라잡지 못했습니다. 특히 정적인 텍스트에 정적인 응답을 제공하는 언어 모델의 특성상 불완전한 정보를 가진, 불확실성이 존재하는, 시행착오가 필요한 문제 해결에는 한계를 보입니다. CTF 문제 풀이가 바로 이러한 영역 중 하나입니다.

저희는 독창적인 발상과 창의적인 아이디어를 토대로 이 한계를 극복할 수 있는 아키텍처를 설계했습니다. 기본적으로 LLM에게 필요한 모든 도구를 제공했습니다. 저희 시스템은 샌드박스 환경에서 에이전트가 파이썬 인터프리터를 실행할 수 있도록 하며, 루트 권한과 인터넷 접속이 가능한 에이전트는 제약 없는 컴퓨팅 환경에서 문제를 해결할 수 있습니다.

물론 이는 기본적인 요소에 불과합니다. 저희는 LLM의 제한된 Context window 문제를 해결하기 위해 메모리 요약 모델을 설계하고 구현했습니다. 이 모델은 리버스 엔지니어링 작업에서 이론상 수천 개의 함수를 분석하면서도 Context window가 소진되지 않도록 불필요한 정보를 효과적으로 제거하는 동시에, 문제 해결에 필수적인 맥락은 유지합니다.

저희는 현재 파운데이션 모델을 추가 학습 없이 그대로 활용하고 있지만, 이것만으로도 놀라운 가능성을 확인했습니다. 현재 저희 시스템은 드림핵 워게임과 CTF 문제를 인간의 어떠한 개입이나 도움 없이 해결할 수 있습니다. 즉, 문제의 다운로드 링크와 설명만 제공하면 다운로드부터 압축 해제, 코드 및 바이너리 분석, 솔버 코드 작성, 플래그 획득까지 모든 과정을 모델의 자율적인 판단과 도구 호출로 수행합니다.

최근 개최된 LA CTF에서는 인간의 도움 없이 AI 에이전트만으로 일시적으로 14등을 기록했습니다. (최종 253등) 만약 문제 풀이를 병렬로 진행했다면 한동안 1등을 차지했을 것입니다. 리버싱, 포너블, 웹, 암호학 등 다양한 분야의 문제를 해결했으며, 리모트 문제도 성공적으로 풀었습니다.

암호학 문제에서는 First blood를 달성하기도 했습니다.

AI 에이전트의 특성상 한 문제를 짧게는 30초, 길어도 몇 분 내에 해결할 수 있어, 이미 기초 문제 정리와 시간 절약에 매우 유용한 도구가 되었습니다. 이제 인간은 더 어렵고 복잡한 문제에만 집중할 수 있습니다.

학습 데이터 제작에 대해

저희는 앞서 소개한 아키텍처를 기반으로 CTF 및 취약점 분석에 특화된 AI 에이전트를 훈련할 계획이며, 이를 위해 고품질의 데이터셋이 필요합니다. 일반적인 CTF Write-up은 기본적으로 요약된 정보만 담고 있으며, 문제를 다운로드받는 순간부터 플래그를 획득하는 순간까지의 실제 사고 과정과 판단은 그 수십~수백 배에 달합니다. 따라서 인터넷에 공개된 정보만으로는 에이전트 학습에 충분하지 않다고 판단했고, 특화된 학습 데이터 제작을 위한 플랫폼을 개발 중입니다.

학습 데이터 제작에 참여하신다면 마치 조각상을 정교하게 깎아내는 작업을 하게 됩니다. 첨부파일 다운로드부터 플래그 획득까지의 모든 사고, 행동, 판단이 학습 대상입니다. 단순히 문제가 풀리는 과정만으로는 부족하며, 모든 사고와 행동이 충분한 이유와 합리성을 갖추고 자연스럽고 정교한 논리적 흐름을 가져야 합니다.

예를 들어, 모델이 다운로드 URL에 challenge.zip이 포함되어 있음에도 파일 다운로드 후 별도로 압축 해제 코드를 실행한 것만으로도 개선 대상이 됩니다. (URL에서 이미 압축 파일임을 알 수 있었으므로)

파일을 압축 해제한 후, strings로 내부 문자열을 먼저 확인할지, file로 타입을 먼저 확인할지, 또는 두 가지를 동시에 수행할지와 같은 사소한 과정도 엄격한 검증 대상이 되며, radare2로 바이너리를 분석하는 과정은 훨씬 더 많은 심사숙고가 필요합니다.

이러한 과정을 통해 만들어진 데이터셋은 매우 큰 가치를 지닙니다. 파인튜닝 데이터셋은 크기보다 품질이 모델 성능을 좌우하는 것으로 알려져 있으며, 저희는 SFT로 달성할 수 있는, 최고 수준의 전문성과 성능 향상에 도전합니다.

마무리

평소에 문제 해결 과정이나 사고 자체에 깊은 관심을 가진 분들은 이 프로젝트에 적합할 것입니다. 문제 풀이 과정을 녹화하고 복기하는 분들도 환영합니다.

앞으로 CTF 팀은 AI 에이전트 없이는 경쟁력을 유지하기 어려워질 것이며, 더 나아가 CTF 자체가 AI들만의 경쟁장이 될 수도 있습니다.

데이터셋 제작에 참여하시는 분들에게는 최고 수준의 CTF AI 에이전트 접근 권한을 제공하며, 추가로 프로젝트 참가자는 연구 목적으로 OpenAI API를 무제한으로 이용하실 수 있습니다. (Tier 4이므로 o3-mini-high 사용도 가능합니다!)

저희는 2~3명 정도를 모집할 계획입니다. 모든 전문 분야를 환영합니다.
읽어주셔서 감사합니다.

디스코드 liberty_rapid
이메일 liberty_rapid@proton.me