LLM 성능이 좋아지기 전에 해킹을 접해서 다행이라는 생각이 드네요

요즘은 저도 문제를 풀때 LLM 도움을 많이 받고있긴 하지만, 문제가 어려워질수록 점점 스스로 생각하는것을 멈추고 모든 추론과정을 LLM에게 맏기게 되면서 LLM의 답변에 대해서 별다른 검증없이 믿게되는게 무섭더군요.

지금이야 어느정도 직접 분석하면서 문제를 푸는 방법을 익혀둬서 LLM의 답변이 정말 올바른것인지 판단하고 LLM이 제대로 분석하지 못하거나 정책상 알려주지 않는 부분은 직접 분석해보면서 의존성을 조절하는것이 가능하지만 해킹을 처음 접했을때 이런 편리하고 성능좋은 LLM이 있었다면 얼마나 많이 의존했을지 상상이 안되네요.

물론 처음 입문하는 사람의 입장에서는 분석하고 이해하려고 삽질하는데 쓰는 시간을 줄여주는 구원자나 다름없지만, 저는 오히려 LLM이 입문자가 오랜시간 삽질해보면서 스스로 분석하고 생각하면서 문제를 해결해보는 경험 자체를 빼앗는건 아닐까 하는 생각도 듭니다. 저에게 이런 경험은 워게임이나 CTF뿐만 아니라 리얼월드를 뛰거나, 문서화 되지 않아서 LLM이 해결하기 힘든 복잡한 문제를 해결할때 많은 도움이 됐었기 때문에 이게 과연 좋은 현상인걸까 하는 생각이 듭니다. 다들 어떻게 생각하시나요?

작성자 정보
익명 (121.185)
마치 내비게이션과 같죠. 내비게이션이 모든 길을 알려주니 길을 외울 필요가 없어졌으니까요. 하지만 내비게이션이 먹통인 낯선 곳에 떨어졌을 때, 기계에만 의존하던 사람은 지도만 쥐여주면 당황해서 길을 찾지 못할 겁니다. 반면 평소에 지리를 익히며 내비게이션을 그저 '도구'로만 활용했던 사람은 지도 한 장만 있어도 문제없이 길을 찾아가겠죠.
솔직히 CTF 뛸 때마다 허탈합니다. 이게 해킹대회인지 AI 활용 대회인지 분간도 안 가고요. 저도 해킹에 LLM을 쓰는거 자체엔 동의하고 실제로 GPT를 적극적으로 활용하며 문제를 풀긴하지만 이렇게까지 그냥 딸깍으로 푸는건 너무 본질을 잃은 느낌이네요.