404.php 코드를 보시면 아래와 같습니다.

<?php 
    header("HTTP/1.1 200 OK");
    echo $_SERVER["REQUEST_URI"] . " not found."; 
?>

보면 echo를 호출할 때 "가 이용되기 때문에 사용자 입력으로 "가 오면 오류가 나거나, 추가 인젝션이 될 수도 있을 것 같아

아마도 문제 구축하실 때 의도적으로 "는 인코딩 시켜서 사용하지 못하게 막은 것 같습니다.