x64dbg 홈페이지를 들어가자마자 보이는 문구입니다.

An open-source x64/x32 debugger for windows.

즉 윈도우용 동적 분석 도구입니다.

디버깅을 시작하시면 알아두어야 할 중요한 점 중 하나가 바로 운영체제(OS) 별로 실행할 수 있는 파일의 포맷이 다르다는 점입니다.

OS별 포맷 종류는 다음과 같습니다.

• windows: PE
• linux : ELF

문제에서는 Ubuntu 16.04라고 나와있으니 linux임을 알 수 있고 이는 ELF 파일임을 짐작할 수 있습니다.
그러므로 이 문제를 풀기 위해서는 ELF 파일을 실행시킬 수 있는 linux 환경과 ELF 분석이 가능한 디버거, 예를 들어 ghidra, ida free 같은 무료 정적 분석 툴이 필요하게 됩니다.