네, 말씀대로 물리적인 메모리 주소에는 실제로 차이가 있습니다. 하지만 이럴 경우 메모리 주소를 관리하기가 굉장히 힘들어지기 때문에 운영체제 단에서 가상메모리 주소로 프로그램을 관리하게 됩니다.

그래서 어느 컴퓨터에서 실행하든 항상 똑같은 주소에서 시작하게 됩니다. 다만 메모리 보호 기법 PIE, ASLR등으로 가상메모리 주소에 랜덤한 값이 붙는 경우도 있습니다.