赤馬村北接池東，南連內垵，東西兩面則為港灣，東港與馬公遙遙相對，在跨海大橋未建之前，其在對外交通上，佔有重要地位。如果將漁翁島看做是一隻靴子，赤馬村就位在靴子的腳踝部分。其土地面積大約52,000平方公尺，為農漁村型社區。