La construcción del fuerte se emprendió en 1481 por iniciativa de los mercaderes de Dartmouth, que querían proteger tanto sus viviendas como el fondeadero. Remodelado y ampliado en los ss. XVI y XVIII, brinda unas magníficas vistas del mar y el estuario. Se trata del primer castillo inglés cuyo sistema defensivo permitía el uso de artillería. Desde el castillo, el sendero costero de South Devon ofrece un agradable paseo a lo largo del acantilado.