Construido con madera de palma, muy abundante en la zona, el Fuerte Moultrie se hizo famoso como bastión contra los británicos durante la batalla de la Isla de Sullivan en 1776. Los suaves troncos de palma que formaban los muros del fuerte primitivo sirvieron para repeler el ataque de los Casacas Rojas, absorbiendo los proyectiles británicos. Tras la batalla, la palma fue adoptada como símbolo del Estado de Carolina del Sur, actualmente conocido como el Estado de la Palma. La presente estructura de ladrillo data de 1809; la instalación militar estuvo en activo hasta 1947.