El castillo, uno de los más hermosos y grandes de estilo Jacobo I de Inglaterra, fue edificado por Robert Cecil, que confió los trabajos a Robert Lyminge, el arquitecto de Blicking Hall. Éste reutilizó los ladrillos del castillo anterior para construir, según el tradicional plano en E, un palacio que adornó con detalles ornamentales de piedra en las esquinas y balaustradas caladas.