El palacio perteneció a D. Pablo de Olavide, que tuvo a su cargo la repoblación de la comarca. Destacar la monumental fachada neoclásica.