El palacio debe su nombre a dos nobles "Madamas" que residieron en él en los ss. XVII-XVIII: Cristina de Francia (1606-1663), viuda de Víctor Amadeo I, y María Juana Bautista de Saboya-Nemours (1644-1724), viuda de Carlos Manuel II. En el s. XVII se dotó al castillo de los ss. XIV-XV de un gran salón de aparato. En el s. XVIII, el arquitecto Juvara realizó la espléndida fachada barroca y la suntuosa escalera monumental. El palacio alberga en la actual el magnífico Museo Municipal de Arte Antiguo.