Sovrastante Piazza San Francesco, Palazzo Canova fu la residenza estiva dell'illustre scultore Antonio Canova nei primi anni dell'800.
Nel 1645, sotto il pontificato di Innocenzo X, Ferdinando Orsini era ancora duca di San Gemini e il ritrovamento di una pianella su cui è stata incisa la data 1645, conferma la ricostruzione in quegli anni della parte più antica del palazzo, da parte di Antonio da Sangallo il Giovane; la riedificazione della struttura fu terminata nel 1695 sotto Giovanni Antonio Orsini.

Antonio Canova, affascinato dalla città, comprò tra il 1813 ed il 1816 il palazzo e altri possedimenti in località Vall'Antica da Bartolomeo Terzi e ne fece una residenza di villeggiatura. Successivamente l'edificio fu ceduto ai frati Cistercensi e da questi, all'inizio del secolo, alla famiglia Medici, attuale proprietaria. L'occupazione tedesca ci hanno privato, purtroppo, di quei tesori che il palazzo conteneva.