Costruito a partire dal 1245, fu residenza della famiglia Este fino al 1477, quando Ercole I trasferì la corte all’interno del Castello estense; questi due edifici sono collegati tra loro dalla Via Coperta. Dopo il trasferimento degli Este, il palazzo subì profonde trasformazioni: dal lato di Piazza Savonarola presente un loggiato cinquecentesco, mentre la facciata sul lato cattedrale è una ricostruzione in stile del 1924-28.
Del palazzo originale rimangono il Volto del Cavallo, il grande arco che permette l’accesso al cortile di Piazza Municipio, e l’arco e la colonna (attribuite a Leon Battista Alberti) che sostengono le statue di Niccolò III a cavallo e del duca Borso seduto su uno scranno. Queste statue sono copie di quelle rinascimentali, andate distrutto con l’invasione francese del 1796.
Sul cortile, opera quattrocentesca di Pietro Benvenuti degli Ordini, si staglia il maestoso Scalone d’onore, opera dello stesso architetto, oltre ad alcune finestre marmoree trilobate del palazzo originale.
All’interno vi sono alcune stanze di pregio, tra cui il Camerino delle duchesse, un ambiente di piccole dimensioni ideato con ogni probabilità per Eleonora e Lucrezia D’Este, sorelle di Alfonso II, e decorato da Cesare, Carlo e Sebastiano Filippi (questo ultimo noto come Bastianino).