Dopo una violenta rivolta cittadina che comportò la morte del consigliere Tommaso da Tortona, nel settembre 1385 Niccolò II d’Este avviò i lavori per la costruzione del castello ferrarese, divenuto col tempo simbolo della città.
I lavori furono affidati a Bartolino da Novara, progettista anche del simile castello di Mantova, con l’obiettivo di costruire una fortezza volta a garantire il controllo sulla città. Risalgono a questo periodo le robuste torri quadrate che delimitano il castello, i ponti levatoi, il fossato e il passaggio coperto che univa il castello con la residenza dei marchesi d’Este.
Nel 1477, come conseguenza di un colpo di stato fallito nel 1476, il duca Ercole I decise di trasferirsi nel castello, trasformandolo in reggia signorile. L’aspetto austero dell’edificio fu ingentilito con la costruzione delle balaustre marmoree che corrono lungo tutto l’edificio,  l’aggiunta delle altane sopra le torri e l’apertura del cortile d’onore, da cui, tramite una rampa, si raggiunge il piano nobile, con lo splendido giardino pensile degli aranci, opera di Girolamo da Carpi (1554). Di qui si accede alla residenza degli Este, con una serie di appartamenti affrescati da pittori manieristi locali, tra cui Camillo e Cesare Filippi, e Sebastiano Filippi detto il Bastianino. Tra questi locali è anche la cappella di Renata di Francia, rara esempio di cappella calvinista in Italia.
La torre di sud-est è nota col nome di Torre della Marchesana, mentre quella di sud-ovest è la Torre di San Paolo. A nord-ovest è la Torre di Santa Caterina, mentre a nord-est è la Torre dei Leoni, da cui si può godere uno splendido paesaggio sulla città.