Il baluardo della Montagna rientra tra i lavori di fortificazione voluti da Alfonso I nel primo Cinquecento. Costruito con la terra di riporto degli scavi delle mura (la terra pressata era un ottimo materiale per resistere al fuoco delle artiglierie, secondo solo ai più elastici mattoni), che andarono a costituire una piccola montagnetta artificiale, da cui il nome, il baluardo si presenta sopraelevato rispetto al profilo della cortina muraria.
Al suo interno si trovava il giardino della Delizia estense dei Bagni Ducali, ultima delizia costruita e luogo di fuga cittadino degli Este, ricordata persino da Ariosto nei suoi scritti.