Barokovo-rokoková stavba patrí k najkrajším a najzachovalejším stavebným pamiatkam z uvedeného obdobia. Pomenovaná je po poslednom majiteľovi – barónovi Dr. Emilovi Mirbachovi.
Zmienka o parcele, na ktorej Mirbachov palác stojí, pochádza z roku 1379. Budovu od jej vzniku vlastnilo viacero majiteľov viac či menej významného mena. K najznámejším majiteľom patril komorný radca Juraj Szombathely, po ňom dom prešiel do vlastníctva rodu Illésházyovcov.
Budova sa v dokumente z roku 1443 spomína ako Weittenhof – široký dvor, pod ktorým bola známa ešte v 18. storočí.
V druhej polovici 16. storočia to bola ešte drevená stavba, v ktorej sa konali v roku 1666 evanjelické bohoslužby (spoluvlastníkom susedných domov je dodnes Evanjelická cirkev).
Stavba 23. októbra 1733 vyhorela, zvyšky domu v roku 1762 kúpil pivovarník Johann Michael Spech. O pár rokov neskôr získal povolenie na výstavbu nového domu. V roku 1770 už stál na danom mieste reprezentačný mestský barokový palác. Autor projektu je neznámy.
Po dokončení Spech palác predal grófovi Imrichovi Csákymu. Posledným súkromným majiteľom paláca bol Dr. Emil Mirbach, ktorý ho získal v roku 1917. Mirbach ho v poslednej vôli zanechal mestu, pretože si bol vedomý jeho ceny a hodnoty umeleckých diel, ktorými bol palác zariadený. V poslednej vôli žiadal, aby bol palác sprístupnený verejnosti ako múzeum.
Mesto palác získalo v roku 1949. V apríli 1975 sa stala budova sídlom Mestskej galérie. V roku 1963 bol Mirbachov palác zapísaný do štátneho zoznamu kultúrnych pamiatok.
