Gastronómia sa tohto miesta drží už stovky rokov. Menili sa len majitelia, ktorí budovy rekonštruovali, až vznikol komplex Hotela Radisson Blu Carlton.
Komplex Carlton má nevšedne dlhú históriu. Stojí totiž na mieste, kde už v 13. storočí existoval hostinec s názvom U labute. Okolo roku 1760 bol prestavaný na zájazdný hostinec s menom U troch zelených stromov. V tom čase tu boli aj stajne pre cestujúcich.
Ďalšou veľkou zmenou prešla budova v rokoch 1844 až 1846, kedy ho vtedajší majiteľ Johann Löwy nechal prestavať a premenoval ho na hotel U zeleného stromu. Na mieste vznikla podľa návrhu Ignáca Feiglera ml. trojposchodová budova s dvomi dvornými krídlami.
Hotel v roku 1857 odkúpil Jakub Palugyay, ktorý tu už predtým vlastnil kaviareň. Práve v 60 rokoch 19. storočia vstúpil do „hry“ susediaci hotel National. Išlo o rožnú budovu, ktorú tiež časom prerobili na návrh Ignáca Feiglera. Nachádzala sa tu preslávené kaviareň Savoy.
V roku 1905 vzniklo v budove prvé kino dnešného Slovenska, to sa však v 1913 presťahovalo na Hviezdoslavovo námestie s názvom Mladosť. Dodnes funguje a považuje sa za najstaršie kino na Slovensku.
V začiatkoch 20. storočia prebral hotel National Henrich Prüger. Neskončil však len pri Nationali, odkúpil aj vedľajší Gervayov dom a po smrti Karola Palugyaya aj hotel „U zeleného stromu“. Podarilo sa mu spojiť budovy do komplexu a v roku 1913 slávnostne otvoril impozantný hotelový komplex Savoy-Carlton.
Majiteľ Henrich Prüger nezabudol ani na niekdajších majiteľov a prejavil im úctu tým, že spojil ich mená a pomenoval tak svoj hotel. Carlton vznikol spojením mena Karla (Carl) a Antónie (Tonka) Palugyay.
Ďalšími zmenami a prepojeniami prešla budova ešte aj po prvej svetovej vojne. Vtedy nadobudol svoju dnešnú podobu so šiestimi poschodiami a jednotnou fasádou.
Zaujímavosťou je, že si v hoteli nechala Mária Terézia zriadiť vlastnú izbu, prenocovali tu svetoznáme osobnosti ako Albert Einstein, Thomas Alva Edison, Alfred Nobel alebo Jules Verne.
