Wtedy to w tym miejscu został wybudowany tzw. dom narożny. W XV wieku powstały w jego sąsiedztwie budynki mieszkalne, jeden od ulicy Brackiej, drugi od placu Wszystkich Świętych. W połowie XVIII wieku zabudowę scalono i przekształcono w barokowy pałac. Kolejna przebudowa fasady w stylu neoklasycystycznym nastąpiła w 1815 roku, kiedy to pałac trafił w ręce znanego architekta Szczepana Humberta. Swą nazwę pałac zawdzięcza baronowi Karolowi Larischowi, współzałożycielowi Krakowskiej Szkoły Rzemieślniczej, który kupił nieruchomość w 1833 roku. Pałac został zniszczony przez płomienie wielkiego pożaru w 1850 roku. Odbudowany cztery lata później w stylu neobaroku został przekazany przez barona Larischa miastu, stając się budynkiem użyteczności publicznej. Mieściło się tu m.in. Towarzystwo Przyjaciół Sztuk Pięknych, a także pierwsze krakowskie Seminarium Nauczycielskie i Szkoła Ćwiczeń, do którego uczęszczał Stanisław Wyspiański. Wraz z nim uczyli się tu malarz Józef Mehoffer oraz historyk prawa i pisarz Stanisław Estreicher.