Renesanční objekt byl zcela přestavěný barokně koncem 17., nebo na počátku 18. století. Dnešní krásná rokoková přestavba je pochází od Josefa Jagera kolem roku 1765. V současnosti zde sídlí velvyslanectví Japonského císařství.