На одной из самых высоких точек естественного скального хребта на территории Пражского града уже в конце X века была основана резиденция пражского епископа. Археологами были найдены остатки стен из камней песчаника. В качестве связующего материала служил ил. Это и были фрагменты стены самого первого каменного дома в Пражском граде, не сохранившегося до наших дней, а вот капелла при доме дожила до 1880 г. — т.е. до достройки собора Святого Вита. Капелла была однонефная с полукруглой апсидой.
После пожара 1142 г. к капелле был пристроен новый трехэтажный дворец, сохранившийся по большей части в стенах нынешнего объекта. Еще в романский период он был расширен, когда к нему прибавилось северное крыло, с аркадами в нижнем уровне.
Романское ядро дома теперь уже не читается так явственно, поскольку объект пережил большое количество перестроек. Исключение составляет восточный фасад, где сохранились фрагменты каменной кладки, а также можно увидеть спаренное окно с опорой на уровне романского третьего этажа.
Дворец многократно перестраивался, в 1662 г. был перестроен в стиле барокко и в таком виде сохранился до наших дней.
