На месте, где стоит Архиепископский дворец, в эпоху средневековья находилось 8 городских домов с участками. Основой современного дворца стало строительство дома секретаря чешской палаты и фаворита императора Фердинанда I Флориана Гриспека из Гриспаха в стиле раннего ренессанса в 1538 г. Пожар 1541 года остановил строительство, для окончания которого был использован императорский кирпич.
В 1561 г. объект купил Фердинанд I, передав его в распоряжение пражского архиепископа Антонина Бруса, с тех пор здесь разместилась архиепископская резиденция. Вскоре после этого началась реконструкция по проектам придворных архитекторов Вольмута и Аосталли в стиле зрелого ренессанса, дополненная в позднем ренессансе.
В конце XVII в. осуществилась перестройка объекта в стиле раннее барокко по проекту французского живописца Матея, которого пражский архиепископ Ян Фридрих Вальдштейнский назначил своим придворным архитектором под патронажем Лураго, а в 20-х г. XVIII в. была построена консистория (епископская канцелярия).
Современный вид дворец приобрел в 1764—1765 гг. по проекту Вихра, представителя пражского рококо, поэтому его называют еще и Вихровым дворцом.
Архиепископский дворец — объемно-пространственная структура. Четырехэтажная постройка, представляющая пражское позднее барокко и рококо, занимает участок неправильной формы.
Это здание в четыре крыла с внутренними дворами, первый из которых разделен двухъярусным мостом с аркадным коридором на две части. Следующий двор находится между основным корпусом и консисторией и четвертый двор, окруженный хозяйственными постройками, находится на северной стороне.
Главный фасад дворца направлен в сторону Градчанской площади. Главный портал из мрамора решен в стиле барокко, боковые — в позднем барокко. Пилястры и полуколонны проходят через все этажи, либо объединяют два верхних. Балконы на третьем этаже над порталами украшены ажурными решетчатыми ограждениями. Ризалит центральной части переходит в надстройку, завершающуюся треугольным фронтоном с тимпаном.
Окна в каждом этаже решены по-разному: прямоугольные в двух нижних этажах, арочные в центральном ризалите (выступе) и над боковыми порталами и небольшие круглые и квадратные в четвертом этаже. Весь фасад украшен пластическим декором (теперь копии) работы мастерской Платцера, включая большой герб архиепископа Пршиховского, вписанный в коронный карниз между 4-м этажом и надстройкой с аттиком. Пластика, украшающая дворовые фасады (с фрагментами ренессансного сграффито) — также копии работ Платцера.
В целом интерьеры дворца сохранили позднебарочный характер, в этом стиле решена парадная лестница, также украшенная пластиками Платцера, Тронный зал с уникальными гобеленами и Обеденный зал с портретами пражских епископов и работами именитых художников, до сего дня дошли позднебарочные люстры и изразцовые камины.
Большинство помещений первого этажа перекрыто сводами, плоские потолки 2-го и 3-го этажей богато отделаны штукатурными украшениями, а в капелле Св. Иоанна Крестителя сохранился позднеренессансный свод, покрытый фресками, штукатурная лепка, рельефные изображения покровителей в нишах, рельефы пробстов, аббатов, декана карлштейнского капитула и т.д.
В 1949—1951 гг. здесь был интернирован тайной полицией архиепископ Йозеф Беран.
Во время ремонта в конце XX в. архиепископство временно переезжало в семинарию на Дейвице, после чего вернулось во дворец.