Дворец Пальфи расположен на площади Йозефплац в центре Вены. Кроме этого дворца, семье Пальфи принадлежит также дворец Пальфи на улице Вальнерштрассе.
Первый раз дворец появляется в документе XIV века, в котором граф Майтбург упоминается как хозяин здания в 1357–1372 г. г.
Более чем через век, в 1474 г., во дворце расположилась канцелярия нижней Австрии, которая переехала сюда с улицы Доротеегассе.
Около 1500 г. дворец принадлежал известному европейскому путешественнику, Зигмунду фон Херберштайн, и был передан принцу Кински в 1547 г.
В конце XVI века Рудольф Куэн фон Беласи, барон Ламбахский, решил снести дворец и построил на его месте другой. Новое здание было построено в ренессансном стиле, а Рудольф Куэн фон Беласи расширил его путем покупки соседних участков, а также включения части дворца графа Зальма. Дочь барона фон Беласи вышла замуж за графа Пауля Пальфи фон Эрдёдя.
После смерти дочери дворец перешел во владение семьи Пальфи.
16 октября 1762 г. дворец получил широкую известность как место, в котором шестилетний Вольфганг Амадей Моцарт дал концерт «Наннерл» вместе со своей сестрой. Здесь же, в так называемом «Зале Фигаро», первый раз была представлена его опера «Женитьба Фигаро».
Во второй половине XIX века дворец был перестроен, однако оригинальный исторический фасад был сохранен.
После окончания Первой Мировой войны дворец Пальфи перешел в государственную собственность. В 1944 г. здание было повреждено во время бомбежек, и отстроено в послевоенное время. Фасад дворца был снова восстановлен в оригинальном виде, а внутренние комнаты снова построены по-новому.
Сейчас дворец Пальфи, типично австрийское здание, является резиденцией австрийского культурного центра и тем самым служит местом важных культурных и социальных мероприятий, таких как императорские концерты. Кроме того, здесь проводятся различные выставки.