Императорский дворец в Госларе был построен в 1040-1050 годах во времена правления Генриха III. Генрих III скончался в 1056 году. Его сердце покоится в золотой капсуле в часовне при дворце.
Императорский дворец на протяжении всей его истории преследовали различные потрясения.
В 1065 г. во дворце возник пожар.
В 1107 г. в спальню императора ударила молния. Говорят, что она повредила меч и щит императора, прислоненные к кровати.
В 1132 г. произошла ужасная трагедия: рухнула часть здания, как раз в то время, когда во дворце проходило собрание аристократии и духовенства, несколько человек погибли.
В 1289 году, как пишет источник того времени, здание сгорело дотла, и хоть жители и постарались восстановить его как можно быстрее, но дворец постепенно перестал быть резиденцией императоров и начал приходить в запустение.
На закате средневековья от великолепного дворца, который летописец Лампорт фон Херсфельд уже в 1077-1078 годах восторженно называл «первым адресом империи» и «домашним очагом» немецких королей, почти ничего не осталось.
Когда в 1865 году рухнула часть пришедшей в запустение императорской резиденции, дворец был восстановлен на средства правительства Ганновера. Тогда же по желанию императора главный зал был расписан художником Германом Вислиценусом картинами с историческими сюжетами, прославляющими немецкую историю.
В последующие годы патриотической эйфории дворец снова обрел значение нового или вновь открытого национального памятника. Сегодня он считается ценным образцом романской светской архитектуры.
О раннем дворце, сооруженном при императоре Генрихе III, мало что известно. К нему, пожалуй, можно отнести обнаруженные в 1886-1887 годах фундаменты, расположенные восточнее императорской резиденции.