Мраморный дворец, архитектурный памятник второй половины XVIII века, оценивался современниками как «единственный в своем роде». Построенный на месте Почтового двора петровского времени, он стал великолепным завершением парадной Дворцовой набережной Невы.
Екатерина II, предназначавшая Мраморный дворец в подарок графу Г. Орлову, поручила его строительство итальянскому архитектору Антонио Ринальди (1709–1794 гг.).
Строительство дворца, начатое в 1768 году, продолжалось 17 лет, до 1785 года. Основным строительным материалом для внешней и внутренней отделки здания являлся естественный камень — гранит и разноцветные мраморы, что придало дворцу неповторимое своеобразие и дало ему впоследствии имя «Мраморный».
Мраморный дворец поражал современников своей роскошью, великолепием интерьеров и красотой скульптурного и живописного убранства.
Однако все это великолепие первый владелец дворца, граф Г. Орлов, не увидел — он умер в 1783 году, когда окончательная отделка интерьеров дворца была еще не завершена. Екатерина II выкупила дворец у наследников Г. Орлова в казну и в 1796 году подарила его своему внуку — великому князю Константину Павловичу по случаю его бракосочетания с принцессой Саксен-Заальфельд-Кобургской Юлианой-Генриеттой-Ульрикой (приняла православие, получив при крещении имя Анны Федоровны).
Затем, в 1832 году император Николай I пожаловал Мраморный дворец своему второму сыну — великому князю Константину Николаевичу. При нем была предпринята капитальная реконструкция дворца, порученная придворному архитектору А. Брюллову. А. Брюллов не имел выбора — реставрировать дворец или переделывать его: уже в 1830 году, несмотря на постоянные ремонтно-реставрационные работы, здание находилось в аварийном состоянии, а сохранившаяся отделка, вплоть до дверных полотен и паркета, была демонтирована. Архитектор не внес изменений в оформление фасадов здания и сохранил, в основном, планировку его помещений. По проектам А. Брюллова заново оформлялись интерьеры залов Мраморного дворца, при этом отдавалось предпочтение позднему Ренессансу, готике, рококо и классицизму.
В 1888 году владельцем дворца становится сын Константина Николаевича, великий князь Константин Константинович. Для него в 1880–1890-е годы создается на первом этаже ряд апартаментов: Английский кабинет, Готическая музыкальная гостиная, Нижняя библиотека. Константин Константинович — известный русский поэт Серебряного века, подписывавший свои произведения криптонимом «К. Р.», был и замечательным переводчиком произведений Гете, Шиллера, Шекспира.
Мраморный дворец при Константине Константиновиче стал центром культурной жизни столицы: в его залах проходили музыкальные вечера, на которых собирался интеллектуальный цвет столицы, читались и обсуждались лучшие произведения иностранных и русских авторов, ставились спектакли, в которых принимали участие сам Константин Константинович, его жена, великая княгиня Елизавета Маврикиевна, и их дети.
В 1919–1936 гг. в Мраморном дворце размещалась Российская Академия истории материальной культуры.
В 1937 году в залах Мраморного дворца были развернуты экспозиции ленинградского филиала Центрального Музея В. И. Ленина. Новое использование помещений привело к утрате архитектурной отделки залов второго этажа (были уничтожены уникальные камины и декоративные ткани, в залах закрасили искусственный мрамор, забелили росписи и живопись). Переделки практически не затронули только Парадную лестницу и Мраморный зал, сохранившие, в основном, авторскую отделку А. Ринальди.
Парадная лестница дворца декорирована серым уральским мрамором, ступени сделаны из темно-зеленого брусненского песчаника. В центре перекрытия Парадной лестницы помещен плафон немецкого живописца XVIII века И. Криста «Суд Париса».
Каменное убранство Мраморного зала поражает многоцветием, нарядностью и богатством, совершенством обработки мраморов, отменным вкусом в его подборке и расположении. В отделке Мраморного зала использовано семь сортов мрамора греческих, итальянских, уральских, карельских и сибирских пород. Украшают зал барельефы скульпторов Ф. Шубина и М. Козловского и плафон С. Торелли «Торжество Венеры».
В январе 1992 года Мраморный дворец был передан Государственному Русскому музею, и с этого времени начался новый период в его истории.
В 1994 году в Мраморном дворце открыт «Музей Людвига в Русском музее», основу которого составили произведения современных художников Европы, России и Америки, переданные в дар Русскому музею известными немецкими коллекционерами Петером и Ирэной Людвиг. Экспозиция «Музея Людвига в Русском музее» постоянно пополняется за счет приобретений и даров.
В 2001 году после реставрации открылся Белый (Готический) зал, оснащенный современным высокотехнологичным оборудованием для проведения конференций, симпозиумов, телемостов.