Одеон назывался также Агриппейон, в честь приемного сына одного из генералов Августа — Маркуса Випсиана Агриппы, под руководством которого Одеон и был построен в 14—16 г. н. э.
Здание представляло собой крытый концертный зал размером 51,4х43,2 м., ширина перекрытия на то время была большой — 25 м. Вокруг центрального зала находились две колоннады, состоявших из коринфских колонн. Сохранившиеся капители этих колонн можно увидеть вокруг Одеона. В зале могли разместиться около 1000 человек, которые сидели на 19 рядах скамей вокруг орхестры, вымощенной мрамором.
Снаружи здание было украшено коринфскими пилястрами. Главный вход для зрителей был расположен с южной стороны здания, с доступом из террасы средней стои. В северном фасаде находился небольшой портик для доступа к сцене.
Около 150 г. н. э. крыша Одеона упала и зданию была нужна перестройка. Интерьер был разделен крестообразной стеной, из-за чего вместимость зала уменьшилась вполовину, до 500 гостей. В это же время на фасад были поставлены статуи гигантов со змеиными хвостами и тритонов, — морских созданий с рыбьими хвостами. Туловища гигантов сделаны по образцу статуи Гефеста на восточном фронтоне Парфенона, тритонов — по образу Посейдона на западном фронтоне.
Во II веке н. э. Одеон служил главным образом как место для проведения лекций, что объясняет наличие большого количества статуй философов. Музыкальные представления в то время были перенесены в новопостроенный Одеон Герода Аттика.
В 267 г. н. э. племена Герулов во время своего набега превратили здание в кучу камней. Лишь в V веке на месте бывшего Одеона был построен большой комплекс со стенами из камней и кирпича. Здание состояло из множества комнат, дворов с перистилями и банями. Об этом здании часто говорят как о Гимнасии Агриппы, но это могла быть также школа, университет или шикарный дом губернатора Афин. Четыре статуи гигантов и тритонов со старого здания были использованы для украшения фасада нового, на этом месте они находятся и сегодня.