В 1909 году к 200-летию Полтавской битвы в присутствии императора Николая II на месте четвёртого бастиона у Мазуровских крепостных ворот, где происходили последние и самые ожесточённые штурмы шведов, открыли памятник коменданту крепости А. С. Келину и ее защитникам.
Автором проекта памятника был глава комиссии по организации празднования 200-летия Полтавской битвы генерал-майор, барон А. Бильдерлинг (1846–1912 гг.). Скульптуры памятника по рисункам А. Бильдерлинга выполнил известный скульптор-анималист А. Обер (1843–1917 гг.).
Памятник был сооружен в форме гранитного обелиска на постаменте. Бронзовая фигура двуглавого орла с лавровым венком в когтях завершала обелиск. На главном фасаде пьедестала была установлена бронзовая фигура льва и бронзовая доска с надписью: «Доблестному коменданту Полтавы полковнику Келину и славным защитникам города в 1709 году. Установлен при усердии императора Николая II 27 июня 1909 года». На обратной стороне обелиска размещался бронзовый герб губернской Полтавы.
В 1921 году с памятника демонтировали скульптурное изображение двуглавого орла. В таком виде он просуществовал до начала Второй Мировой войны.
Во время гитлеровской оккупации (1941–1943 гг.) скульптурное изображение льва и все бронзовые доски были демонтированы и вывезены в Германию.
В послевоенное время под руководством главного архитектора Полтавы Л. Вайнгорта и при консультациях художника П. Горобца местным скульптором-любителем В. Хомой была выполнена модель-реконструкция скульптурного изображения льва. Новые тексты на воспроизведенных досках были отредактированы. Вместо немного удлиненного обелиска установили обработанные гранитные блоки, верхний из которых имел пирамидальное завершение. Бронзовый герб Полтавы был установлен на фасадной стороне обелиска. Утерянные во время войны металлические шары-ядра столбиков цепного ограждения были заменены на гранитные, а висячие цепи ограждения — на более длинные, лежащие на земле и с более массивными звеньями.
На 2012 год на фасадной стороне обелиска установлена табличка с текстом: «Доблестному коменданту Полтавы полковнику Келину и славным защитникам города в 1709 году». На тыльной стороне памятника табличка: «1-го апреля 1709 года Карл XII осадил Полтаву. Три месяца гарнизон и жители города геройски отбивали все атаки шведов. Последние ожесточённые штурмы отбиты доблестными полтавчанами 21–22 июня 1709 года.».