По преданию, одними из первых обрели вечное упокоение на берегах Черной речки, как тогда называлась Смоленка, артельные работные люди из Смоленска. Громадные городские постройки потребовали большого числа рабочих рук, и на Васильевском острове поселились те, кого монаршая воля призвала в Петербург. Однако жить было негде. Первое время ночевали под открытым небом, к тому же, из-за дороговизны не хватало съестных припасов. Непривычный образ жизни, тяжкие труды свели в могилу многих. Место захоронения строителей Петербурга нарекли Смоленским полем. Официальной датой рождения кладбища можно считать 23 октября 1738 года, когда святейший Синод постановил: «В Санкт-Петербурге погребению быть надлежит на Васильевском острове у Черной речки, между 18 и 23 линиями, к какому месту дорогу расчистить от вновь наросшего кустарнику и поделать канальцы».
В 1756 году стихийно росшее кладбище было благоустроено и обнесено «городьбой». Первая деревянная церковь на кладбище была построена заботами императрицы Елизаветы Петровны и освящена после двух лет постройки 30 сентября 1760 года во имя Смоленской иконы Божией Матери. Затем к ней был пристроен освященный 6 ноября 1772 г. теплый Михайловский придел.
2 июня 1786 года митрополит Новгородский и Санкт-Петербургский Гавриил прибыл на Смоленское кладбище и сам назначил место для построения нового храма. Многие купцы бесплатно доставляли песок, кирпич, лес. Все материалы подвозились по Смоленской речке к самому месту постройки. Спустя четыре года строительство закончилось. Каменная церковь была построена в 1786–1790 годах по проекту архитектора профессора Алексея Иванова.
Первым 26 сентября (9 октября) 1790 года был освящен придел во имя апостола и евангелиста Иоанна Богослова, где установили иконостас из упраздненной Богословской церкви на Выборгской стороне. Через пять дней, 1 октября 1790 года был освящен ее главный придел во имя иконы Смоленской Божией Матери. Иконостас для него вырезали охтинские мастера во главе с Яковом Дунаевым, образа написали И. А. Акимов и Г. И. Козлов.
В облике церкви отразилось влияние принципов зрелого классицизма. Прямоугольное в плане здание увенчивал один большой круглый барабан, плавно переходящий в низкий и широкий купол византийского типа. К главному объему с запада примыкали трапезная и невысокая двухъярусная колокольня со шпилем. Все здание отличали простота форм, скупость деталей, скромность архитектурного образа, отвечавшие настроению окружения.
Старая деревянная церковь в 1792 году была перестроена и освящена в честь архистратига Михаила. День за днем благоукрашался и каменный Смоленский храм, его композиция всё более усложнялась, так архитектор Адмиралтейств-коллегии Андреян Дмитриевич Захаров пристроил к церкви северный придел.
Благоустроение Смоленского храма продолжалось и в XIX веке — с юга на средства церковного старосты купца Илии Антонова в 1831 была начата пристройка Ильинского придела, освященного 24 июня 1833 года. Тогда же надстроена на один ярус колокольня и сделана новая просторная паперть с западной стороны.
В другой пристройке, возведенной по проекту академика К. Н. Вербицкого, был 1 октября 1892 освящен придел Иоанна Предтечи, который украшал иконостас в византийском стиле кисти М. М. Васильева. Северный и южный приделы были украшены шестиколонными дорическими портиками. При храме был устроен звон, «приличный столичному кладбищу». Положено начало церковной библиотеке.
В 1932 году из закрытого Казанского собора в церковь была передана величайшая национальная святыня — икона Казанской Божией Матери.
В сентябре 1940 года Смоленская церковь была закрыта, Казанская икона была передана в Князь-Владимирский собор.
В период послевоенного потепления отношения Советского государства к Церкви, храм был возвращен верующим и вновь освящен 8 февраля 1947 года, тогда же его интерьер приобрел современный вид. В послевоенные годы этот храм был единственным действующим на Васильевском острове и привлекал огромное количество верующих. Недаром его называют одним из самых намоленных в Петербурге.
В 1987–1988 годах Смоленская церковь была полностью отремонтирована. Засияла позолотой резьба иконостасов и киотов, промыто стенное письмо, расчищена живопись многих икон. Преобразилась церковь и снаружи. Свое 200-летие в 1990 году храм Васильевского острова встречал во всем великолепии.
В наши дни храм имеет три престола: главный — освященный в честь Смоленской иконы Божией Матери, северный — в честь иконы Божией Матери «Милующая», или «Достойно есть», и южный — в честь святой блаженной Ксении Петербургской. В северной части храма находится Рождественский придел, не имеющий отдельного престола.