В продължение на столетия този град играе ключова роля за отбранителната система на Русия. Разположен на границата със съвременна Беларус, Смоленск прикрива най-краткия път от Европа до сърцето на страната – Москва.
Първото споменаване в летописите на бъдещия "щит на Русия", както често наричат Смоленск, е от 863 година. Още тогава градът, който е център на племенния съюз на кривичите, е многолюден и добре укрепен. През 882 г. киевският княз Олег го присъединява към зараждащата се тогава древноруска държава, която днес наричаме Киевска Рус.
След разпадането на последната през XII в. Смоленск става столица на голямо самостоятелно княжество. Процъфтяването на града в онзи период се дължи на факта, че той е важно звено от търговския път от Балтийско море до Византийската империя, известен като пътя "от варягите до гърците".
След опустошителното нашествие на монголите в Рус в средата на XIII в. периодът на благоденствие и спокойствие за Смоленск свършва. При това в основен проблем за града се превръщат не пришълците от изток. Великото литовско княжество, което сериозно е разширило територията си за сметка на отслабените руски земи (литовците дори са превзели контрола над "майката на руските градове" Киев) не може да не включи Смоленск в сферата на своите интереси.
Двете княжества ту действат като съюзници, ту се сблъскват на бойното поле. В крайна сметка, през 1404 г., литовският княз Витовт, след двумесечна обсада, превзема Смоленск, отнема независимостта му и присъединява земите му към своята държава. Шест години по-късно смоляните в състава на полско-литовската войска се включват в разгрома на Тевтонския орден в Грюнвалдската битка. "В това сражение руските рицари от смоленските земи упорито се сражаваха под собствените си три знамена, само те не се втурнаха в бягство и така заслужиха велика слава", пише с възхита за тях полският историк от XV в. Ян Длугош.
Великото Московско княжество, което по онова време се е превърнало в център на обединените руски земи, няма намерение да се примири с факта, че мощната крепост Смоленск, където преминава главният път до Москва, е в ръцете на политическия му съперник. Между руснаците и литовците (а след образуването на Жечпосполита през 1569 г. – и поляците) започва продължила дълги десетилетия схватка за града.
Московчани превземат Смоленск под свой контрол след успешната за тях война от 1512-1522 г., за да го отстъпят на поляците в началото на XVII в. в период на дълбока политическа и икономическа криза за Русия, известна като Смутните времена. Безрезултатно за тях завършва и т.нар. Смоленска война през 1632-1634 година. Едва през 1667 г., след края на Тринайсетгодишната война, която поляците наричат "Руския потоп", градът окончателно преминава под властта на руския цар.
"Смоленск е обширен и добре устроен град. Руснаците го смятат за непобедимото укрепление на своето отечество. Напоследък, след възвръщането му от Полша, влизането в него е забранено за всички чужди министри и посланици заради опасения, че могат да разберат какво е разположението на крепостта и да се възползват от това в случай на война. Мястото на смоленските воеводи е най-почетно и се дава на велможи, заслужили пълното доверие на царя (по това време той е царски родственик). В града има голям гарнизон. Допускането на чужденци в него е забранено и се наказва със смърт", пише за пътуването си австрийският дипломат Лизек Адолф, който посещава Смоленск през 1675 година. За него градските власти правят изключение.
Независимо, че границата на Руската империя се премества сериозно на запад през последвалото столетие, на Смоленск му е съдено да участва в няколко големи сражения. В хода на Отечествената война през 1812 г. именно тук на 3 август се обединяват 1-и и 2-и Западни руски отряди, които дотогава разпръснато отстъпват от западната граница под натиска на "Великата армия" на Наполеон.
На 16 август около Смоленск започва първото мащабно сражение от тази война, в което страната губи около 20 000 души. Руската войска е принудена да отстъпи и да изостави града, но Наполеон така и не успява, както се надява, напълно да разгроми своя противник. Скоро в обхванатия от пожари и изоставен от жителите си Смоленск влиза френската армия. "Тя премина през тези димящи и окървавени развалини с военна музика и обичайната за нея пищност. Но свидетели на славата ѝ нямаше. Това бе зрелище без зрители, почти безплодна победа, кървава слава и дим, който ни обграждаше и сякаш беше единственият резултат от нашата победа и неин символ", пише френският бригаден генерал Филип Пол дьо Сегюр.
В хода на Втората световна война Смоленск се превръща в костелив орех за германската група армии "Център", която настъпва към Москва. Според плановете на командването на Вермахта, градът трябва да бъде превзет до 29 юни, но на немците им се налага да останат тук чак до септември. След като губи 750 000 души (убити, ранени, пленени и безследно изчезнали), Червената армия все пак успява да затрудни немския блицкриг.
"Смоленското сражение продължи два месеца и включваше цяла серия от ожесточени операции, преминали с променлив успех за двете страни и превърнали се в отлична, макар и много скъпа школа по военно майсторство за съветските бойци и командири; ценна школа за съветското командване, включително и за Върховното главнокомандване, при организирането на съвременен бой с толкова упорит, силен и опитен враг, при управлението на войските в хода на ожесточени, често сменящи формата си борби", отбелязва в мемоарите си маршал Александър Василевский. Червената армия освобождава Смоленск на 25 септември 1943 година. След това многострадалният "град-щит" най-накрая излиза в заслужен отдих.