Vzhľadom na jeho strategickú polohu na anglickej hranici so Škótskom nie je prekvapujúce, že hrad Carlisle je rekordérom v počte obliehaných miest na Britských ostrovoch. Úloha Carlisle ako významného administratívneho a vojenského centra sa začala pred takmer 2 000 rokmi, keď sa stal rímskym Luguvaliom. Najstaršia pevnosť v Carlisle, postavená z dreva a drevnej hmoty, bola postavená na mieste, kde je dnes neskorší hradstojí a okolo vojenského komplexu vyrástlo bohaté mesto. Úloha Carlisle ako pevnosti na severnej hranici pokračovala aj v ranom stredoveku, keď bol súčasťou kráľovstva Rheged. Rôzne príbehy spájajú kráľa Artuša s Carlisle; hovorí sa, že tu mal dvor. Keď bolo kráľovstvo Northumbria mocnosťou na severe, Carlisle sa stal aj dôležitým náboženským centrom.

Rytina hradu Carlisle, 1829

Normanský hrad sa začal stavať za vlády Viliama II., syna anglického dobyvateľa, v čase, keď bol Cumberland považovaný za súčasť Škótska. Po vyhnaní Škótov Viliam II. vyhlásil tento región za anglický a v roku 1093 bol na mieste staršej rímskej pevnosti postavený drevený normanský hrad motte and bailey. V roku 1122 nariadil Henrich I. postaviť kamennú pevnosť; mestoZ tohto obdobia pochádzajú aj hradby. Ďalšie dejiny Carlisle odrážajú turbulentné anglicko-škótske vzťahy a Carlisle a jeho hrad v priebehu nasledujúcich 700 rokov mnohokrát zmenili majiteľa. Mesto bolo tiež dejiskom triumfu a tragédie panovníkov oboch krajín. Dávid I. Škótsky získal Carlisle opäť pre Škótov po smrti Henricha I. Pripisuje sa mu, že postavil "veľmi silná pevnosť", čo môže naznačovať dokončenie prác začatých Henrichom I. Hrad sa vrátil do anglických rúk za Henricha II (1154 - 1189), ktorý za správcu dosadil Roberta de Vaux, šerifa z Cumberlandu. Správcovia a neskôr dozorcovia hradu zohrávali dôležitú úlohu pri udržiavaní poriadku na anglicko-škótskej hranici.

Hrad sa ďalej rozvíjal, keď sa Carlisle stal hlavným sídlom Eduarda I. počas jeho prvej škótskej kampane v roku 1296. V nasledujúcich troch storočiach bol Carlisle sedemkrát obliehaný, vrátane dlhého obliehania Robertom Bruceom po Bannockburne. Nakoniec sa hrad dostal pevne do anglických rúk a stal sa sídlom Wardens of the West March.postavený za vlády Henricha VIII., keď jeho inžinier Stefan von Haschenperg navrhol aj typicky henrikovskú citadelu. Mária, škótska kráľovná, bola v roku 1567 uväznená vo Warden's Tower. Koncom 16. storočia bol z hradu Carlisle, vtedy tiež väzenia, odvážne zachránený známy pohraničný reverend Kinmont Willie Armstrong. Aj po únii korún v roku 1603 bol hrad Carlisle stálezachoval si vojenskú tradíciu a počas občianskej vojny bol držaný pre kráľa, až kým nebol nútený vzdať sa po tom, čo parlamentné obliehanie prinútilo obyvateľov podriadiť sa. Hrad bol tiež dobytý a držaný jakobitskými silami v roku 1745. Dnes vojenská tradícia tejto mocnej severnej pevnosti pokračuje prostredníctvom Múzea vojenského života v Cumbrii.