Miðað við stefnumótandi staðsetningu hans við landamæri Englands að Skotlandi kemur það ekki á óvart að Carlisle kastali eigi metið yfir mest umsetna stað á Bretlandseyjum. Hlutverk Carlisle sem mikil stjórnsýslu- og hernaðarmiðstöð hófst fyrir næstum 2.000 árum, þegar það varð Roman Luguvalium. Elsta virkið í Carlisle, byggt úr timbri og timbri, var byggt þar sem síðari kastalinn stendur nú, og ríkur bær ólst upp í kringum herstöðina. Hlutverk Carlisle sem virki á norðurlandamærunum hélt áfram á fyrri miðaldatímanum þegar það var hluti af konungsríkinu Rheged. Ýmsar sögur tengja Arthur konung viðCarlisle; það er sagt að hann hafi haldið dómstóla hér. Þegar konungsríkið Northumbria var stórveldi í norðri varð Carlisle einnig mikilvæg trúarmiðstöð.

An engraving of Carlisle Castle, 1829

The Norman Kastalinn var byrjaður á valdatíma Vilhjálms II Englands, sonar sigurvegarans, en þá var Cumberland talið hluti af Skotlandi. Eftir að hafa hrakið Skotana á brott, gerði Vilhjálmur II tilkall til Englands á svæðinu og árið 1093 var byggður Norman motte og bailey-kastali úr viði á staðnum þar sem fyrri rómverska virkið var. Árið 1122 fyrirskipaði Hinrik I að reisa steinhöll; borgarmúrarnir eru líka frá þessum tíma. Síðari saga Carlisle endurspeglar óróa í samskiptum ensk-skoska og Carlisle og kastali hennar skiptu oft um hendur á næstu 700 árum. Borgin var einnig vettvangur sigurs og harmleiks fyrir konunga beggja landa. Davíð I af Skotlandi tók Carlisle aftur fyrir Skota eftir dauða Hinriks I. Hann er talinn hafa byggt „mjög sterka varðveislu“ þar, sem gæti bent til þess að verkinu sem Henry I hófst hafi verið lokið. Kastalinn var aftur í enskum höndum undir stjórn Hinriks II (1154–1189) sem setti Robert de Vaux, sýslumann í Cumberland í embætti landstjóra. Ríkisstjórar, og síðar varðstjórar, í kastalanum gegndu mikilvægu hlutverki við að viðhalda reglu meðfram ensk-skosku landamærunum.

Kastalinn þróaðist enn frekar þegar Carlislevarð að höfuðstöðvum Edward I í fyrstu skosku herferð hans árið 1296. Á næstu þremur öldum var Carlisle umsátur sjö sinnum, þar á meðal langvarandi umsátur Robert the Bruce eftir Bannockburn. Kastalinn varð að lokum fastur í enskum höndum og varð að höfuðstöðvum varðstjóra vesturmarssins. Frekari gríðarstór borgarvarnir voru smíðaðir á valdatíma Hinriks VIII, þegar verkfræðingur hans Stefan von Haschenperg hannaði einnig hina dæmigerðu Henrician borgarvirki. Mary Skotadrottning var fangelsuð í Warden's Tower árið 1567. Í lok 16. aldar var hinu alræmda landamæraveri Kinmont Willie Armstrong bjargað áræði úr Carlisle-kastala, sem þá var einnig í fangelsi. Jafnvel eftir Krónusambandið árið 1603, hélt Carlisle-kastali enn hernaðarhefð sinni og var haldið fyrir konunginn í borgarastyrjöldinni þar til hann var neyddur til að gefast upp eftir að umsátur þingmanna svelti íbúana til undirgefni. Kastalinn var einnig tekinn og haldið af jakobítasveitum árið 1745. Í dag heldur hernaðarhefð þessa öfluga norðurvirkis áfram í gegnum herlífsafnið í Cumbria.