Med tanke på dess strategiska läge vid den engelska gränsen mot Skottland är det inte förvånande att Carlisle Castle har rekordet för den mest belägrade platsen på de brittiska öarna. Carlisles roll som ett viktigt administrativt och militärt centrum började för nästan 2 000 år sedan, när staden blev romerska Luguvalium. Det tidigaste fortet i Carlisle, som byggdes av trä och timmer, uppfördes där det senare slottet nu liggerCarlisles roll som fästning vid den norra gränsen fortsatte under tidig medeltid när staden var en del av kungariket Rheged. Olika berättelser kopplar kung Arthur till Carlisle; det sägs att han höll hov här. När kungariket Northumbria var en maktfaktor i norr blev Carlisle också ett viktigt religiöst centrum.

En gravyr av Carlisle Castle, 1829

Det normandiska slottet byggdes under Vilhelm II av England, son till Erövraren, då Cumberland ansågs vara en del av Skottland. Efter att ha drivit ut skottarna gjorde Vilhelm II anspråk på regionen för England och år 1093 byggdes ett normandiskt motte and bailey-slott i trä på platsen för ett tidigare romerskt fort. År 1122 gav Henrik I order om att bygga en stenborg; stadenCarlisles senare historia speglar de turbulenta anglo-skotska relationerna, och Carlisle och dess slott bytte ägare många gånger under de kommande 700 åren. Staden var också skådeplats för triumfer och tragedier för monarker från båda länderna. David I av Skottland tog Carlisle till skottarna igen efter Henrik I:s död. Han är känd för att ha byggt "envery strong keep" där, vilket kan tyda på att det arbete som påbörjats av Henrik I slutfördes. Slottet var åter i engelska händer under Henrik II (1154-1189) som installerade Robert de Vaux, sheriff av Cumberland som guvernör. Guvernörerna, och senare slottsvakterna, hade en viktig roll för att upprätthålla ordningen längs den anglo-skotska gränsen.

Slottet utvecklades ytterligare när Carlisle blev högkvarter för Edward I under hans första skotska fälttåg 1296. Under de följande tre århundradena belägrades Carlisle sju gånger, inklusive en långvarig belägring av Robert the Bruce efter Bannockburn. När slottet slutligen var fast i engelska händer blev det högkvarter för Wardens of the West March. Ytterligare massiva stadsförsvar byggdesbyggdes under Henrik VIII:s regeringstid, då hans ingenjör Stefan von Haschenperg också ritade det typiska Henrician Citadel. Mary Queen of Scots fängslades i Warden's Tower 1567. I slutet av 1500-talet räddades den ökände gränsryttaren Kinmont Willie Armstrong djärvt från Carlisle Castle, då också ett fängelse. Även efter unionen av kronorna 1603, Carlisle Castle fortfarandebehöll sin krigiska tradition och hölls för kungen under inbördeskriget tills det tvingades ge upp efter en parlamentarisk belägring som fick invånarna att svälta. Slottet intogs och hölls också av jakobitiska styrkor 1745. Idag fortsätter den militära traditionen från denna mäktiga fästning i norr genom Cumbrias Museum of Military Life.