Med sin strategiske placering på den engelske grænse til Skotland er det ikke overraskende, at Carlisle Castle har rekorden for det mest belejrede sted på De Britiske Øer. Carlisles rolle som et vigtigt administrativt og militært center begyndte for næsten 2.000 år siden, da det blev romersk Luguvalium. Det tidligste fort i Carlisle, lavet af træ og tømmer, blev bygget, hvor det senere slot nu er.Carlisles rolle som en fæstning ved den nordlige grænse fortsatte i den tidlige middelalder, da den var en del af kongeriget Rheged. Forskellige fortællinger knytter Kong Arthur til Carlisle; det siges, at han holdt hof her. Da kongeriget Northumbria var en magtfaktor i nord, blev Carlisle også et vigtigt religiøst centrum.

Et kobberstik af Carlisle Castle, 1829

Den normanniske borg blev påbegyndt under Vilhelm II af England, søn af Erobreren, på hvilket tidspunkt Cumberland blev betragtet som en del af Skotland. Efter at have fordrevet skotterne gjorde Vilhelm II krav på regionen for England, og i 1093 blev der bygget en normannisk motte and bailey-borg af træ på stedet for det tidligere romerske fort. I 1122 beordrede Henrik I, at der skulle bygges en borg af sten; byenCarlisles efterfølgende historie afspejler turbulensen i de anglo-skotske relationer, og Carlisle og slottet skiftede hænder mange gange i løbet af de næste 700 år. Byen var også skueplads for triumfer og tragedier for monarker fra begge lande. David I af Skotland tog Carlisle til skotterne igen efter Henry I's død. Han krediteres for at have bygget "ameget stærk borg" der, hvilket kan indikere færdiggørelsen af det arbejde, som Henrik I havde påbegyndt. Borgen var tilbage på engelske hænder under Henrik II (1154-1189), som indsatte Robert de Vaux, sherif af Cumberland, som guvernør. Guvernørerne og senere borgens forvaltere havde en afgørende rolle i opretholdelsen af orden langs den anglo-skotske grænse.

Slottet udviklede sig yderligere, da Carlisle blev hovedkvarter for Edward I under hans første skotske felttog i 1296. I de følgende tre århundreder blev Carlisle belejret syv gange, herunder en langvarig belejring af Robert the Bruce efter Bannockburn. Til sidst var slottet fast på engelske hænder og blev hovedkvarter for Wardens of the West March. Yderligere massive byforsvar blevopført i Henrik VIII's regeringstid, hvor hans ingeniør Stefan von Haschenperg også tegnede det typisk hertugelige citadel. Mary Queen of Scots blev fængslet i Warden's Tower i 1567. I slutningen af det 16. århundrede blev den berygtede grænsedriver Kinmont Willie Armstrong dristigt reddet fra Carlisle Castle, der dengang også var et fængsel. Selv efter unionen af kronerne i 1603 var Carlisle Castle stadigbevarede sin krigeriske tradition og blev holdt for kongen under borgerkrigen, indtil den blev tvunget til at overgive sig, efter at en parlamentarisk belejring sultede beboerne til underkastelse. Slottet blev også erobret og holdt af jakobitiske styrker i 1745. I dag fortsætter den militære tradition fra denne magtfulde nordlige fæstning gennem Cumbrias Museum of Military Life.