Biorąc pod uwagę jego strategiczne położenie na granicy Anglii ze Szkocją, nie jest zaskoczeniem, że zamek Carlisle jest najczęściej obleganym miejscem na Wyspach Brytyjskich. Rola Carlisle jako głównego ośrodka administracyjnego i wojskowego rozpoczęła się prawie 2000 lat temu, kiedy stało się ono rzymskim Luguvalium. Najwcześniejszy fort w Carlisle, zbudowany z drewna, został zbudowany w miejscu późniejszego zamku.Wokół kompleksu wojskowego wyrosło bogate miasto. Rola Carlisle jako fortecy na północnej granicy była kontynuowana we wczesnym średniowieczu, kiedy było częścią królestwa Rheged. Różne opowieści łączą króla Artura z Carlisle; mówi się, że trzymał tu dwór. Kiedy królestwo Northumbrii było potęgą na północy, Carlisle stało się również ważnym ośrodkiem religijnym.

Rycina przedstawiająca zamek Carlisle, 1829 r.

Normański zamek powstał za panowania Wilhelma II Angielskiego, syna Zdobywcy, kiedy to Cumberland był uważany za część Szkocji. Po wyparciu Szkotów, Wilhelm II zażądał tego regionu dla Anglii, a w 1093 r. na miejscu wcześniejszego rzymskiego fortu zbudowano drewniany normański zamek typu motte and bailey. W 1122 r. Henryk I nakazał budowę kamiennego donżonu; miasto zostało zbudowane na planie kwadratu.Późniejsza historia Carlisle odzwierciedla burzliwe stosunki angielsko-szkockie, a Carlisle i jego zamek wielokrotnie przechodziły z rąk do rąk w ciągu następnych 700 lat. Miasto było również sceną triumfu i tragedii monarchów obu krajów. Dawid I ze Szkocji ponownie zajął Carlisle dla Szkotów po śmierci Henryka I. Przypisuje mu się, że zbudował "abardzo silną twierdzę", co może wskazywać na zakończenie prac rozpoczętych przez Henryka I. Zamek powrócił w angielskie ręce pod rządami Henryka II (1154-1189), który ustanowił Roberta de Vaux, szeryfa Cumberland jako gubernatora. Gubernatorzy, a później strażnicy zamku, odgrywali istotną rolę w utrzymaniu porządku wzdłuż granicy angielsko-szkockiej.

Zamek rozwinął się jeszcze bardziej, gdy Carlisle stało się kwaterą główną Edwarda I podczas jego pierwszej szkockiej kampanii w 1296 r. W ciągu kolejnych trzech stuleci Carlisle było oblegane siedem razy, w tym przez Roberta Bruce'a po Bannockburn. Ostatecznie mocno w angielskich rękach, zamek stał się siedzibą Strażników Zachodniej Marchii. Kolejne masywne fortyfikacje miejskie toZbudowany za panowania Henryka VIII, kiedy to jego inżynier Stefan von Haschenperg zaprojektował również typowo henrykowską Cytadelę. Maria Królowa Szkotów została uwięziona w Warden's Tower w 1567 r. Pod koniec XVI wieku osławiony pogranicznik Kinmont Willie Armstrong został brawurowo uratowany z zamku Carlisle, wówczas również więzienia. Nawet po unii koron w 1603 r. zamek Carlisle nadal był więzieniem.Zachował swoją tradycję wojenną, będąc utrzymywany dla króla podczas wojny domowej, dopóki nie został zmuszony do poddania się po tym, jak oblężenie parlamentarzystów zmusiło okupantów do poddania się. Zamek został również zdobyty i utrzymywany przez siły jakobickie w 1745 r. Dziś tradycja wojskowa tej potężnej północnej fortecy jest kontynuowana przez Muzeum Życia Wojskowego Kumbrii.