S obzirom na njegov strateški položaj na engleskoj granici sa Škotskom, ne čudi da dvorac Carlisle drži rekord za najopsadnije mjesto na Britanskom otočju. Uloga Carlislea kao glavnog administrativnog i vojnog središta započela je prije gotovo 2000 godina, kada je postao rimski Luguvalium. Najranija utvrda u Carlisleu, napravljena od drva i građe, izgrađena je na mjestu gdje se sada nalazi kasniji dvorac, a oko vojnog kompleksa izrastao je bogati grad. Uloga Carlislea kao utvrde na sjevernoj granici nastavila se tijekom ranog srednjeg vijeka kada je bio dio kraljevstva Rheged. Razne priče povezuju kralja Artura sCarlisle; kaže se da je ovdje držao dvor. Kad je kraljevstvo Northumbria bilo sila na sjeveru, Carlisle je također postao važno vjersko središte.

Gravura dvorca Carlisle, 1829.

Norman Dvorac je započeo za vrijeme vladavine Williama II od Engleske, sina Osvajača, u to vrijeme Cumberland se smatrao dijelom Škotske. Nakon što je istjerao Škote, Vilim II. je preuzeo ovu regiju za Englesku, a 1093. godine izgrađen je drveni normanski dvorac motte and bailey na mjestu ranije rimske utvrde. Godine 1122. Henrik I. naredio je izgradnju kamene kule; iz tog vremena datiraju i gradske zidine. Posljednja povijest Carlislea odražava turbulencije anglo-škotskih odnosa, a Carlisle i njezin dvorac mijenjali su vlasnika mnogo puta tijekom sljedećih 700 godina. Grad je također bio poprište trijumfa i tragedije monarha obiju zemalja. David I. od Škotske ponovno je uzeo Carlisle za Škote nakon smrti Henryja I. Pripisuje mu se da je ondje izgradio "vrlo jaku utvrdu", što može značiti dovršetak radova koje je započeo Henry I. Dvorac je ponovno u engleskim rukama pod Henrikom II. (1154. – 1189.) koji je za guvernera postavio Roberta de Vauxa, šerifa Cumberlanda. Guverneri, a kasnije i upravitelji dvorca imali su ključnu ulogu u održavanju reda duž englesko-škotske granice.

Dvorac se dalje razvio kada je Carlislepostao je sjedište Edwarda I. tijekom njegove prve škotske kampanje 1296. U sljedeća tri stoljeća Carlisle je bio opsjednut sedam puta, uključujući dugotrajnu opsadu Roberta Brucea nakon Bannockburna. Naposljetku čvrsto u engleskim rukama, dvorac je postao sjedište Wardens of the West March. Daljnja masivna gradska obrana izgrađena je za vrijeme vladavine Henrika VIII, kada je njegov inženjer Stefan von Haschenperg također projektirao tipičnu Henricijansku citadelu. Marija, kraljica Škotske, bila je zatočena u Warden’s Toweru 1567. Krajem 16. stoljeća ozloglašeni pogranični čuvar Kinmont Willie Armstrong hrabro je spašen iz dvorca Carlisle, tada također zatvora. Čak i nakon ujedinjenja kruna 1603., dvorac Carlisle i dalje je zadržao svoju borilačku tradiciju, držan je za kralja tijekom građanskog rata sve dok nije bio prisiljen predati se nakon parlamentarne opsade koja je izgladnjivala stanare i natjerala ih da se pokore. Dvorac su također zauzele i držale jakobitske snage 1745. Danas se vojna tradicija ove moćne sjeverne tvrđave nastavlja kroz Cumbrijski muzej vojnog života.