S obzirom na njegovu stratešku lokaciju na engleskoj granici sa Škotskom, nije iznenađujuće da dvorac Carlisle drži rekord za najopkoljenije mjesto na Britanskim otocima. Carlisleova uloga kao glavnog administrativnog i vojnog centra započela je prije skoro 2000 godina, kada je postao rimski Luguvalium. Najranija tvrđava u Carlisleu, napravljena od drveta i drveta, sagrađena je tamo gdje se sada nalazi kasniji zamak, a bogati grad je izrastao oko vojnog kompleksa. Carlisleova uloga kao tvrđave na sjevernoj granici nastavila se tokom ranog srednjeg vijeka kada je bila dio kraljevstva Rheged. Različite priče povezuju kralja Artura saCarlisle; kaže se da je držao sud ovde. Kada je kraljevina Northumbria bila sila na sjeveru, Carlisle je također postao važan vjerski centar.

Gravura zamka Carlisle, 1829

Norman Zamak je nastao za vrijeme vladavine Williama II od Engleske, sina Osvajača, u to vrijeme se Cumberland smatrao dijelom Škotske. Nakon što je protjerao Škote, William II je preuzeo tu oblast za Englesku i 1093. godine na mjestu ranije rimske tvrđave izgrađen je drveni normanski dvorac motte i bailey. Godine 1122, Henri I naredio je da se izgradi kamena kula; iz tog vremena datiraju i gradske zidine. Posljednja povijest Carlislea odražava turbulencije anglo-škotskih odnosa, a Carlisle i njen zamak mijenjali su vlasnika mnogo puta u narednih 700 godina. Grad je bio i poprište trijumfa i tragedije za monarhe obje zemlje. David I iz Škotske uzeo je Carlisle za Škote nakon smrti Henrija I. Pripisuje mu se da je tamo sagradio "veoma jaku tvrđavu", što može ukazivati ​​na završetak radova koji je započeo Henri I. Dvorac je ponovo bio u engleskim rukama pod Henrijem II (1154–1189) koji je postavio Roberta de Voa, šerifa od Cumberlanda za guvernera. Guverneri, a kasnije i upravnici zamka imali su vitalnu ulogu u održavanju reda duž anglo-škotske granice.

Zamak se dalje razvio kada je Carlislepostao je sjedište Edwarda I tokom njegovog prvog škotskog pohoda 1296. U naredna tri stoljeća, Carlisle je bio opkoljen sedam puta, uključujući i dugotrajnu opsadu Roberta Brucea nakon Bannockburna. Na kraju čvrsto u engleskim rukama, zamak je postao sjedište Wardens of the West March. Daljnje masivne gradske odbrane izgrađene su u vrijeme vladavine Henrika VIII, kada je njegov inženjer Stefan von Haschenperg također projektirao tipično Henricijevsku citadelu. Mary Queen of Scots je 1567. bila zatočena u Kuli upravnika. Krajem 16. vijeka, ozloglašeni pogranični vladar Kinmont Willie Armstrong hrabro je spašen iz zamka Carlisle, tada također zatvora. Čak i nakon Unije kruna 1603. godine, zamak Carlisle je i dalje zadržao svoju borilačku tradiciju, držeći se za kralja tokom građanskog rata sve dok nije bio prisiljen na predaju nakon što je parlamentarna opsada izgladnjila okupatore. Zamak su također zauzele i držale jakobitske snage 1745. Danas se vojna tradicija ove moćne sjeverne tvrđave nastavlja kroz Cumbrijini muzej vojnog života.