Duke pasur parasysh vendndodhjen e saj strategjike në kufirin anglez me Skocinë, nuk është për t'u habitur që Kalaja Carlisle mban rekordin për vendin më të rrethuar në Ishujt Britanikë. Roli i Carlisle si një qendër kryesore administrative dhe ushtarake filloi gati 2000 vjet më parë, kur u bë Roman Luguvalium. Kalaja më e hershme në Carlisle, e bërë nga druri dhe druri, u ndërtua aty ku tani qëndron kështjella e mëvonshme dhe një qytet i pasur u rrit rreth kompleksit ushtarak. Roli i Carlisle si një kështjellë në kufirin verior vazhdoi gjatë kohëve të hershme mesjetare kur ishte pjesë e mbretërisë së Rheged. Përralla të ndryshme e lidhin Mbretin Artur meCarlisle; thuhet se ai e mbajti gjykatën këtu. Kur mbretëria e Northumbria ishte një fuqi në veri, Carlisle u bë gjithashtu një qendër e rëndësishme fetare.

Një gdhendje e Kalasë Carlisle, 1829

Norman Kalaja filloi gjatë sundimit të William II të Anglisë, djalit të Pushtuesit, në të cilën kohë Cumberland konsiderohej si pjesë e Skocisë. Pasi dëboi skocezët, William II pretendoi rajonin për Anglinë dhe në 1093 një kështjellë prej druri Norman motte dhe Bailey u ndërtua në vendin e fortesës së mëparshme romake. Në 1122, Henri I urdhëroi të ndërtohej një gurë guri; nga kjo kohë datojnë edhe muret e qytetit. Historia e mëvonshme e Carlisle pasqyron turbulencat e marrëdhënieve anglo-skoceze dhe Carlisle dhe kështjella e saj ndryshuan duart shumë herë gjatë 700 viteve të ardhshme. Qyteti ishte gjithashtu skena e triumfit dhe e tragjedisë për monarkët e të dy vendeve. David I i Skocisë mori Carlisle për skocezët përsëri pas vdekjes së Henry I. Ai vlerësohet se kishte ndërtuar "një strehë shumë të fortë" atje, gjë që mund të tregojë përfundimin e punës së filluar nga Henry I. Kalaja u kthye në duart e anglezëve nën Henry II (1154–1189) i cili vendosi Robert de Vaux, Sherif i Cumberland si guvernator. Guvernatorët dhe më vonë rojet e kështjellës kishin një rol jetik në ruajtjen e rendit përgjatë kufirit anglo-skocez.

Kështjella u zhvillua më tej kur Carlisleu bë selia e Eduardit I gjatë fushatës së tij të parë skoceze në 1296. Në tre shekujt në vijim, Carlisle u rrethua shtatë herë, duke përfshirë një rrethim të gjatë nga Robert Bruce pas Bannockburn. Përfundimisht në duart e anglezëve, kështjella u bë selia e Gardianëve të Marshit Perëndimor. Mbrojtje të tjera masive të qytetit u ndërtuan në mbretërimin e Henry VIII, kur inxhinieri i tij Stefan von Haschenperg projektoi gjithashtu kështjellën tipike Henrician. Mary Queen of Scots u burgos në Kullën e Wardenit në vitin 1567. Në fund të shekullit të 16-të, lumi famëkeq i kufirit Kinmont Willie Armstrong u shpëtua me guxim nga Kalaja Carlisle, më pas gjithashtu një burg. Edhe pas Bashkimit të Kurorave në 1603, Kalaja Carlisle ruajti ende traditën e saj ushtarake, duke u mbajtur për mbretin gjatë Luftës Civile derisa u detyrua të dorëzohej pasi një rrethim parlamentar i vuri urie okupatorët në nënshtrim. Kalaja gjithashtu u pushtua dhe u mbajt nga forcat jakobite në 1745. Sot tradita ushtarake e kësaj fortese të fuqishme veriore vazhdon përmes Muzeut të Jetës Ushtarake të Cumbria.