Gegewe sy strategiese ligging op die Engelse grens met Skotland, is dit nie verbasend dat Carlisle Castle die rekord hou vir die mees beleërde plek in die Britse Eilande nie. Carlisle se rol as 'n groot administratiewe en militêre sentrum het byna 2 000 jaar gelede begin, toe dit Romeinse Luguvalium geword het. Die vroegste fort by Carlisle, gemaak van hout en hout, is gebou waar die latere kasteel nou staan, en 'n ryk dorp het rondom die militêre kompleks grootgeword. Carlisle se rol as 'n vesting aan die noordelike grens het voortgeduur gedurende die vroeë Middeleeue toe dit deel was van die koninkryk van Rheged. Verskeie verhale verbind koning Arthur aanCarlisle; daar word gesê hy het hier hof gehou. Toe die koninkryk van Northumbria 'n moondheid in die noorde was, het Carlisle ook 'n belangrike godsdienstige sentrum geword.

An engraving of Carlisle Castle, 1829

The Norman Kasteel is begin tydens die bewind van Willem II van Engeland, die seun van die Veroweraar, toe Cumberland as 'n deel van Skotland beskou is. Nadat hy die Skotte verdryf het, het Willem II die streek vir Engeland geëis en in 1093 is 'n hout Normandiese motte en bailey-kasteel gebou op die terrein van die vroeëre Romeinse fort. In 1122 het Hendrik I beveel dat 'n kliphuis gebou moet word; die stadsmure dateer ook uit hierdie tyd. Die daaropvolgende geskiedenis van Carlisle weerspieël die onstuimigheid van Anglo-Skotse verhoudings, en Carlisle en haar kasteel het oor die volgende 700 jaar baie keer van hande verwissel. Die stad was ook die toneel van triomf en tragedie vir monarge van beide lande. David I van Skotland het Carlisle weer vir die Skotte geneem ná die dood van Henry I. Hy word gekrediteer dat hy "'n baie sterk skuilplek" daar gebou het, wat kan dui op die voltooiing van die werk wat deur Henry I begin is. Die kasteel was terug in Engelse hande onder Henry II (1154–1189) wat Robert de Vaux, balju van Cumberland as goewerneur aangestel het. Die goewerneurs, en later die bewaarders, van die kasteel het 'n belangrike rol gespeel in die handhawing van orde langs die Anglo-Skotse grens.

Die kasteel het verder ontwikkel toe Carlislehet die hoofkwartier van Edward I geword tydens sy eerste Skotse veldtog in 1296. In die volgende drie eeue is Carlisle sewe keer beleër, insluitend 'n langdurige beleg deur Robert the Bruce ná Bannockburn. Uiteindelik stewig in Engelse hande, het die kasteel die hoofkwartier van die Wardens of the West March geword. Verdere massiewe stadsverdediging is in Henry VIII se bewind gebou, toe sy ingenieur Stefan von Haschenperg ook die tipies Henriciese Citadel ontwerp het. Mary Queen of Scots is gevange geneem in die Warden's Tower in 1567. Aan die einde van die 16de eeu is die berugte grensreiver Kinmont Willie Armstrong moedig uit Carlisle Castle gered, toe ook 'n tronk. Selfs ná die Unie van die Krone in 1603, het Carlisle Castle steeds sy krygs-tradisie behou, en is gedurende die Burgeroorlog vir die koning gehou totdat dit gedwing is om oor te gee nadat 'n parlementêre beleg die insittendes tot onderdanigheid uitgehonger het. Die kasteel is ook in 1745 deur Jakobitiese magte gevang en gehou. Vandag gaan die militêre tradisie van hierdie kragtige noordelike vesting voort deur Cumbria se Museum van Militêre Lewe.