Gezien de strategische ligging aan de Engelse grens met Schotland is het niet verwonderlijk dat Carlisle Castle het record van meest belegerde plaats op de Britse eilanden in handen heeft. De rol van Carlisle als belangrijk administratief en militair centrum begon bijna 2000 jaar geleden, toen het het Romeinse Luguvalium werd. Het vroegste fort van Carlisle, gemaakt van hout en hout, werd gebouwd op de plek waar nu het latere kasteel staat.Carlisle's rol als fort aan de noordelijke grens werd voortgezet in de vroege middeleeuwen toen het deel uitmaakte van het koninkrijk Rheged. Verschillende verhalen linken koning Arthur aan Carlisle; er wordt gezegd dat hij hier hof hield. Toen het koninkrijk Northumbria een macht in het noorden was, werd Carlisle ook een belangrijk religieus centrum.

Een gravure van Carlisle Castle, 1829

Het Normandische kasteel werd gebouwd tijdens het bewind van Willem II van Engeland, de zoon van de Veroveraar, in welke tijd Cumberland werd beschouwd als een deel van Schotland. Na het verdrijven van de Schotten eiste Willem II de regio op voor Engeland en in 1093 werd een houten Normandisch motte en bailey kasteel gebouwd op de plaats van het eerdere Romeinse fort. In 1122 gaf Hendrik I opdracht tot de bouw van een stenen donjon; de stadDe daaropvolgende geschiedenis van Carlisle weerspiegelt de turbulentie van de Engels-Schotse betrekkingen, en Carlisle en haar kasteel wisselden in de daaropvolgende 700 jaar vele malen van eigenaar. De stad was ook het toneel van triomf en tragedie voor vorsten van beide landen. David I van Schotland nam Carlisle weer in voor de Schotten na de dood van Henry I. Aan hem wordt toegeschreven dat hij "azeer sterke donjon" daar, wat kan duiden op de voltooiing van het werk begonnen door Henry I. Het kasteel was weer in Engelse handen onder Henry II (1154-1189) die Robert de Vaux, Sheriff van Cumberland installeerde als gouverneur. De gouverneurs, en later de bewakers, van het kasteel hadden een vitale rol in het handhaven van de orde langs de Anglo-Schotse grens.

Het kasteel ontwikkelde zich verder toen Carlisle het hoofdkwartier werd van Edward I tijdens zijn eerste Schotse veldtocht in 1296. In de daaropvolgende drie eeuwen werd Carlisle zeven keer belegerd, waaronder een langdurige belegering door Robert the Bruce na Bannockburn. Uiteindelijk kwam het kasteel stevig in Engelse handen en werd het het hoofdkwartier van de Wardens of the West March. Verdere massieve verdedigingswerken van de stad warengebouwd tijdens het bewind van Henry VIII, toen zijn ingenieur Stefan von Haschenperg ook de typisch Henriciaanse Citadel ontwierp. Mary Queen of Scots werd in 1567 opgesloten in de Warden's Tower. Aan het eind van de 16e eeuw werd de beruchte grensontvoerder Kinmont Willie Armstrong op gewaagde wijze gered uit Carlisle Castle, toen ook een gevangenis. Zelfs na de Unie der Kronen in 1603 bleef Carlisle CastleHet kasteel behield zijn krijgstraditie en werd tijdens de Burgeroorlog voor de koning gehouden, totdat het tot overgave werd gedwongen nadat een belegering door de parlementariërs de bezetters tot onderdanigheid dwong. Het kasteel werd in 1745 ook door jakobitische troepen veroverd en in bezit gehouden. Tegenwoordig wordt de militaire traditie van dit machtige noordelijke fort voortgezet door het Museum of Military Life in Cumbria.