Dada a súa estratéxica situación na fronteira inglesa con Escocia, non é de estrañar que o castelo de Carlisle teña o récord do lugar máis asediado das illas británicas. O papel de Carlisle como un importante centro administrativo e militar comezou hai case 2.000 anos, cando se converteu en Roman Luguvalium. O forte máis antigo de Carlisle, feito de madeira e madeira, foi construído onde agora se atopa o castelo posterior, e arredor do complexo militar creceu unha cidade rica. O papel de Carlisle como fortaleza na fronteira norte continuou durante a primeira época medieval cando formaba parte do reino de Rheged. Varios contos vinculan ao rei ArturCarlisle; dise que mantivo a corte aquí. Cando o reino de Northumbria era unha potencia no norte, Carlisle tamén se converteu nun importante centro relixioso.

Un gravado do castelo de Carlisle, 1829

O normando O castelo comezou durante o reinado de Guillerme II de Inglaterra, fillo do Conquistador, momento no que Cumberland era considerada parte de Escocia. Despois de expulsar aos escoceses, Guillerme II reclamou a rexión para Inglaterra e en 1093 construíuse unha motte normanda de madeira e un castelo bailey no lugar do anterior forte romano. En 1122, Henrique I mandou construír unha torre de pedra; Desta época tamén datan as murallas da cidade. A historia posterior de Carlisle reflicte a turbulencia das relacións anglo-escocesas, e Carlisle e o seu castelo cambiaron de mans moitas veces durante os seguintes 700 anos. A cidade tamén foi escenario de triunfos e traxedias para os monarcas de ambos os países. David I de Escocia tomou Carlisle para os escoceses de novo despois da morte de Henrique I. Atribúeselle que construíu alí "unha fortaleza moi forte", o que pode indicar a finalización dos traballos iniciados por Henrique I. O castelo volveu estar en mans inglesas. baixo Henrique II (1154–1189) quen instalou a Robert de Vaux, xerife de Cumberland como gobernador. Os gobernadores, e máis tarde os alcaides, do castelo tiveron un papel vital no mantemento da orde ao longo da fronteira anglo-escocesa.

O castelo desenvolveuse aínda máis cando Carlisleconverteuse no cuartel xeral de Eduardo I durante a súa primeira campaña escocesa en 1296. Nos tres séculos seguintes, Carlisle foi sitiada sete veces, incluíndo un longo asedio por parte de Robert the Bruce despois de Bannockburn. Finalmente, firmemente en mans inglesas, o castelo converteuse na sede dos Wardens of the West March. Durante o reinado de Henrique VIII construíronse outras defensas masivas da cidade, cando o seu enxeñeiro Stefan von Haschenperg tamén deseñou a cidadela típicamente henriciana. Mary Queen of Scots foi encarcerada na Warden's Tower en 1567. A finais do século XVI, o famoso reiver fronteirizo Kinmont Willie Armstrong foi audazmente rescatado do castelo de Carlisle, que entón tamén era un cárcere. Mesmo despois da Unión das Coroas en 1603, o Castelo de Carlisle aínda mantivo a súa tradición marcial, sendo detido para o rei durante a Guerra Civil ata que se lle obrigaba a renderse despois de que un asedio parlamentario sometese aos ocupantes de fame. O castelo tamén foi capturado e detido polas forzas xacobitas en 1745. Hoxe a tradición militar desta poderosa fortaleza do norte continúa a través do Museo da Vida Militar de Cumbria.