Donada la seva ubicació estratègica a la frontera anglesa amb Escòcia, no és d'estranyar que el castell de Carlisle tingui el rècord del lloc més assetjat de les illes britàniques. El paper de Carlisle com a important centre administratiu i militar va començar fa gairebé 2.000 anys, quan es va convertir en Roman Luguvalium. El primer fort de Carlisle, fet de fusta i fusta, es va construir on ara hi ha el castell posterior, i una ciutat rica va créixer al voltant del complex militar. El paper de Carlisle com a fortalesa a la frontera nord va continuar durant l'època medieval primerenca quan formava part del regne de Rheged. Diversos contes vinculen al rei ArtúsCarlisle; es diu que va mantenir la cort aquí. Quan el regne de Northumbria era una potència al nord, Carlisle també es va convertir en un important centre religiós.

Un gravat del castell de Carlisle, 1829

El normand El castell es va iniciar durant el regnat de Guillem II d'Anglaterra, fill del Conqueridor, moment en què Cumberland es considerava part d'Escòcia. Després d'expulsar els escocesos, Guillem II va reclamar la regió per a Anglaterra i el 1093 es va construir una motte normanda de fusta i un castell de bailey al lloc de l'anterior fort romà. El 1122, Enric I va ordenar que es construís una torre de pedra; d'aquesta època també daten les muralles de la ciutat. La història posterior de Carlisle reflecteix la turbulència de les relacions anglo-escoceses, i Carlisle i el seu castell van canviar de mans moltes vegades durant els següents 700 anys. La ciutat també va ser escenari de triomf i tragèdia per als monarques d'ambdós països. David I d'Escòcia va tornar a prendre Carlisle per als escocesos després de la mort d'Enric I. Se li atribueix que va construir allà "una fortalesa molt forta", cosa que pot indicar la finalització de les obres iniciades per Enric I. El castell tornava a estar en mans angleses. sota Enric II (1154–1189) que va instal·lar Robert de Vaux, xèrif de Cumberland com a governador. Els governadors, i més tard els guardians, del castell van tenir un paper vital en el manteniment de l'ordre al llarg de la frontera anglo-escocesa.

El castell es va desenvolupar encara més quan Carlisle.es va convertir en la seu d'Eduard I durant la seva primera campanya escocesa el 1296. En els tres segles següents, Carlisle va ser assetjada set vegades, inclòs un llarg setge de Robert el Bruce després de Bannockburn. Finalment, fermament en mans angleses, el castell es va convertir en la seu dels Vigilants de la Marxa Occidental. Durant el regnat d'Enric VIII es van construir més defenses massives de la ciutat, quan el seu enginyer Stefan von Haschenperg també va dissenyar la ciutadella típicament enriciana. Maria, reina d'Escòcia, va ser empresonada a la Torre del Guardià l'any 1567. A finals del segle XVI, el famós rei de la frontera Kinmont Willie Armstrong va ser rescatat audaçment del castell de Carlisle, llavors també una presó. Fins i tot després de la Unió de les Corones l'any 1603, el castell de Carlisle encara va conservar la seva tradició marcial, que es va mantenir per al rei durant la Guerra Civil fins que es va veure obligat a rendir-se després que un setge parlamentari va fer que els ocupants se sotmetin de fam. El castell també va ser capturat i retingut per les forces jacobites el 1745. Avui la tradició militar d'aquesta poderosa fortalesa del nord continua al Museu de la Vida Militar de Cumbria.