Având în vedere poziția sa strategică la granița Angliei cu Scoția, nu este surprinzător faptul că castelul Carlisle deține recordul pentru cel mai asediat loc din Insulele Britanice. Rolul lui Carlisle ca important centru administrativ și militar a început cu aproape 2.000 de ani în urmă, când a devenit Luguvalium roman. Primul fort din Carlisle, construit din lemn și cherestea, a fost ridicat pe locul unde acum se află castelul ulteriorRolul de fortăreață la frontiera nordică al orașului Carlisle a continuat în perioada medievală timpurie, când făcea parte din regatul Rheged. Diferite povești îl leagă pe regele Arthur de Carlisle; se spune că acesta a ținut curtea aici. Când regatul Northumbria era o putere în nord, Carlisle a devenit și un important centru religios.

O gravură a castelului Carlisle, 1829

Castelul normand a fost început în timpul domniei lui William al II-lea al Angliei, fiul Cuceritorului, pe vremea când Cumberland era considerat o parte a Scoției. După ce i-a alungat pe scoțieni, William al II-lea a revendicat regiunea pentru Anglia, iar în 1093 a fost construit un castel normand din lemn cu motte și bailey pe locul fortului roman anterior. În 1122, Henric I a ordonat construirea unui turn din piatră; orașulDe asemenea, zidurile datează tot din această perioadă. Istoria ulterioară a orașului Carlisle reflectă turbulențele relațiilor anglo-scoțiene, iar Carlisle și castelul său au trecut de multe ori de la o mână la alta în următorii 700 de ani. Orașul a fost, de asemenea, scena triumfului și a tragediei monarhilor din ambele țări. David I al Scoției a luat Carlisle pentru scoțieni din nou după moartea lui Henric I. El este creditat ca fiind cel care a construit "unfoarte puternică", ceea ce poate indica finalizarea lucrărilor începute de Henric I. Castelul a revenit în mâinile englezilor sub Henric al II-lea (1154-1189), care l-a instalat ca guvernator pe Robert de Vaux, șerif de Cumberland. Guvernatorii și, mai târziu, gardienii castelului au avut un rol vital în menținerea ordinii de-a lungul graniței anglo-scoțiene.

Castelul s-a dezvoltat și mai mult atunci când Carlisle a devenit cartierul general al lui Eduard I în timpul primei sale campanii scoțiene din 1296. În următoarele trei secole, Carlisle a fost asediat de șapte ori, inclusiv un asediu îndelungat de către Robert the Bruce după Bannockburn. În cele din urmă, ferm în mâinile englezilor, castelul a devenit cartierul general al Wardens of the West March. Alte apărări masive ale orașului au fostconstruit în timpul domniei lui Henric al VIII-lea, când inginerul său, Stefan von Haschenperg, a proiectat și cetatea tipic henriciană. Maria, regina Scoției, a fost întemnițată în Turnul Directorului în 1567. La sfârșitul secolului al XVI-lea, faimosul repezitor de frontieră Kinmont Willie Armstrong a fost salvat cu îndrăzneală din Castelul Carlisle, pe atunci tot o închisoare. Chiar și după Unirea Coroanelor din 1603, Castelul Carlisle a rămasși-a păstrat tradiția marțială, fiind ținut pentru rege în timpul Războiului Civil, până când a fost forțat să se predea după ce un asediu parlamentar i-a înfometat pe ocupanți până la supunere. Castelul a fost, de asemenea, capturat și ținut de forțele iacobite în 1745. Astăzi, tradiția militară a acestei puternice fortărețe nordice continuă prin intermediul Muzeului vieții militare din Cumbria.