Glede na strateško lego na angleški meji s Škotsko ni presenetljivo, da grad Carlisle drži rekord najbolj obleganega kraja na Britanskem otočju. Vloga Carlisla kot pomembnega upravnega in vojaškega središča se je začela pred skoraj 2000 leti, ko je postal rimski Luguvalium. Prva utrdba v Carlislu, zgrajena iz lesa in drv, je bila zgrajena na mestu, kjer je pozneje stal gradVloga Carlisla kot utrdbe na severni meji se je nadaljevala tudi v zgodnjem srednjem veku, ko je bil del kraljestva Rheged. Različne zgodbe povezujejo kralja Arturja s Carlislom; tu naj bi imel dvor. Ko je bilo kraljestvo Northumbrija sila na severu, je Carlisle postal tudi pomembno versko središče.

Gravura gradu Carlisle, 1829

Normanski grad so začeli graditi v času vladavine Viljema II Angleškega, sina osvajalca, ko je Cumberland veljal za del Škotske. Po izgonu Škotov je Viljem II zahteval regijo za Anglijo in leta 1093 je bil na mestu prejšnje rimske utrdbe zgrajen lesen normanski grad Motte and Bailey. Leta 1122 je Henrik I naročil gradnjo kamnitega gradu; mestoIz tega časa izvira tudi obzidje. Nadaljnja zgodovina Carlisla odraža burne anglo-škotske odnose, Carlisle in njegov grad pa sta v naslednjih 700 letih večkrat zamenjala lastnika. Mesto je bilo tudi prizorišče zmagoslavja in tragedije monarhov obeh držav. David I. Škotski je po smrti Henrika I. Carlisle ponovno zavzel za Škotsko.grad je bil ponovno v angleških rokah pod Henrikom II (1154-1189), ki je za upravitelja postavil Roberta de Vauxa, šerifa iz Cumberlanda. Upravitelji in pozneje nadzorniki gradu so imeli pomembno vlogo pri vzdrževanju reda na anglo-škotski meji.

Grad se je še bolj razvil, ko je Carlisle postal sedež Edvarda I. med njegovo prvo škotsko kampanjo leta 1296. V naslednjih treh stoletjih je bil Carlisle sedemkrat oblegan, med drugim ga je po Bannockburnu dolgotrajno oblegal Robert Bruce. Na koncu je bil grad trdno v angleških rokah in je postal sedež stražarjev zahodnega pohoda.zgrajen v času vladavine Henrika VIII, ko je njegov inženir Stefan von Haschenperg zasnoval tudi značilno henriško citadelo. Leta 1567 je bila v upravnikovem stolpu zaprta Marija Škotska. Konec 16. stoletja so iz gradu Carlisle, ki je bil takrat tudi zapor, drzno rešili zloglasnega obmejnega upornika Kinmonta Willieja Armstronga. Tudi po združitvi kron leta 1603 je grad Carlisle še vednoohranil svojo vojaško tradicijo, saj je bil med državljansko vojno namenjen kralju, dokler se ni bil prisiljen predati, potem ko je parlamentarno obleganje prisililo prebivalce v podreditev. Grad so leta 1745 zavzele in zadržale tudi jakobitske sile. Danes se vojaška tradicija te mogočne severne trdnjave nadaljuje v muzeju vojaškega življenja v Cumbriji.