Vzhledem k jeho strategické poloze na anglické hranici se Skotskem není překvapivé, že hrad Carlisle drží rekord v počtu obléhaných míst na Britských ostrovech. Carlisle jako významné správní a vojenské centrum začalo fungovat téměř před 2000 lety, kdy se stalo římským Luguvalium. Nejstarší pevnost v Carlisle, postavená ze dřeva a dřevěných kmenů, byla postavena v místech, kde dnes stojí pozdější hrad.stojí a kolem vojenského komplexu vyrostlo bohaté město. Role Carlisle jako pevnosti na severní hranici pokračovala i v raném středověku, kdy byl součástí království Rheged. Různé příběhy spojují krále Artuše s Carlisle; říká se, že zde měl dvůr. Když bylo království Northumbrie mocností na severu, Carlisle se stal také důležitým náboženským centrem.

Rytina hradu Carlisle, 1829

Normanský hrad začal vznikat za vlády anglického krále Viléma II., syna Dobyvatele, v jehož době byl Cumberland považován za součást Skotska. Po vyhnání Skotů vyhlásil Vilém II. tento region za anglický a v roce 1093 byl na místě dřívější římské pevnosti postaven dřevěný normanský hrad motte and bailey. V roce 1122 nařídil Jindřich I. postavit kamennou pevnost; město se rozrostlo o další část.Z této doby pocházejí také hradby. Další dějiny Carlisle odrážejí bouřlivé anglo-skotské vztahy a Carlisle i jeho hrad během následujících 700 let mnohokrát změnily majitele. Město bylo také dějištěm triumfů i tragédií panovníků obou zemí. David I. Skotský získal Carlisle opět pro Skoty po smrti Jindřicha I. Připisuje se mu, že nechal postavit "avelmi silná pevnost", což může znamenat dokončení prací započatých Jindřichem I. Hrad se vrátil do anglických rukou za Jindřicha II (1154-1189), který na místo správce dosadil Roberta de Vaux, šerifa z Cumberlandu. Správci a později dozorci hradu měli zásadní úlohu při udržování pořádku na anglo-skotské hranici.

Hrad se dále rozvíjel, když se Carlisle stal hlavním sídlem Eduarda I. během jeho prvního skotského tažení v roce 1296. V následujících třech stoletích byl Carlisle sedmkrát obléhán, včetně dlouhého obléhání Robertem Brucem po Bannockburnu. Nakonec se hrad dostal pevně do anglických rukou a stal se sídlem Strážců západního pochodu. Další mohutné městské opevnění bylo vybudováno v roce 1296.postavený za vlády Jindřicha VIII., kdy jeho inženýr Stefan von Haschenperg navrhl také typicky henryovskou citadelu. V roce 1567 byla v hradní věži uvězněna Marie, královna Skotská. Na konci 16. století byl z hradu Carlisle, tehdy také vězení, odvážně zachráněn nechvalně proslulý hraničář Kinmont Willie Armstrong. Dokonce i po unii korun v roce 1603 zůstal hrad Carlisle stálezachoval si svou válečnou tradici a byl držen pro krále během občanské války, dokud nebyl nucen kapitulovat poté, co parlamentní obléhání donutilo obyvatele k poddanství hladem. Hrad byl také dobyt a držen jakobitskými silami v roce 1745. Dnes vojenská tradice této mocné severské pevnosti pokračuje prostřednictvím Muzea vojenského života v Cumbrii.