С обзиром на његову стратешку локацију на енглеској граници са Шкотском, није изненађујуће да замак Карлајл држи рекорд за најопкољеније место на Британским острвима. Улога Карлајла као главног административног и војног центра почела је пре скоро 2.000 година, када је постао римски Лугувалиум. Најранија тврђава у Карлајлу, направљена од дрвета и дрвета, саграђена је тамо где се сада налази каснији замак, а богати град је израстао око војног комплекса. Карлајлова улога као тврђаве на северној граници наставила се током раног средњег века када је била део краљевства Регед. Разне приче повезују краља Артура саЦарлисле; речено је да је овде држао суд. Када је краљевина Нортамбрија била сила на северу, Карлајл је такође постао важан верски центар.

Гравура замка Карлајл, 1829

Норман Замак је настао за време владавине Енглеског Вилијама ИИ, сина Освајача, у то време се Камберленд сматрао делом Шкотске. Након што је отерао Шкоте, Вилијам ИИ је преузео област за Енглеску и 1093. године на месту раније римске тврђаве изграђен је дрвени нормански замак мотте и бејли. Године 1122, Хенри И је наредио да се изгради камена кула; из овог времена датирају и градске зидине. Каснија историја Карлајла одражава турбуленције англо-шкотских односа, а Карлајл и њен замак мењали су руке много пута у наредних 700 година. Град је био и поприште тријумфа и трагедије за монархе обе земље. Давид И из Шкотске је поново преузео Карлајл за Шкоте након смрти Хенрија И. Приписује му се да је тамо изградио „веома јаку тврђаву“, што може указивати на завршетак радова који је започео Хенри И. Замак је поново био у рукама Енглеза под Хенријем ИИ (1154–1189) који је поставио Роберта де Воа, шерифа од Камберленда за гувернера. Гувернери, а касније и управници замка имали су виталну улогу у одржавању реда дуж англо-шкотске границе.

Замак се даље развио када је Карлајлпостао је седиште Едварда И током његовог првог шкотског похода 1296. У наредна три века, Карлајл је био опкољен седам пута, укључујући и дуготрајну опсаду Роберта Бруса после Банокберна. На крају чврсто у енглеским рукама, замак је постао седиште Чувара Западног марта. Даља масивна одбрана града изграђена је у време владавине Хенрија ВИИИ, када је његов инжењер Стефан фон Хашенперг такође дизајнирао типично Хенрицијанску цитаделу. Мари Куеен оф Сцотс је 1567. била заточена у Кули управника. Крајем 16. века, озлоглашени погранични владар Кинмонт Вили Армстронг је смело избачен из замка Карлајл, тада такође затвора. Чак и након Уније круна 1603. године, замак Карлајл је и даље задржао своју борилачку традицију, држећи се за краља током грађанског рата све док није био приморан да се преда након што је парламентарна опсада изгладњила окупаторе. Замак су такође заузеле и држале јакобитске снаге 1745. Данас се војна традиција ове моћне северне тврђаве наставља кроз Музеј војног живота у Камбрији.