Като се има предвид стратегическото му местоположение на границата на Англия с Шотландия, не е изненадващо, че замъкът Карлайл държи рекорда за най-обсажданото място на Британските острови. Ролята на Карлайл като важен административен и военен център започва преди близо 2000 години, когато той става римски Лугувалиум. Най-ранната крепост в Карлайл, направена от дърво и дървен материал, е построена на мястото, където по-късно се намира замъкът.Ролята на Карлайл като крепост на северната граница продължава и през ранното Средновековие, когато е част от кралство Регед. Различни предания свързват крал Артур с Карлайл; говори се, че той е отсядал тук. Когато кралство Нортумбрия е сила на север, Карлайл се превръща и във важен религиозен център.

Гравюра на замъка Карлайл, 1829 г.

Нормандският замък е започнат по време на управлението на Уилям II Английски, син на Завоевателя, по което време Къмбърленд е смятан за част от Шотландия. След като прогонва шотландците, Уилям II обявява региона за английски и през 1093 г. на мястото на по-ранната римска крепост е построен дървен нормандски замък мот и бейли. През 1122 г. Хенри I нарежда да се построи каменна крепост; градътПо-нататъшната история на Карлайл отразява бурните англо-шотландски отношения и Карлайл и замъкът му многократно преминават от едни ръце в други през следващите 700 години. Градът е бил сцена на триумф и трагедия за монарсите на двете страни. Дейвид I Шотландски отново превзема Карлайл за шотландците след смъртта на Хенри I. Той е признат за построил "амного силна крепост", което може да означава завършване на работата, започната от Хенри I. Замъкът отново е в английски ръце при Хенри II (1154-1189), който назначава за управител Робърт дьо Во, шериф на Къмбърленд. Управителите, а по-късно и надзирателите на замъка имат жизненоважна роля в поддържането на реда по англо-шотландската граница.

Замъкът се развива още повече, когато Карлайл става щаб на Едуард I по време на първата му шотландска кампания през 1296 г. През следващите три века Карлайл е обсаждан седем пъти, включително и при продължителната обсада на Робърт Брус след Банокбърн. В крайна сметка замъкът е твърдо в английски ръце и става щаб на Уордънс ъф Уест Марч.Построен е по времето на Хенри VIII, когато неговият инженер Стефан фон Хашенперг проектира и типичната за Хенрих Цитадела. Мери, кралицата на Шотландия, е затворена в Кулата на надзирателя през 1567 г. В края на XVI в. прочутият граничен разбойник Кинмонт Уили Армстронг е дръзко спасен от замъка Карлайл, който тогава също е затвор. Дори след унията на короните през 1603 г. замъкът Карлайл все ощеЗамъкът е запазил военните си традиции, като по време на Гражданската война е бил държан за краля, докато не е бил принуден да се предаде, след като парламентарната обсада е накарала обитателите да се подчинят от глад. Замъкът също така е бил превзет и държан от якобитските сили през 1745 г. Днес военните традиции на тази мощна северна крепост се продължават чрез Музея на военния живот в Къмбрия.