Улічваючы яго стратэгічнае размяшчэнне на англійскай мяжы з Шатландыяй, нядзіўна, што замак Карлайл з'яўляецца рэкардсменам як самае абложанае месца на Брытанскіх астравах. Роля Карлайла як галоўнага адміністрацыйнага і ваеннага цэнтра пачалася амаль 2000 гадоў таму, калі ён стаў рымскім Лугуваліем. Самы ранні форт у Карлайле, зроблены з дрэва і драўніны, быў пабудаваны там, дзе цяпер стаіць замак, і вакол ваеннага комплексу вырас заможны горад. Роля Карлайла як крэпасці на паўночнай мяжы працягвалася ў часы ранняга сярэднявечча, калі ён быў часткай каралеўства Рэгед. Розныя казкі звязваюць караля Артура зКарлайл; кажуць, што ён трымаў тут суд. Калі каралеўства Нартумбрыя было сілай на поўначы, Карлайл таксама стаў важным рэлігійным цэнтрам.

Гравюра замка Карлайл, 1829 г.

Нарманд замак быў пачаты падчас праўлення Вільгельма II Караля Англіі, сына Заваёўніка, у той час Камберленд лічыўся часткай Шатландыі. Пасля выгнання шатландцаў Вільгельм II завалодаў рэгіёнам Англіі, і ў 1093 годзе на месцы ранейшага рымскага форта быў пабудаваны драўляны нарманскі замак Мот і Бейлі. У 1122 годзе Генрых I загадаў пабудаваць каменную крэпасць; гэтым часам паходзяць і гарадскія сцены. Далейшая гісторыя Карлайла адлюстроўвае турбулентнасць англа-шатландскіх адносін, і Карлайл і яе замак шмат разоў пераходзілі з рук у рукі на працягу наступных 700 гадоў. Горад таксама быў арэнай трыумфу і трагедыі манархаў абедзвюх краін. Давід I з Шатландыі зноў прыняў Карлайл за шатландцаў пасля смерці Генрыха I. Лічыцца, што ён пабудаваў там «вельмі моцную крэпасць», што можа сведчыць аб завяршэнні работ, пачатых Генрыхам I. Замак зноў апынуўся ў руках ангельцаў пры Генрыху II (1154–1189), які прызначыў Роберта дэ Во, шэрыфа Камберленда, губернатарам. Губернатары, а пазней і наглядчыкі замка адыгрывалі важную ролю ў падтрыманні парадку ўздоўж англа-шатландскай мяжы.

Замак развіваўся далей, калі Карлайлстаў штаб-кватэрай Эдуарда I падчас яго першай шатландскай кампаніі ў 1296 г. У наступныя тры стагоддзі Карлайл быў абложаны сем разоў, у тым ліку працяглая аблога Робертам Брусам пасля Банакберна. У рэшце рэшт замак апынуўся ў руках англічан і стаў штаб-кватэрай вартаўнікоў Заходняй маршы. Далейшыя масіўныя гарадскія абарончыя збудаванні былі пабудаваны ў часы праўлення Генрыха VIII, калі яго інжынер Стэфан фон Хашэнперг таксама спраектаваў тыпова Генрыцыйскую цытадэль. Каралева Шатландыі Марыя была зняволена ў Вардэнс-Таўэр у 1567 годзе. У канцы 16-га стагоддзя сумнавядомы памежны рэйвер Кінмонт Вілі Армстранг быў дзёрзка выратаваны з замка Карлайл, які ў той час таксама быў турмой. Нават пасля Аб'яднання карон у 1603 годзе замак Карлайл захаваў сваю ваенную традыцыю: падчас Грамадзянскай вайны яго трымалі за караля, пакуль ён не быў вымушаны капітуляваць пасля таго, як аблога парламента прымусіла акупантаў падпарадкавацца голадам. Замак таксама быў захоплены і ўтрымліваўся сіламі якабітаў у 1745 г. Сёння ваенная традыцыя гэтай магутнай паўночнай крэпасці працягваецца праз Музей ваеннага жыцця Камбрыі.