Dahil sa estratehikong lokasyon nito sa hangganan ng England sa Scotland, hindi nakakagulat na ang Carlisle Castle ang may hawak ng rekord para sa pinakakubkob na lugar sa British Isles. Ang tungkulin ni Carlisle bilang isang pangunahing administratibo at sentro ng militar ay nagsimula halos 2,000 taon na ang nakalilipas, nang ito ay naging Roman Luguvalium. Ang pinakamaagang kuta sa Carlisle, na gawa sa kahoy at troso, ay itinayo kung saan nakatayo ngayon ang kastilyo, at isang mayamang bayan ang lumaki sa paligid ng complex ng militar. Ang papel ni Carlisle bilang isang kuta sa hilagang hangganan ay nagpatuloy noong unang bahagi ng medieval na mga panahon nang ito ay bahagi ng kaharian ng Rheged. Iba't ibang kwento ang nag-uugnay kay King ArthurCarlisle; dito daw siya nagtago ng court. Nang ang kaharian ng Northumbria ay isang kapangyarihan sa hilaga, naging mahalagang sentro ng relihiyon ang Carlisle.

Isang ukit ng Carlisle Castle, 1829

Ang Norman Sinimulan ang kastilyo sa panahon ng paghahari ni William II ng England, ang anak ng Conqueror, kung saan ang Cumberland ay itinuturing na bahagi ng Scotland. Matapos itaboy ang mga Scots, inangkin ni William II ang rehiyon para sa Inglatera at noong 1093 isang kahoy na Norman motte at bailey na kastilyo ang itinayo sa lugar ng naunang Romanong kuta. Noong 1122, iniutos ni Henry I na magtayo ng isang bantay ng bato; ang mga pader ng lungsod ay nagmula rin sa panahong ito. Ang kasunod na kasaysayan ng Carlisle ay sumasalamin sa kaguluhan ng Anglo-Scottish na relasyon, at si Carlisle at ang kanyang kastilyo ay nagbago ng mga kamay nang maraming beses sa susunod na 700 taon. Ang lungsod din ang pinangyarihan ng tagumpay at trahedya para sa mga monarko ng parehong bansa. Si David I ng Scotland ay kinuha muli si Carlisle para sa mga Scots pagkatapos ng pagkamatay ni Henry I. Siya ay kinikilala bilang nagtayo ng "isang napakalakas na keep" doon, na maaaring magpahiwatig ng pagkumpleto ng trabaho na sinimulan ni Henry I. Ang kastilyo ay bumalik sa mga kamay ng Ingles sa ilalim ni Henry II (1154–1189) na nagluklok kay Robert de Vaux, Sheriff ng Cumberland bilang gobernador. Ang mga gobernador, at nang maglaon ay ang mga warden, ng kastilyo ay nagkaroon ng mahalagang papel sa pagpapanatili ng kaayusan sa kahabaan ng hangganan ng Anglo-Scottish.

Ang kastilyo ay lalong umunlad nang si Carlislenaging punong-tanggapan ni Edward I noong una niyang kampanya sa Scottish noong 1296. Sa sumunod na tatlong siglo, pitong beses na kinubkob si Carlisle, kabilang ang isang mahabang pagkubkob ni Robert the Bruce pagkatapos ng Bannockburn. Sa kalaunan ay matatag sa mga kamay ng Ingles, ang kastilyo ay naging punong-tanggapan ng mga Warden ng West March. Ang karagdagang malalaking depensa ng lungsod ay itinayo noong paghahari ni Henry VIII, nang ang kanyang inhinyero na si Stefan von Hascheperg ay nagdisenyo din ng karaniwang Henrician Citadel. Si Mary Queen of Scots ay nakulong sa Warden’s Tower noong 1567. Sa pagtatapos ng ika-16 na siglo, ang kilalang-kilalang border reiver na si Kinmont Willie Armstrong ay matapang na nailigtas mula sa Carlisle Castle, noon ay isang kulungan din. Kahit na matapos ang Union of the Crowns noong 1603, pinanatili pa rin ng Carlisle Castle ang martial na tradisyon nito, na gaganapin para sa hari noong Digmaang Sibil hanggang sa sapilitang sumuko pagkatapos ng pagkubkob ng Parliamentarian na nagpagutom sa mga nakatira. Ang kastilyo ay nakuha rin at hinawakan ng mga puwersa ng Jacobite noong 1745. Ngayon ang tradisyong militar ng makapangyarihang hilagang kuta na ito ay nagpapatuloy sa pamamagitan ng Cumbria's Museum of Military Life.