ด้วยตำแหน่งเชิงกลยุทธ์บนพรมแดนอังกฤษกับสกอตแลนด์ จึงไม่น่าแปลกใจที่ปราสาทคาร์ไลเซิลถือเป็นสถานที่ที่ถูกปิดล้อมมากที่สุดในเกาะอังกฤษ บทบาทของคาร์ไลล์ในฐานะศูนย์กลางการบริหารและการทหารที่สำคัญเริ่มขึ้นเมื่อเกือบ 2,000 ปีก่อน เมื่อกลายเป็นลูกูวาเลียมของโรมัน ป้อมปราการที่เก่าแก่ที่สุดใน Carlisle ทำจากไม้และท่อนซุง สร้างขึ้นในตำแหน่งที่ตั้งของปราสาทในภายหลัง และเมืองที่มั่งคั่งเติบโตขึ้นรอบๆ ศูนย์การทหาร บทบาทของคาร์ไลเซิลในฐานะป้อมปราการที่ชายแดนทางเหนือยังคงดำเนินต่อไปในช่วงต้นยุคกลางเมื่อเป็นส่วนหนึ่งของอาณาจักรเรเกด เรื่องเล่าต่างๆ เชื่อมโยง King Arthur เข้ากับคาร์ไลส์ ; ว่ากันว่าเขาตั้งศาลที่นี่ เมื่ออาณาจักรแห่งนอร์ทธัมเบรียเรืองอำนาจทางตอนเหนือ คาร์ไลล์ก็กลายเป็นศูนย์กลางทางศาสนาที่สำคัญเช่นกัน

ภาพสลักของปราสาทคาร์ไลล์ ปี 1829

ชาวนอร์มัน ปราสาทเริ่มขึ้นในรัชสมัยของพระเจ้าวิลเลียมที่ 2 แห่งอังกฤษ พระราชโอรสของผู้พิชิต ซึ่งขณะนั้นคัมเบอร์แลนด์ถือเป็นส่วนหนึ่งของสกอตแลนด์ หลังจากขับไล่ชาวสก็อตออกไป วิลเลียมที่ 2 ก็อ้างสิทธิ์ในดินแดนนี้ให้กับอังกฤษ และในปี ค.ศ. 1093 ได้มีการสร้างปราสาทไม้นอร์มันมอตต์และปราสาทเบลีย์บนที่ตั้งของป้อมโรมันยุคก่อน ในปี ค.ศ. 1122 พระเจ้าเฮนรีที่ 1 สั่งให้สร้างป้อมหิน กำแพงเมืองก็มีอายุนับจากนี้เช่นกัน ประวัติศาสตร์ที่ตามมาของ Carlisle สะท้อนให้เห็นถึงความวุ่นวายของความสัมพันธ์ระหว่างแองโกลและสกอตแลนด์ และ Carlisle และปราสาทของเธอก็เปลี่ยนมือกันหลายครั้งในช่วง 700 ปีต่อมา เมืองนี้ยังเป็นฉากแห่งชัยชนะและโศกนาฏกรรมของพระมหากษัตริย์ของทั้งสองประเทศอีกด้วย เดวิดที่ 1 แห่งสกอตแลนด์รับคาร์ไลเซิลเป็นชาวสกอตอีกครั้งหลังจากการสิ้นพระชนม์ของเฮนรีที่ 1 เขาได้รับการยกย่องว่าสร้าง "ป้อมปราการที่แข็งแกร่งมาก" ที่นั่น ซึ่งอาจบ่งบอกถึงความสำเร็จของงานที่เริ่มโดยเฮนรีที่ 1 ปราสาทกลับมาอยู่ในมืออังกฤษ ภายใต้ Henry II (1154–1189) ซึ่งติดตั้ง Robert de Vaux นายอำเภอแห่งคัมเบอร์แลนด์เป็นผู้ว่าการ ผู้ว่าราชการและต่อมาเป็นผู้ดูแลปราสาทมีบทบาทสำคัญในการรักษาความสงบเรียบร้อยตามแนวชายแดนแองโกล-สกอตแลนด์

ปราสาทได้รับการพัฒนาเพิ่มเติมเมื่อคาร์ไลเซิลกลายเป็นสำนักงานใหญ่ของพระเจ้าเอ็ดเวิร์ดที่ 1 ระหว่างการรณรงค์ในสกอตแลนด์ครั้งแรกในปี 1296 ในสามศตวรรษต่อมา คาร์ไลล์ถูกปิดล้อมถึง 7 ครั้ง รวมทั้งการปิดล้อมที่ยาวนานโดยโรเบิร์ต เดอะ บรูซหลังแบนน็อคเบิร์น ในที่สุดปราสาทแห่งนี้ก็กลายเป็นที่ตั้งสำนักงานใหญ่ของ Wardens of the West March การป้องกันเมืองขนาดใหญ่เพิ่มเติมถูกสร้างขึ้นในรัชสมัยของ Henry VIII เมื่อ Stefan von Haschenperg วิศวกรของเขาออกแบบป้อมปราการ Henrician Citadel ตามปกติ Mary Queen of Scots ถูกคุมขังใน Warden's Tower ในปี 1567 ในตอนท้ายของศตวรรษที่ 16 Kinmont Willie Armstrong ผู้รักษาชายแดนชื่อกระฉ่อนได้รับการช่วยเหลืออย่างกล้าหาญจากปราสาท Carlisle และจากนั้นก็เป็นคุกด้วย แม้หลังจากสหภาพแห่งมงกุฎในปี 1603 ปราสาท Carlisle ก็ยังคงรักษาประเพณีการต่อสู้ไว้ โดยถูกจัดขึ้นสำหรับกษัตริย์ในช่วงสงครามกลางเมืองจนกระทั่งถูกบังคับให้ยอมจำนนหลังจากการปิดล้อมของรัฐสภาทำให้ผู้ครอบครองต้องยอมจำนน ปราสาทแห่งนี้ยังถูกยึดครองโดยกองกำลัง Jacobite ในปี 1745 ปัจจุบันประเพณีทางทหารของป้อมปราการทางตอนเหนือที่ทรงพลังนี้ยังคงดำเนินต่อไปผ่านพิพิธภัณฑ์แห่งชีวิตการทหารแห่งคัมเบรีย