Δεδομένης της στρατηγικής του θέσης στα σύνορα της Αγγλίας με τη Σκωτία, δεν αποτελεί έκπληξη το γεγονός ότι το κάστρο του Καρλάιλ κατέχει το ρεκόρ του πιο πολιορκημένου τόπου στα βρετανικά νησιά. Ο ρόλος του Καρλάιλ ως σημαντικό διοικητικό και στρατιωτικό κέντρο ξεκίνησε πριν από σχεδόν 2.000 χρόνια, όταν έγινε το ρωμαϊκό Λουγκουβάλιο. Το πρώτο οχυρό στο Καρλάιλ, κατασκευασμένο από ξύλο και ξυλεία, χτίστηκε εκεί όπου σήμερα βρίσκεται το μεταγενέστερο κάστρο.Ο ρόλος του Carlisle ως φρούριο στα βόρεια σύνορα συνεχίστηκε και κατά τους πρώιμους μεσαιωνικούς χρόνους, όταν ήταν μέρος του βασιλείου του Rheged. Διάφορες ιστορίες συνδέουν τον βασιλιά Αρθούρο με το Carlisle- λέγεται ότι έκανε αυλή εδώ. Όταν το βασίλειο της Northumbria ήταν μια δύναμη στο βορρά, το Carlisle έγινε επίσης σημαντικό θρησκευτικό κέντρο.

Χαρακτική του Κάστρου του Καρλάιλ, 1829

Το νορμανδικό κάστρο ξεκίνησε κατά τη διάρκεια της βασιλείας του Γουλιέλμου Β' της Αγγλίας, γιου του Κατακτητή, κατά την οποία το Κάμπερλαντ θεωρούνταν τμήμα της Σκωτίας. Αφού εκδίωξε τους Σκωτσέζους, ο Γουλιέλμος Β' διεκδίκησε την περιοχή για την Αγγλία και το 1093 χτίστηκε ένα ξύλινο νορμανδικό κάστρο motte and bailey στη θέση του παλαιότερου ρωμαϊκού οχυρού. Το 1122, ο Ερρίκος Α' διέταξε να κατασκευαστεί ένα πέτρινο φρούριο- η πόληΤα τείχη χρονολογούνται επίσης από αυτή την εποχή. Η μετέπειτα ιστορία του Καρλάιλ αντανακλά την αναταραχή των αγγλο-σκωτσέζικων σχέσεων, και το Καρλάιλ και το κάστρο της άλλαξαν χέρια πολλές φορές κατά τα επόμενα 700 χρόνια. Η πόλη υπήρξε επίσης σκηνή θριάμβων και τραγωδιών για τους μονάρχες και των δύο χωρών. Ο Δαβίδ Α΄ της Σκωτίας πήρε το Καρλάιλ για τους Σκωτσέζους και πάλι μετά το θάνατο του Ερρίκου Α΄. Του αποδίδεται ότι έχτισε "έναπολύ ισχυρό φρούριο" εκεί, γεγονός που μπορεί να υποδηλώνει την ολοκλήρωση των εργασιών που είχε ξεκινήσει ο Ερρίκος Α. Το κάστρο επέστρεψε στα χέρια των Άγγλων υπό τον Ερρίκο Β' (1154-1189), ο οποίος εγκατέστησε ως διοικητή τον Robert de Vaux, σερίφη του Κάμπερλαντ. Οι διοικητές, και αργότερα οι φύλακες, του κάστρου είχαν ζωτικό ρόλο στη διατήρηση της τάξης κατά μήκος των αγγλο-σκοτσέζικων συνόρων.

Το κάστρο αναπτύχθηκε περαιτέρω όταν το Καρλάιλ έγινε το αρχηγείο του Εδουάρδου Α' κατά την πρώτη του εκστρατεία στη Σκωτία το 1296. Στους επόμενους τρεις αιώνες, το Καρλάιλ πολιορκήθηκε επτά φορές, συμπεριλαμβανομένης μιας μακράς πολιορκίας από τον Ροβέρτο τον Μπρους μετά το Μπάνοκμπερν. Τελικά, σταθερά σε αγγλικά χέρια, το κάστρο έγινε το αρχηγείο των Wardens of the West March. Περαιτέρω ογκώδεις άμυνες της πόλης ήτανκατασκευάστηκε επί Ερρίκου Η', όταν ο μηχανικός του Στέφανος φον Χάσενπεργκ σχεδίασε επίσης την τυπικά Ερρίκειο Ακρόπολη. Η Μαρία Βασίλισσα της Σκωτίας φυλακίστηκε στον Πύργο του Διευθυντή το 1567. Στα τέλη του 16ου αιώνα, ο διαβόητος μεθοριακός λυτρωτής Κίνμοντ Γουίλι Άρμστρονγκ διασώθηκε με τόλμη από το Κάστρο του Καρλάιλ, που τότε ήταν επίσης φυλακή. Ακόμα και μετά την Ένωση των Στεμμάτων το 1603, το Κάστρο του Καρλάιλ εξακολουθούσε να παραμένειδιατήρησε την πολεμική του παράδοση, καθώς κρατήθηκε για λογαριασμό του βασιλιά κατά τη διάρκεια του Εμφυλίου Πολέμου, μέχρι που αναγκάστηκε να παραδοθεί μετά από μια πολιορκία των κοινοβουλευτικών που οδήγησε τους κατοίκους σε υποταγή με πείνα. Το κάστρο κατελήφθη και κρατήθηκε επίσης από τις δυνάμεις των Ιακωβιτών το 1745. Σήμερα η στρατιωτική παράδοση αυτού του ισχυρού βόρειου φρουρίου συνεχίζεται μέσω του Μουσείου Στρατιωτικής Ζωής της Cumbria.