Arvestades strateegilist asukohta Inglismaa ja Šotimaa piiril, ei ole üllatav, et Carlisle'i loss on Briti saarte kõige enam piiramisi pidanud paik. Carlisle'i roll tähtsa haldus- ja sõjalise keskusena algas peaaegu 2000 aastat tagasi, kui sellest sai Rooma Luguvalium. Varaseim Carlisle'i linnus, mis oli ehitatud puidust ja puust, ehitati sinna, kus praegu asub hilisem linnus.seisab ja sõjaväekompleksi ümber kasvas jõukas linn. Carlisle'i roll põhjapiiril asuva kindlusena jätkus ka varakeskiajal, kui see oli Rhegedi kuningriigi osa. Mitmed jutud seovad kuningas Arturi Carlisle'iga; räägitakse, et ta pidas siin õukonda. Kui Northumbria kuningriik oli põhjapoolne võim, sai Carlisle'ist ka oluline religioosne keskus.

Carlisle'i lossi gravüür, 1829

Normannide linnus sai alguse vallutaja poja William II Inglismaa valitsemisajal, mil Cumberlandi peeti Šotimaa osaks. Pärast šotlaste väljaajamist nõudis William II seda piirkonda Inglismaale ja 1093. aastal ehitati varasema Rooma linnuse kohale puidust normannide motte ja bailey linnus. 1122. aastal lasi Henry I ehitada kivilinnuse; linnaSellest ajast pärinevad ka müürid. Carlisle'i edasine ajalugu peegeldab anglo-šoti suhete keerulisust ning Carlisle ja tema loss vahetasid järgmise 700 aasta jooksul korduvalt omanikku. Linn oli ka mõlema riigi monarhide triumfi ja tragöödia paik. Šotimaa David I võttis Carlisle'i pärast Henry I surma taas šotlastele üle. Talle on omistatud, et ta ehitas "aväga tugev linnus", mis võib viidata Henry I poolt alustatud tööde lõpuleviimisele. Linnus oli taas inglaste käes Henry II (1154-1189) ajal, kes määras valitsejaks Cumberlandi šerifi Robert de Vaux'i. Linnuse valitsejatel ja hiljem valvuritel oli oluline roll korra säilitamisel anglo-šoti piiril.

Linnus arenes edasi, kui Carlisle'ist sai Edward I peakorter tema esimese Šotimaa kampaania ajal 1296. Järgneva kolme sajandi jooksul piirati Carlisle'i seitse korda, sealhulgas Robert Bruce'i pikem piiramine pärast Bannockburni. Lõpuks kindlalt inglaste käes, sai linnusest läänemarsside valvurite peakorter. Täiendavad massiivsed linnakaitserajatised olidehitati Henrik VIII ajal, kui tema insener Stefan von Haschenperg projekteeris ka tüüpiliselt Henriku tsitadelli. 1567. aastal vangistati Mary Queen of Scots Warden's Toweris. 16. sajandi lõpus päästeti kurikuulus piiriremondisor Kinmont Willie Armstrong julgelt Carlisle'i lossist, mis oli siis samuti vangla. Isegi pärast kroonide ühinemist 1603. aastal oli Carlisle'i lossis veelsäilitas oma sõjategevusliku traditsiooni, olles kodusõja ajal kuninga jaoks, kuni ta oli sunnitud alistuma pärast seda, kui parlamentaarne piiramine näljutas elanikud alistuma. 1745. aastal vallutasid ja hoidsid seda lossi ka jakobiitide väed. Tänapäeval jätkub selle võimsa põhjapoolse kindluse sõjaline traditsioon Cumbria militaarmuuseumi kaudu.