Atsižvelgiant į strategiškai svarbią vietą Anglijos pasienyje su Škotija, nenuostabu, kad Karlailio pilis yra labiausiai apgultos vietos Britų salose rekordininkė. Karlailio, kaip svarbaus administracinio ir karinio centro, vaidmuo prasidėjo beveik prieš 2000 metų, kai jis tapo romėnų Luguvalium. Pirmasis Karlailio fortas, pastatytas iš medžio ir medienos, buvo pastatytas toje vietoje, kur dabar stovi vėlesnė pilis.aplink karinį kompleksą išaugo turtingas miestas. Karlailio, kaip tvirtovės prie šiaurinės sienos, vaidmuo tęsėsi ir ankstyvaisiais viduramžiais, kai jis priklausė Rėgedo karalystei. Įvairūs pasakojimai sieja karalių Artūrą su Karlailiu; sakoma, kad jis čia laikė teismą. Kai šiaurėje įsitvirtino Nortumbrijos karalystė, Karlailis taip pat tapo svarbiu religiniu centru.

Karlizlo pilies graviūra, 1829 m.

Normanų pilis pradėta statyti valdant Anglijos užkariautojo sūnui Vilhelmui II, tuo metu Kamberlandas buvo laikomas Škotijos dalimi. 1093 m. Vilhelmas II, išvijęs škotus, šį regioną priskyrė Anglijai ir ankstesnio romėnų forto vietoje pastatė medinę normanų motte and bailey pilį. 1122 m. Henrikas I įsakė pastatyti mūrinę tvirtovę; miestasVėlesnė Karlezlio istorija atspindi audringus anglų-skotų santykius, o per kitus 700 metų Karlizlis ir jo pilis daug kartų keitėsi iš rankų į rankas. Miestas taip pat buvo abiejų šalių monarchų triumfo ir tragedijos vieta. Po Henriko I mirties Škotijos karalius Dovydas I vėl užėmė Karlizlį škotų naudai.Henrikas II (1154-1189 m.), kuris pilį vėl perdavė į anglų rankas ir jos valdytoju paskyrė Kumberlando šerifą Robertą de Vaux'ą. Pilies valdytojai, o vėliau ir prižiūrėtojai, atliko svarbų vaidmenį palaikant tvarką Anglijos ir Škotijos pasienyje.

Pilis dar labiau išaugo, kai 1296 m. per pirmąjį Edvardo I žygį į Škotiją ji tapo jo būstine. Per kitus tris šimtmečius Carlisle'as buvo apgultas septynis kartus, įskaitant ilgą Roberto Bruce'o apgultį po Bannockburn'o. Ilgainiui tvirtai atsidūrusi anglų rankose, pilis tapo West March Wardens būstine.pastatyta valdant Henrikui VIII, kai jo inžinierius Stefanas von Haschenpergas taip pat suprojektavo Henrikui būdingą citadelę. 1567 m. Škotijos karalienė Marija buvo įkalinta viršininko bokšte. XVI a. pabaigoje iš Karlailio pilies, kuri tuo metu taip pat buvo kalėjimas, buvo drąsiai išgelbėtas liūdnai pagarsėjęs pasienio reiveris Kinmontas Vilis Armstrongas. Net ir po 1603 m. karūnų unijos Karlailio pilis tebebuvoPilis išsaugojo karines tradicijas ir pilietinio karo metu buvo laikoma karaliaus naudai, kol buvo priversta pasiduoti po to, kai parlamentarų apgultis privertė gyventojus pasiduoti badu. 1745 m. pilį taip pat užėmė ir laikė jakobitų pajėgos. Šiandien šios galingos šiaurinės tvirtovės karines tradicijas tęsia Kambrijos karinio gyvenimo muziejus.