Ņemot vērā tās stratēģisko atrašanās vietu pie Anglijas robežas ar Skotiju, nav pārsteidzoši, ka Kārlislas pils ir visvairāk aplenktā vieta Britu salās. Kārlislas kā nozīmīga administratīvā un militārā centra loma sākās gandrīz pirms 2000 gadiem, kad tā kļuva par romiešu Luguvalium. Agrākais Kārlislas cietoksnis, kas bija būvēts no koka un kokmateriāliem, tika uzcelts vietā, kur tagad atrodas vēlākā pils.stāv, un ap militāro kompleksu izauga bagāta pilsēta. Kārlislas kā cietokšņa loma ziemeļu pierobežā turpinājās arī agrīnajos viduslaikos, kad tā bija daļa no Rhegedas karalistes. Dažādi nostāsti saista karali Artūru ar Kārlislu; runā, ka viņš šeit uzturējis tiesu. Kad Ziemeļumbrijas karaliste bija vara ziemeļos, Kārlasla kļuva arī par svarīgu reliģisku centru.

Kārlislas pils gravīra, 1829. g.

Normandiešu pils tika uzsākta Anglijas iekarotāja Vilhelma II dēla Vilhelma II valdīšanas laikā, kad Kamberlenda tika uzskatīta par Skotijas daļu. Pēc skotu padzīšanas Vilhelms II pieprasīja šo reģionu Anglijai, un 1093. gadā agrākā romiešu cietokšņa vietā tika uzcelta koka Normandijas motte and bailey pils. 1122. gadā Henrijs I pavēlēja uzcelt mūra cietoksni; pilsēta tika uzcelta 1122. gadā.No tā laika datējamas arī sienas. Turpmākā Kārlislas vēsture atspoguļo anglo-skotu attiecību vētraino vēsturi, un nākamo 700 gadu laikā Kārlasla un tās pils vairākkārt mainīja īpašniekus. 700 gadu laikā pilsēta bija arī abu valstu monarhu triumfa un traģēdijas vieta. Pēc Henrija I nāves Dāvids I no Skotijas atkal ieņēma Kārlaslu skotu labā.Henrija I iesākto darbu pabeigšanu. Henrija II (1154-1189) laikā pils atkal nonāca angļu rokās, par tās pārvaldnieku ieceļot Kamberlendas šerifu Robertu de Vaux. Pils pārvaldniekiem un vēlāk pārvaldniekiem bija būtiska loma kārtības uzturēšanā gar Anglijas un Skotijas robežu.

Pils attīstījās vēl vairāk, kad 1296. gadā Kārlaizla kļuva par Edvarda I štābu viņa pirmās Skotijas kampaņas laikā. Nākamajos trīs gadsimtos Kārlaizla tika aplenkta septiņas reizes, tostarp Roberts Brūss pēc Bannoksbernas ilgstoši to aplenca. Galu galā pils nonāca angļu rokās, un tā kļuva par Rietumu marta uzraugu štābu. Turpmāki masīvi pilsētas aizsardzības pasākumi tikauzcelta Henrija VIII valdīšanas laikā, kad viņa inženieris Stefans fon Hašenpergs projektēja arī tipisko Henrikas citadeli. 1567. gadā Skotu karaliene Marija tika ieslodzīta Pārvaldnieka tornī. 16. gadsimta beigās no Kārlislas pils, kas tolaik bija arī cietums, drosmīgi izglābās bēdīgi slavenais robežpārkāpējs Kinmonts Villijs Armstrongs. Pat pēc kroņu savienības 1603. gadā Kārlaslas pils joprojām bija ieslodzījuma vieta.Pilsoniskā kara laikā pils saglabāja savas kara tradīcijas un tika turēta karaļa labā, līdz bija spiesta padoties pēc tam, kad parlamentāriešu aplenkuma rezultātā pils iemītnieki bija spiesti pakļauties badam. 1745. gadā pili ieņēma un turēja arī Jakobītu spēki. Mūsdienās šī spēcīgā ziemeļu cietokšņa militārās tradīcijas turpina Kambrijas Kara dzīves muzejs.