O ystyried ei leoliad strategol ar y ffin â Lloegr â’r Alban, nid yw’n syndod mai Castell Carlisle sydd â’r record am y lle mwyaf dan warchae yn Ynysoedd Prydain. Dechreuodd rôl Carlisle fel canolfan weinyddol a milwrol fawr bron i 2,000 o flynyddoedd yn ôl, pan ddaeth yn Luguvalium Rhufeinig. Adeiladwyd y gaer gynharaf yng Nghaerliwelydd, a wnaed o bren a phren, lle saif y castell diweddarach heddiw, a thyfodd tref gyfoethog o amgylch y cyfadeilad milwrol. Parhaodd rôl Carlisle fel caer ar y ffin ogleddol yn ystod y cyfnod canoloesol cynnar pan oedd yn rhan o deyrnas Rheged. Mae straeon amrywiol yn cysylltu'r Brenin Arthur âCarlisle; dywedir iddo gadw y llys yma. Pan oedd teyrnas Northumbria yn bwer yn y gogledd, daeth Carlisle hefyd yn ganolfan grefyddol bwysig.

Y Normaniaid dechreuwyd castell yn ystod teyrnasiad William II o Loegr , mab y Gorchfygwr , a'r pryd hwnnw ystyrid Cumberland yn rhan o Ysgotland. Ar ôl gyrru'r Albanwyr allan, hawliodd William II y rhanbarth dros Loegr ac ym 1093 adeiladwyd castell mwnt a beili pren Normanaidd ar safle'r gaer Rufeinig gynharach. Ym 1122, gorchmynnodd Harri I adeiladu gorthwr carreg; mae muriau'r ddinas hefyd yn dyddio o'r amser hwn. Mae hanes dilynol Carlisle yn adlewyrchu cynnwrf y berthynas Eingl-Albanaidd, a newidiodd Carlisle a'i chastell ddwylo lawer gwaith dros y 700 mlynedd nesaf. Roedd y ddinas hefyd yn lleoliad buddugoliaeth a thrasiedi i frenhinoedd y ddwy wlad. Cipiodd David I o'r Alban Carlisle i'r Albanwyr eto ar ôl marwolaeth Harri I. Credir iddo adeiladu “gorthwr cryf iawn” yno, a all awgrymu bod y gwaith a ddechreuwyd gan Harri I wedi'i gwblhau. Roedd y castell yn ôl yn nwylo'r Saeson dan Harri II (1154-1189) a osododd Robert de Vaux, Siryf Cumberland yn llywodraethwr. Roedd gan lywodraethwyr y castell, ac yn ddiweddarach wardeniaid, y castell rôl hanfodol yn y gwaith o gynnal trefn ar hyd y ffin Eingl-Albanaidd.

Datblygodd y castell ymhellach pan oedd Carlisledaeth yn bencadlys Edward I yn ystod ei ymgyrch Albanaidd gyntaf ym 1296. Yn y tair canrif ganlynol, bu Carlisle dan warchae saith gwaith, gan gynnwys gwarchae hirfaith gan Robert the Bruce ar ôl Bannockburn. Yn y diwedd yn gadarn yn nwylo'r Saeson, daeth y castell yn bencadlys Wardeniaid Gorllewin Mers. Adeiladwyd amddiffynfeydd dinas enfawr pellach yn ystod teyrnasiad Harri VIII, pan ddyluniodd ei beiriannydd Stefan von Haschenperg y Citadel Henricaidd nodweddiadol hefyd. Carcharwyd Mary Brenhines yr Alban yn Nhŵr y Warden ym 1567. Ar ddiwedd yr 16eg ganrif, achubwyd y cefnwr ffin drwg-enwog Kinmont Willie Armstrong o Gastell Carlisle, a oedd ar y pryd hefyd yn garchar. Hyd yn oed ar ôl Undeb y Coronau yn 1603, roedd Castell Carlisle yn dal i gadw ei draddodiad ymladd, yn cael ei ddal i'r brenin yn ystod y Rhyfel Cartref nes iddo gael ei orfodi i ildio ar ôl i warchae Seneddol rwystro'r deiliaid rhag ymostwng. Cipiwyd y castell hefyd a’i ddal gan luoedd y Jacobitiaid ym 1745. Heddiw mae traddodiad milwrol y gaer ogleddol bwerus hon yn parhau trwy Amgueddfa Bywyd Milwrol Cumbria.