Норманська башта була зведена на місці замку Корфу, після підкорення
Англії Вільгельмом Завойовником. Метою будівництва був контроль
маршрутів об'єднуючих Свенедж і Вархемом, а також захист з боку моря. В
якості головного матеріалу зведення замку використовувався камінь з
каменоломень Пурбеку. Будівництвом сучасної пам'ятки займалися місцеві
жителі. У нагороду отримали гарантію збереження земельних наділів і
житла, а також право використовувати замок в якості притулку при нападу
ворогів. З 1199 року і подальших 17 років замок був резиденцією короля
Іоанна Безземельного, він відвідував його під час мисливських розваг. У
ці роки замок виконував роль в'язниці - тут були засуджені до смерті і
доживали останні дні. Також були проведені зміни в фортифікації замку,
які продовжилися в тринадцятому столітті, за часів правління Генріха
Третього. У 1572 році замок продала королева Єлизавета Перша серу
Крістоферу Хаттону, він реконструював його і витратив на це значні суми.
Саме після реставрації він перетворився з фортифікаційної споруди в
розкішний житлової замок.