Крепость Кулес (Кастро) была построена перед вторыми венецианскими укреплениями вокруг города так, чтобы защищать область, отгороженную молом. Цитадель впервые была упомянута в начале XIV века. Первое изображение крепости сделал флорентийский монах Кристофоро Буондельмонти в 1429 г. Разрушительная сила моря была такой, что стены и фундамент постоянно требовали ремонта. Окончательную форму цитадель приобрела в 1523—1540 г.г., когда она заменила старую крепость, разрушенную землетрясениями и другими природными явлениями. Венецианцы называли крепость «Rocca al Mare».
В том, что касается архитектуры, это типичный венецианский форт, защищающий мол гавани, она находится на краю береговой стены.
Построенная из массивных каменных блоков, опирающихся на скалу, крепость возвышается на высоту двух этажей. Общая площадь помещений составляет 3600 кв. м.
Нижний этаж перекрыт сводчатой крышей с большими отверстиями для света. Его 26 комнат служили жильем, а также местом хранения воды, еды и оружия. Мрачная тюрьма на этом же этаже использовалась и в венецианские, и в турецкие времена для заключения и пыток критских мятежников.
Маяк находился на северной стороне верхнего уровня.
Во времена турецкого владычества (1669—1898 г.г.) церковь получила имя «Кулес», под которым известна до настоящего времени. Это имя происходит от фразы «Su Kulesi» — морская крепость. При турках была проведена достройка верхнего уровня крепости, добавлены амбразуры, места для пушек, небольшая мечеть. Часть минарета, который заменил старый маяк, сохранилась до сих пор в северо-восточном углу крыши.
На трех рельефных досках, вмурованных в главные стены крепости, изображен лев Святого Марка, являющийся эмблемой Венеции и покровительствующий крепости.
Каждый год венецианцы использовали старые, обветшалые суда для перевозки огромного количества камня с острова Диа и Фраскии, пляжа ниже Рогдии. Эти корабли затапливались, чтобы образовать мол, способный защитить крепость от разрушения критским морем.
Во времена турецкого владычества укрепления вокруг порта стали считаться недостаточными. Было принято решение усилить их добавлением новой маленькой крепости. Находящаяся прямо напротив венецианской крепости, «маленькая Кулес» была разрушена в 1936 г.
В последние несколько десятилетий крепость была восстановленна и приведена в порядок 13-м Эфоратом Византийских Древностей греческого Министерства Культуры.
В этом месте состоялась международная конференция, посвященная Доменико Теотокопулосу («Эль Греко»), во время которой были выставлены прекрасные полотна этого важного и известного художника эпохи Возрождения.
