Сведений о том, когда на этом месте был возведен первый форт, как предполагается, напоминавший, скорее, дозорную башню — нет.
1222 годом датируются сведения о том, что башня была разрушена землетрясением и франки возвели на этом месте новую постройку, представлявшую собой две башни, соединенные стеной.
В 1373 году Пафос подвергся осаде генуэзцев, и целый год защитники форта успешно отражали их атаки, однако, затем сдали его после падения Фамагусты.
Через 18 лет, в 1391 году, пострадавшие от генуэзских атак башни были восстановлены королем Кипра Яковом I.
В 1473 году форт был укреплен, а почти через сто лет вновь разрушен во время захвата острова турками (1570 год), и опять восстановлен в 1592 году.
Первый этаж крепости представляет собой холл с каменным сводом, а комнаты по обе стороны холла использовались во времена турецкого владычества как тюремные камеры. Центральная комната верхнего этажа была гарнизонной мечетью.
На крыше сооружения раньше располагались 12 укреплений и 12 орудий, которые были демонтированы 1878 году.
Во время правления на острове британцев, вплоть до 1935 года, форт был соляным складом, а затем постройку внесли в список памятников старины, охраняемых государством.
В архитектурном значении это сооружение представляет собой грандиозные каменные стены, высящиеся над портом. Арочный мост соединяет ворота замка непосредственно с гаванью. Окна были нужны фортификационному укреплению только в виде бойниц и наблюдательных пунктов, поэтому их немного.
Крепость Пафоса занесена в списки Всемирного наследия ЮНЕСКО и подлежит всесторонней защите.
