Χτίσθηκε το 1413 από τον Βενετό αξιωματούχο του Δουκάτου της Νάξου Giovanni Querini στη θέση που κατείχε η αρχαία ακρόπολη του νησιού. Είναι μοναδικό ανάμεσα σε όλα τα άλλα που υπάρχουν στα νησιά του Νοτίου Αιγαίου. Ο οχυρωματικός περίβολος του Κάστρου ταυτίζεται στην ουσία με τους συνεχείς, εξωτερικούς τοίχους των σπιτιών του οικισμού, τα οποία ήταν τοποθετημένα περιμετρικά, στα όρια του λοφίσκου. Με τις ενιαίες και αδιάσπαστες τοιχοποιίες τους σχημάτιζαν τον περιμετρικό αμυντικό δακτύλιο. Πρόκειται για τα λεγόμενα «ξώκαστρα». Το κάστρο είχε όψη φρουρίου για να προστατεύει τους κατοίκους από τους πειρατές, και ορατότητα στα δύο φυσικά λιμάνια του νησιού.
Ξεκινάμε την περιήγηση με πλάνα της μοναδικής εισόδου του Κάστρου που βρίσκεται στη νοτιοδυτική πλευρά και οδηγεί στο εσωτερικό του, μέσα από ένα χαμηλό, θολωτό διάδρομο σκεπασμένο με τρία σταυροθόλια. Βλέπουμε ερείπια ανεμοδαρμένων σπιτιών που μόνο οι τοίχοι και τα ανοιχτά παράθυρα τους έμειναν μετά το σεισμό του 1956. Ο πανέμορφος κάτασπρος τρούλος (που σήμερα είναι γαλάζιος) της Παναγίας του Κάστρου ή Ευαγγελίστριας κτισμένης το 1853, έρχεται σε αντίθεση με τον σκουρόχρωμο πέτρωμα μιας γκρεμισμένης κατοικίας των Κουερίνι. Ο φακός πλησιάζει το οικόσημο του αρχοντικού.
Πανοραμικό πλάνο με ερείπια παλιών σπιτιών και μετά η μεγάλη πλατεία, η «μπλάτσα» όπου γίνονταν οι συναθροίσεις της καστροπολιτείας. Στο βάθος, μέρος της δεύτερης κατάλευκης εκκλησίας του κάστρου, του Αγίου Γεωργίου, που χρονολογείται από το 1790. Λήψεις ερειπωμένων σπιτιών και πάλι, τα οποία ήταν τριώροφα. Κάθε σπίτι είχε δύο η τρεις κατοικίες. Στέγαζαν δηλαδή δύο ή τρεις οικογένειες.
Πλάνα με πέτρινες σκάλες για τα ανώγεια των σπιτιών, όμορφες καμάρες, υπολείμματα σοβαντισμένων τοίχων και προνομιούχα μικρά παράθυρα που βλέπουν προς τη θάλασσα. Κοντινό πλάνο μιας μητέρας γάτας που φυλάει τα γατάκια της. Αυτά κοιτάζουν το φακό έκπληκτα. Έχουμε όμως και ίχνη αρχαίων ναών. Λήψεις από σπασμένους κίονες πεσμένους στο έδαφος το αποδεικνύουν.
Είναι άνοιξη και μια γκάμα από όμορφα πολύχρωμα λουλούδια και θάμνοι αναδεικνύουν την χλωρίδα του κάστρου. Σε πανοραμικό πλάνο από ψηλά φαίνονται οι ταράτσες και οι στέγες των κάτασπρων σπιτιών με την τοπική αρχιτεκτονική που περιβάλλουν το κάστρο.