Το νησάκι του Αϊ-Νικόλα έχει έκταση 150 στρέμματα
και ανήκει στο Δημόσιο και στο Δήμο Παξών σε ποσοστό πάνω από 90%, ενώ ένα μικρό τμήμα του είναι ιδιωτικό κι ένα επίσης μικρό τμήμα ανήκει στο μοναστήρι της Παναγίας, στο νησάκι που βρίσκεται αμέσως μετά.
Στην κορυφή του νησιού σε ύψος 45, βρίσκεται το κάστρο που μετά από άδεια της Ενετίας άρχισε να χτίζει το 1423 ο βαρόνος Αδάμ ΙΙ Σαν Ιππόλυτος, για να προστατεύσει τους κατοίκους από τους πειρατές. Η άδεια δόθηκε από τη γερουσία με ψήφισμα στις 13 Ιουνίου 1423 (Sathas Monumenta Histroriae Hellenicae vol. III p.249). To 1510 είναι χαραγμένο στην αψίδα της πύλης του φρουρίου ως χρονολογία ολοκλήρωσης της οικοδόμησής του.
Το 1484 η βαρονία πέρασε στο Βενετσιάνικο Δημόσιο, για να την παραχωρήσει το 1513 αντί 3600 δουκάτων στον Κερκυραϊκό οίκο του Ιωάννη Αβράμη. Ήταν τόσο βαριά η φορολογία που επιβλήθηκε από αυτόν στους Παξινούς, ώστε πολλές οικογένειες εγκατέλειψαν το νησί και κατέφυγαν στην Τουρκία και στα ακατοίκητα νησιά των Οθωνών.
Αρχικά το φρούριο είχε σχήμα στρογγυλό και η είσοδός του ήταν από την Ν.Α. πλευρά, εκεί που αργότερα χτίστηκε ο μύλος του Κουβαλιά. Ανακατασκευάστηκε στη σημερινή του μορφή, τουλάχιστος ως προς το εξωτερικό του σχήμα, το 1510 σε σχέδια του Λεονάρντο Ντα Βίντσι, όπως ανακάλυψε στα αρχεία της Ενετίας ο αρχιτέκτονας και φίλος των Παξών Ρομπέρτο Βένερι. Τότε μειώθηκε η έκτασή του και αποκαλύφθηκε ένα πλάτωμα μπροστά στην πύλη, η οποία πλέον μεταφέρθηκε στην Β.Δ. πλευρά.
Το πλάτωμα αυτό πρέπει να είναι απομεινάρι αρχαιοελληνικής δομής του κάστρου. Τμήματα του αρχαιοελληνικού τείχους, χτισμένα με διαφορετικά υλικά και εμφανώς παλαιότερα είναι σήμερα ορατά. Φαίνεται ότι οι Ενετοί κατακτητές του νησιού υιοθέτησαν την αρχαία ελληνική υποδομή ως βάση και την επέκτειναν ή την τροποποίησαν, όπου χρειάζοταν στο πλαίσιο της τακτικής εξοικονόμησης πόρων που εφάρμοζαν σε όλες τις κατακτήσεις τους.
Μπαίνοντας ο επισκέπτης μέσα στην περίμετρο του φρουρίου αντικρίζει μια φαρδιά αυλή περιτριγυρισμένη από χαμηλό κυκλικό τοίχο. Στα αριστερά και δεξιά κατά μήκος του τείχους υπάρχουν τα ερείπια δυόροφων κτισμάτων, που χρησίμευαν ως στρατώνες. Οι στρατιώτες πυροβολούσαν από τον δεύτερο όροφο εναντίον των εχθρών τους. Στο κέντρο και αριστερά βρίσκεται ενετική στρογγυλή στέρνα και στα δεξιά η αγγλική τετράγωνη στέρνα, νεώτερη από όπου έπαιρναν καθαρό νερό οι εκάστοτε υπερασπιστές του κάστρου. Απέναντι από την πύλη της εισόδου υπάρχουν τρεις ράμπες που οδηγούσαν στο μικρό κυκλικό τείχος πάνω στο οποίο οι Ενετοί έσπρωχναν τα τεράστια κανόνια τους.