Κτίστηκε πάνω στο νησάκι των Αγίων Θεοδώρων το 1473 από τον Ιταλό μηχανικό Γκαμπέλο, ο οποίος του έδωσε και το αρχικό του όνομα. Υπήρξε η πρώτη φυλακή του Θεόδωρου Κολοκοτρώνη, ενώ κατά τις αιματηρές ελληνικές εμφύλιες εχθροπραξίες (1823 – 1833), η τότε κυβέρνηση κατέφυγε δύο φορές στο Μπούρτζι για την ασφάλειά της. Το 1865, ο βασιλιάς Γεώργιος έδωσε εντολή για τον αφοπλισμό του και χρησιμοποιήθηκε ως κατοικία του εκάστοτε δήμιου, ο οποίος εκτελούσε τους θανατοποινίτες του Παλαμηδίου.
Λέγεται ότι επέλεξαν το Μπούρτζι, επειδή οι δήμιοι ήταν μισητά πρόσωπα στην τοπική κοινωνία, οπότε το να μένουν σε ένα απομονωμένο μέρος, έμοιαζε η ιδανική λύση για να αποφευχθούν τυχόν προβλήματα.
Από το 1930 το κάστρο μετατράπηκε σε ξενοδοχείο, που λειτουργούσε έως το 1970, φιλοξενώντας πολλές προσωπικότητες. Σήμερα, αποτελεί μαζί με το Παλαμήδι το σήμα -κατατεθέν του Ναυπλίου και μπορείς να μεταβείς με βαρκούλες που βρίσκονται μπροστά στο λιμένα. Η θέα από το Μπούρτζι προς την πόλη, με το εμβληματικό Παλαμήδι είναι απλά μαγευτική.
