Het eerste verdedigingswerk aan de Baguala baai was een stenen huis met een halvemaan aan de zeezijde. Gouverneur Jan van Gorcum gaf in 1626 opdracht voor de bouw. Dit blokhuis, dat naar Middelburg werd vernoemd, werd verdedigd met 4 kanonnen en 21 soldaten onder leiding van en een sergeant. In 1644 en 1674 raakte het bouwwerk door aardbevingen ernstig beschadigd. Onder het bewind van gouverneur Robertus Padbrugge werd het vervallen gebouw afgebroken en vervangen door een nieuw blokhuis dat op hetzelfde fundament werd gebouwd. De toegang tot dit gebouw was op de verdieping, die via een trap aan de westwand bereikt werd. Deze etage werd als leefruimte gebruikt. Op de benedenverdieping bevond zich het geschut. Padbrugge nam ook initiatief tot de aanleg van een kanaal, direct langs het fort, dat het de baai van Ambon met de Baguala Baai moest gaan verbinden. Onder Bernardus van Pleuren (Gouverneur van Ambon, 1777-1785) werd het fort gerenoveerd en verbeterd naar ontwerp van ingenieur Hans Ernst von Wagner. Het bouwwerk zou echter kort daarna – tijdens de Britse bezetting
alweer worden verwaarloosd en in verval raken. Overblijfselen van het fort zijn nog steeds zichtbaar. Delen van de noordoostelijke, zuidoostelijke en zuidwestelijke muren staan nog overeind. Deze zijn gemaakt van baksteen, met natuurstenen afwerking rond raam en deuropeningen. De ruïne bevindt zich in een buitenwijk van de stad Ambon, omgeven door woonhuizen. Door verandering van de kustlijn bevindt het fort zich nu op 250 meter afstand van de zee.
