Het fort werd ontworpen door de ingenieur Van buren en op het moment van constructie was het vierkant met vier bolwerken op de hoeken metende 132 roeden tussen ieder bolwerk. Blijkbaar bouwden de Nederlanders een smalle redoete om de werkers te verdedigen (afbeelding 3). In het midden van Juni 1631 werd een hoornwerk opgetrokken en het fort was aan het eind van de maand klaar.
Een deel van het bouwmateriaal kwam van het kleine eiland ten noorden dat van haar vegetatie was ontdaan. Ongeveer 400 mensen leefden in het fort. Het verslag van Richshoffer uit Oktober 1631 toont aan dat de bouwwerkzaamheden doorgingen, de soldaten waren constant aan het proberen de gracht uit te graven, waar veel zand in terecht kwam uit de zee. Het fort werd aangepast nadat het in 1632 was aangevallen. De muur werd verhoogd met vier en een halve meter aan de noordwestelijke zijde en een aantal greppels werden gegraven voor het geval van een aanval. Deze werkzaamheden werden waarschijnlijk met zand van de zee.
Het garnizoen werd waarschijnlijk gereduceerd, maar er is geen informatie tot aan 1638 toen het fort werd beschreven als zijnde vierkant met vier bolkwerken en ook recentelijk was hersteld. Echter het had geen slotgracht noch palissade, die nog gemaakt moesten worden. De slotgracht werd gegraven en een contra-escarpe werd gebouwd aan het uiteinde. Noordelijk van het fort was er een hoornwerk.
Blijkbaar waren alle bolwerken gesloten toen afbeelding 5 werd gemaakt. Een slotgracht en hoornwerk worden getoond, maar het is onduidelijk of de tekening een representatie is van de actueele situatie of een plan. Ook het verslag uit 1640 beschrijft het fort als een vierkant fort met vier bastions. In het verslag wordt vermeld dat de bastions behoorlijk hoog waren opgetrokken. Daarnaast beschrijft het de slotgracht als zijnde problematisch, die gedeeltelijk in plaats was en werd beschreven als ondiep en droog. Het fort werd omringd met een sterke stapelwerk. Het garnizoen van het fort bestond uit een totale component van 182 soldaten.
Het garnizoen van Fort oranje werd gereduceerd tot 71 soldaten in Augustus 1643, de economische crisis in Nederlands Brazilie dwong de WIC om drastische maatregelen te nemen. Door het tekort aan financiering was er waarschijnlijk geen geld om de herstelwerkzaamheden te ondernemen. De artiest Frans Post produceerde verschillende afbeelding van het eiland Itamaracá, maar er zijn geen gedetaileerde afbeeldingen van zijn hand gepubliceerd. De ongepubliceerde afbeelding die Post maakt van Fort Orange, was waarschijnlijk de basis voor afbeeldingen die later werden gepubliceerd, zoals die getoond in afbeelding 6. Op een van deze afbeeldingen is het fort gedetailleerd weergegeven en wijken er verschillende aspecten af van het grondplan gereproduceerd op afbeelding 5. De positie van de latrines komen niet overeen met die van het grondplan en ook het oosterlijke bastion ontbreekt. De poort gemaakt van bakstenen genoemd door Nieuhof, is duidelijk zichtbaar aan de zee-zijde volgens het grondplan van afbeelding 5. Het grote vierkante gebouw met de vlag is moeilijk te plaatsen op het grondplan. Het is lastig om te traceren tot welke hoogte deze afbeelding de actuele situatie van het fort representeert (afbeelding 6).
De laatste gedetailleerde beschrijving die geraapleegd is dateerd uit 1646 en beschrijft een fort met een solide muur and parapet gemaakt van hout. Op dat moment waren er geen palisades, maar hun contructie was al gecontracteerd. De slotgracht bleef ondiep. Het hoornwerk was gedeeltelijk afgebroken. Het interieur had een buskruit huis dat zich in een redelijk staat was en er waren ook woonruimten.
Dit verslag beschrijft ook dat de poort was geplafoneerd met bakstenen. Het garnizoen was waarschijnlijk uitgebreid, maar de exacte sterkte is moeilijk te berekenen, aangezien er geen specifieke lijsten zijn voor het fort, maar alleen voor het eiland als geheel. Het lijkt waarschijnlijk dat 200 tot 250 soldaten van de circa 470 op geheel Itamaracá, verbleven in Fort Orange.
