Na enkele jaren van onderbroken handel door particuliere handelaren, nam de de West-Indische Compagnie de controle over Nieuw Nederland over. Een van haar eerste maatregelen was het overzenden van een groep kolonisten, die na aankomst werd verdeeld over vier locaties. Een beschrijving uit 1626 door Van Wassenaer (zie documentatie) beschrijft de vorm van fort Oranje, i.e. een vier-puntig Europees fort, maar de de afmetingen blijven ongespificeerd in vroege bronnen. Onderzoek uitgevoerd door Paul Huey (zie documentatie) wijst uit dat de rechthoekige interne vorm van het fort bijna 50 meter mat, terwijl de uitwendige dimensies waren minder dan 55 meter van noord naar zuid.
Voor de jaren 1630, zijn de bronnen over Fort Oranje schaars. Op de ‘’Gillis van Scheyndel Kaart’’ van Rensselaerswijck uit ca 1632, is Fort Oranje aangegeven met een vier-puntige omsluiting en omgeven door wat een gracht of veste blijkt te zijn. Het is aannemelijk dat gedurende de jaren 1630 en 1640, de grondwerken van Fort oranje, hoewel de punten waren versterkt met houten staken, leden onder zelfde vorm van erosie als die van Fort Amsterdam. De Franse Jesuit Isaac Jogues merkt op dat het fort “basty de pieux’’ was, vertaald door Thwaites als “gebouwd met stammen.’’ Het is aannemelijk dat de courtines van Fort Oranje met verticaal opgerichte boomstammen waren gebouwd, als een palissade, terwijl de punten waren gebouwd met horizontale balken.
Hoewel Jogues Fort Oranje bestempelde als klein, was het groot genoeg om verschillende gebouwen te herbergen. De kleine huizen op het terrein waren zeer waarschijnlijk de slaapplekken voor de soldaten, met het grotere huis als accommodatie voor de hogere officieren. Andere in 1648 genomen besluiten onthullen meer details over Fort Oranje, zoals bijvoorbeeld dat het werd omringd door een “droge gracht.’’ Het plan om het fort te herstellen behelsde onder andere het te omringen “met een stenen muur, in plaats van hout, om de jaarlijkse uitgaven aan de herstelwerkzaamheden te voorkomen." Een begin was algemaakt met het opdelven van lokale steen, maar het is onzeker in hoeverre het plan ook daadwerkelijk is uitgevoerd.
Gedurende de eerste Engels-Nederlandse oorlog maakten de Bewindhebbers in Amsterdam zich meer zorgen over de staat van verdediging van Nieuw Nederland. Op zijn minst beschermden de muren van Fort Oranje de gebouwen tegen hoog water. Tijdens de jaren 1650 werden tegen hoge kosten een nieuw wachthuis en gerechtsgebouw gebouwd, beide van baksteen. Het gerechtsgebouw was een sterk en groot gebouw, opgericht op twee kelders met stenen fundamenten. De eerste verdieping was verdeeld in drie ruimtes, met inbegrip van een keuken van 16 bij 21 voet. De bovenverdieping bestond uit twee ruimtes, met de rechtszaal en een kantoor, beide 21 bij 21 voet.
In 1660, net nadat de vijandigheden met de Esopus Indianen opnieuw waren uitgebroken, was Fort Oranje niet meer te herstellen. De slechte staat van het fort was een schande voor de West-Indische Compagnie, schreef La Montagne. De hoven van Beverwijck en Rensselaerswijck hadden te samen met La Montagne besloten om de oude gebouwen te laten staan en te focusen op “het herstellen van de bastions met zo weinig mogelijk kosten en met de grootste snelheid.’’ In 1664, toen Nieuw Nederland was ingenomen door de Engelsen, werd Fort Oranje hernoemd tot Fort Albany. Gedurende de korte Nederlandse herovering van 1673-1674, werd de fortificatie Fort Nassau genoemd (niet te verwarren met het eerdere fort Nassau dat iets zuidelijker lag op Castle Island). Ondanks de aanhoudende pogingen om het te herbouwen, was het fort in 1675 in zo’n slechte staat dat de Engelse Gouverneur Edmund Andros besloot om het te verlaten en een nieuw fort, genaamd Fort Frederick te bouwen, wat verder van de rivier, op de heuvel boven de stad (nu Capitol Hill).
