In 1606 bezetten de Spanjaarden Ternate. Sultan Said werd gevangen genomen, maar riep de hulp in van de VOC. Admiraal Cornelis Matelieff probeerde in 1607 tevergeefs de Spanjaarden te verdrijven. De Nederlanders bouwden aan de oostkust fort Melayu. In 1609 werd de naam gewijzigd in kasteel Oranje. Het was van 1611 tot de verhuizing naar Batavia in 1619 het bestuurscentrum van het VOC in Azië en de zetel van de gouverneur generaal en daarna de zetel van de gouverneur van de Molukken.
Ternate was tot de vrede tussen Nederland en Spanje dus verdeeld in een Spaanse en een Nederlandse invloedssfeer, die tot de vrede van 1648 regelmatig met elkaar in oorlog waren. Nadat de Spanjaarden in 1663 de Molukken verlieten, werden plannen gemaakt om het fort te verkleinen, maar er zijn alleen kleine veranderingen uitgevoerd. De nieuwbouw in 1757 was noodzakelijk door de slechte staat van de bebouwing. In 1791 inspecteerde de Militaire Staatscommissie het fort, maar de ontwerpen van ingenieur C.F. Reimer zijn nooit uitgevoerd
In 1795 brak oorlog uit tussen de Bataafse Republiek en Engeland. In 1801 belegerden de Engelsen vijf maanden fort Oranje, voordat gouverneur Willem Jacob Cransen capituleerde. De Molukken werden bij de vrede van Amiens in 1802 teruggegeven, maar het jaar erop brak er opnieuw oorlog uit. In 1810 capituleerde het fort na een korte beschieting en kwamen de Molukken onder Engels bestuur. In 1817 kwamen de Nederlanders terug.
De 19de eeuw was voor de Molukken een tijd van achteruitgang en verval. De stad Ternate en het fort werden in 1840 beschadigd door een aardbeving. In de jaren 1870 -1874 vonden verbouwingen plaats. In 1916 werden de landmuur met bastions afgebroken. Het fort werd tot eind 20ste eeuw gebruikt door militairen en politie. Vanaf de jaren tachtig tot 2015 zijn door de Indonesische overheid verschillende restauratieprojecten uitgevoerd. Het fort dient nu als publieke ruimte en specerijenmuseum.
