In 1656 bracht gouverneur Arnold de Vlaming van Outshoorn het afgelegen Ambonese eiland Buru onder gezag van de VOC. Een jaar later tekende gouverneur Jacob Hustaert (1656–1662) een overeenkomst met de lokale bewindhebbers om de kruidnagelbomen van Buru ten behoeve van het monopolie van de VOC te vernietigen en de bevolking van het eiland in een dorp aan de baai van Kayeli te laten wonen. Hier werd een houten omheining gebouwd, genoemd naar Sultan Mandarsyah van Ternate die als heerser van dit eiland gold. In 1661 liet Simon Cos dit houten verdedigingswerk op verzoek van de bevolking vervangen door een stenen fort dat naar hem werd genoemd. Orders uit Batavia dwongen hem echter al snel de naam van fort Cosburg te veranderen in Oostburg. In 1668 werd het fort geplunderd en beschadigd tijdens een opstand. Toen de orde was hersteld werd ook het fort weer provisorisch hersteld. Tijdens een bezoek van gouverneur Dirk de Haas (1687-1691) kwam er echter abrupt een einde aan de levensduur van dit bouwwerk toen het Kruithuis per ongeluk ontplofte. Op dezelfde plaats werd nu een tijdelijk bedoeld houten fort gebouwd, Defensie genaamd. Pas onder gouverneur Bernardus van Pleuren (1775-1785) werd dit primitieve houten verdedigingswerk door een stenen fort vervangen. Aan het ontwerp en de totstand koming van dit fort werd in de periode 1778-1787 opeenvolgend werkt door: Lambertus Jansz. Haga, Wijnandus Johannes de Bourghelles de la Vacquerie, Jan Bruyns en Elias Mazel. Hun namen zijn nog op verschillende plekken in het bouwwerk gebeiteld terug te vinden. Het fort kreeg een vierkante plattegrond met op elk van de hoeken een halfbastion. Het fort bleef dienstdoen tot in de negentiende eeuw 19e eeuw. Er waren ongeveer 25 soldaten onder het bevel van een luitenant gelegerd tot de vesting in 1867 uiteindelijk zijn permanente militaire functie verloor. De muren van het fort, compleet met poorten, bastions en spie-torentjes, hebben de tand des tijds goed doorstaan. De gebouwen die ooit binnen de muren en rond het fort stonden zijn wel grotendeels verdwenen.