In het verdrag van Giyanti, waarbij in 1755 het rijk van Mataram werd verdeeld, was bepaald dat in de nieuwe hoofdstad Yogyakarta op kosten van de sultan een VOC-fort zou worden gebouwd. Sultan Hamengkubuwono I (1749-1792) probeerde de bouw van een VOC-fort op slechts 400 meter van zijn kraton zo lang mogelijk uit te stellen. Het ontwerp was al in 1756 gereed. Er werd wat voorbereidend werk gedaan en een houten fort gebouwd. In 1765 werd begonnen met de bouw van een stenen fort, maar het duurde tot 1790 voordat fort Rustenburg was voltooid. Het was een vierkant fort met vier bastions, dat werd omgeven door een gracht.
In 1811 veroverden de Engelsen Java. Er ontstonden al snel spanningen tussen de ‘’lieutenant governor’’ James Stamford Raffles en de sultan van Yogyakarta. Op 17 juni 1812 kwam Raffles zelf met een leger naar Yogyakarta. Onderhandelingen tussen de partijen hadden geen resultaat. Er braken vijandelijkheden uit, waarbij een artillerieduel tussen beide forten ontstond met als resultaat dat in beide forten een kruithuis ontplofte. De Britten bezetten op 20 juni de kraton.
Na de terugkeer van de Nederlanders in 1817 ontstonden nieuwe spanningen, die leidden tot het uitbreken van de Java-Oorlog op 20 juli 1825. Zes dagen later vluchtte Ratu (koningin) Agung met haar kleinzoon, de jonge sultan Hamenkubuwono V, naar het fort. Aanhangers van Diponegoro begonnen een belegering van de kraton en het fort. Daaraan kwam een einde toen op 25 september generaal Hendrik Merkus de Kock met een leger van 7500 man Jogyakarta binnen trok.
De naam van het fort werd kort na het einde van de oorlog veranderd in Vredeburg.
Het fort werd in 1842 vergroot. In 1867 werd het fort tijdens een aardbeving zwaar beschadigd, maar de schade werd hersteld. Het fort bleef in gebruik bij het leger, en werd in de 20ste eeuw bijvoorbeeld als gevangenis gebruikt door de Japanners (1942-1944), en als basis door Indonesische republikeinen (1945-1948), Nederlandse parachutisten (dec 1948 – mei 1949) en het Indonesische leger (1949-1980). Tegenwoordig is het een museum over de Onafhankelijkheidsstrijd.
Het fort verkeert in goede staat. In 2014 is de gedempte gracht opnieuw gegraven.
