Bantam (Banten) was jarenlang de grootste concurrent van Batavia. Het was een belangrijke haven waar Europese en Aziatische kooplieden peper kochten. De VOC trachtte haar concurrent door middel van een blokkade uit te schakelen. In 1682 kreeg de VOC een onverwachte gelegenheid om Bantam buiten spel te zetten. Sultan Abdul Kahar Abun Nazar, ook bekend als Sultan Hadji, riep de hulp van de Nederlanders in zijn strijd tegen zijn vader en rivaal Sultan Ageng Tirtayasa. De VOC verleende militaire steun, waardoor de burgeroorlog in het voordeel van Sultan Hadji eindigde. De interventie had zijn prijs. Op 17 April 1684 tekende de sultan een overeenkomst waarbij de VOC het monopolie van de handel met Bantam opeiste. Als onderdeel van de overeenkomst werd bij de stad een fort gebouwd.
De eerste aanzet daarvan was al aanwezig, Een groep zeelieden onder bevel van Rombout van Hoogstraten had op 7 april 1682 een bastion in de zeemuur van Bantam bezet en noemde het fort Speelwijk naar gouverneur-generaal Cornelis Jansz Speelman (1681-1684). Landmeter Ewout Verhagen nam de bestaande muren en het bastion op in zijn ontwerp van een fort. Speelwijk werd het noordelijke bastion, terwijl de zee-muur aansloot op het nieuwe noordoostelijke bastion Zeewijk. Het zuidelijke bastion werd de rivierpunt genoemd. Vanaf het zuidelijke half bastion het Rottenest (na een verbouwing Nieuwpunt genoemd) kon het paleis van de sultan (Kota Inten) onder vuur worden genomen. Langs drie zijden van het fort werd een gracht gegraven. De vierde kant grensde aan de rivier. De bouw begon in 1685. Het terrein werd opgehoogd een houten palissade en tijdelijke bamboe gebouwen neergezet, die werden vervangen nadat de stenen muur was aangelegd. Fort Speelwijk was in 1686 gereed. Het fort werd bewapend met 48 kanonnen. Het had drie poort: de Land
en de Waterpoort en een kleine poort in de zee -muur. In de 18de eeuw werden de omwalling, de gracht en de gebouwen in het fort verbeterd.
De bezetting van het fort had door de ligging aan de kust en het gebrek aan drinkwater veel last van tropische ziekten. Gouverneur-generaal Herman Daendels (1808-1811) overwoog daarom het fort af te breken. Zijn plan werd achterhaald door zijn geschil met de sultan, dat eindigde met het onder rechtstreeks Nederlands gezag brengen van Bantam in 1810. Fort Speelwijk verloor daardoor zijn bestaansrecht en werd verlaten. In 1911 bezocht gouverneur-generaal Alexander Willem Frederik Idenburg (1909-1916) Bantam. Hij gaf opdracht om de ruïne van het fort en de Europese begraafplaats op te knappen en te onderhouden. Fort Speelwijk werd het eerste beschermde monument in Nederlandsch Indië en gaf daarmee de aanzet tot de Monumentenverordening. Het fort is een toeristische attractie en verkeert in een goede staat.
