De eerste kraton (koninklijk paleis) van het sultanaat Bantam (Banten) werd gebouwd tijdens de regering van sultan Maulana Hasanuddin (1552-1570). Hij noemde het op advies van zijn vader sunan Gunung Jati, “Surosowan”. Een andere naam was “Gedong Kedaton Pakuwuan”.
Zijn opvolger Sultan Maulana Yusuf (1570-1580) bouwde de ringmuur van bak
en koraalsteen. Bantam werd tijdens zijn regering een grote stad en na de verovering van Malakka door de Portugezen in 1511, een internationale haven. Aziatische en Europese kooplieden gaven de voorkeur aan Bantam boven Malakka.
Het paleis werd na grote branden in 1605 en 1607 volledig herbouwd op dezelfde plaats. Surosowan werd omgeven door een bakstenen muur van twee meter hoog en vijf meter dik. Het binnenterrein was 300 x 100 meter groot, oftewel een oppervlakte van ongeveer drie hectare. De muur diende niet als bescherming tegen aanvallen, maar uitsluitend om te voorkomen dat gewone mensen de bewoners van het paleis konden gadeslaan.
Tijdens de regering van sultan Ageng Tirtayasa (1651–1672) brak een oorlog uit met zijn zoon Abdul Kahar Abun Nazar, alias sultan Hadji (1671-1690). Hadji versterkte in 1680 het paleis, dat werd belegerd maar ontzet door de komst van Nederlandse soldaten. De hulp van de VOC tijdens de burgeroorlog leidde ertoe dat Bantam ondergeschikt werd aan Batavia. De Nederlanders bouwden fort Speelwijk om de sultan onder controle te houden.
De beschadigingen aan het paleis werden na de burgeroorlog hersteld, de Nederlandse steenhouwer Hendrik Lucasz Cardeel, die na zijn bekering tot de islam de naam Pangeran Wira Goena aannam, bouwde in 1680-1681 een rechthoekige nieuwe muur met vier muren en ravelijnen en een poort aan de noord kant. De Nederlanders noemden de kraton fort Diamant (Kota Intan).
In de 18de eeuw werden de gebouwen binnen de kraton verschillende keren vergroot. Sultan Zainul Abidin liet in 1701 een waterleiding aanleggen tussen de bronnen bij zijn landhuis in Tasik Ardi en zijn paleis.
Gouverneur-generaal Daendels (1808-1811) wilde een marinehaven aanleggen bij de Meeuwenbaai (Teluk Peucang). De sultan moest voor de benodigde arbeiders zorgen. De plaats was buitengewoon ongezond. Honderden koelies overleden aan zieken of liepen weg. Volgens Daendels was er sprake van tegenwerking van de sultan en zijn minister. Tijdens de onderhandelingen werden zijn twee gezanten en hun gevolg vermoord. Daendels trok met 1, 000 man naar Bantam en bestormde fort Diamant dat door 3,000 man werd verdedigd. De sultan werd gevangen genomen en zijn minister terechtgesteld. Banten werd tot Nederlands gebied verklaard. Fort Diamant moest worden afgebroken, maar dat gebeurde pas in 1832 omdat de bevolking weigerde het symbool van hun sultans te vernielen.
Bantam raakte in de vergetelheid. In 1893, kreeg de conservator van de etnografische collectie van het museum in Batavia een kaart van de overblijfselen van de stad. Tussen 1915 en 1930 werden de ruïnes door de Oudheidkundige Dienst gerestaureerd. De Indonesische regering liet tussen 1970 en 1980 archeologische onderzoek uitvoeren. De vondsten en de geschiedenis van Bantam zijn tentoongesteld in het museum, dat in 1985 werd geopend. De resten van Surosowan zijn geconserveerd en te bezoeken.
