Op de locatie van het Spaanse fort San Salvador werd in 1642 het Nederlandse fort Noord-Holland gebouwd. Het fort werd in 1662, tijdens de invasie van de Chinese krijgsheer Koxinga, verlaten en verwoest. In 1664 werd de locatie echter weer in gebruik genomen, en werd op de fundamenten van het oude fort een nieuwe fortificatie gebouwd, die bekend stond als fort Nassau, of minder formeel, als de Zeepunt. Dit fort werd in 1668 weer verlaten, toen de Nederlanders zich definitief terugtrokken van Taiwan.
Het fort werd in de loop van zijn geschiedenis ondersteund door verschillende redoutes. De belangrijkste daarvan was de op de heuvels achter het fort gelegen redoute Victoria, later ook bekend als de Pockel.
