De strijd tussen Nieuw Zweden en Nieuw Nederland over het bezit van de Delaware kwam in een beslissende fase toen de Nederlandse directeur-generaal er in juli 1651 naartoe reisde om een locatie voor een nieuw Nederlands fort uit te kiezen. Dit fort moest Fort Nassau en Fort Beversreede gaan vervangen. Stuyvesant koch eerst al het land ten zuiden van het Zweedse Fort Christina, tot aan 'Boomtjes hoeck' (Het huidige Bombay Hook). Daarna koos hij een geschikte plek om het fort te gaan bouwen, dat Casimir moest gaan heten. Mogelijk is het fort vernoemd naar de Friese Stadhouder Ernst Casimir van Nassau-Dietz (r. 1620-1632), hoewel daar geen direct bewijs voor is. Tijdens de Eerste Engelse Oorlog die in 1652 uitbrak, besloten de Zweden te proberen het fort te veroveren. Hun commandant Johan Risingh besloot meteen na zijn aankomst bij Delaware in mei 1654 met een schip naar het fort te varen, en stuurde een sloep met 20 a 30 soldaten aan land. Er was op dat moment geen buskruit in het fort en de Nederlandse bevelhebber, Gerrit Bicker, besloot het fort over te geven. Hij wachtte de Zweedse soldaten buiten de geopende poort op. Zonder zijn mannen enige bevelen te hebben gegeven leidden hij de Zweden naar binnen, die het fort vervolgens snel innamen. Het fort werd omgedoopt tot Fort Trefaldigheten (Fort Drie-eenheid), omdat de dag van de verovering (31 mei) Drievuldigheidszondag was. De Amsterdamse Bewindhebbers waren woest over het gedrag van Bicker en riepen op tot zijn aanhouding. Ook besloten ze de Zweden geheel van de rivier te verdrijven. Tot dit doel huurden ze het oorlogsschip Waeg, dat eind mei 1655 richting Nieuw Amsterdam vertrok. Ondertussen spande Johan Risingh zich in het fort te versterken, door de verdedigingswerken te verbeteren en enkele kanonnen over te brengen vanaf zijn schip. Het mocht uiteindelijk niet baten. De Nederlandse expeditie die in 1655 uit Nieuw Amsterdam aankwam bestond uit vier jachten, een galjoot, een fluitschip en het genoemde oorlogsschip, dat bewapend was met 36 kanonnen. De kleinere schepen hadden ongeveer 4 kanonnen elk. Op de schepen waren zo'n 300 soldaten. Nieuw Zweden werd probleemloos veroverd. Stuyvesant benoemde Jan Paul Jacquet tot de nieuwe commandant van Fort Casimir. Echter, spoedig na zijn benoeming besloten de Bewindhebbers in Amsterdam om delen van hun bezittingen aan de Delaware over te dragen aan de Stad Amsterdam om daar het patroonschap Nieuw Amstel te stichten. De nieuwe vice-directeur van Nieuw Amstel, Jacob Alrichs, nam het fort officieel in bezit op 25 mei 1657. Hij zou zich al spoedig beklagen over de slechte staat van het fort, maar slaagde er door ziektes en gebrek aan materieel en voorraden niet in om de problemen naar tevredenheid te verhelpen. Toen hijzelf aan een ziekte bezweek werd het bevel overgenomen door Alexander d'Hinojossa, die de fortificaties verwaarloosde. Toen de Engelsen eind 1664 aankwamen was het fort in zeer slechte staat. Evengoed weigerden d'Hinojossa en zijn mannen zich over te geven. De Engelse commandant Sir Robert Carr liet hierop een compagnie soldaten landen die het fort, ondanks verschillende Nederlandse salvo, zonder verliezen wisten in te nemen. Aan Nederlandse zijde waren drie doden en dertien gewonden.
