Gouverneur-generaal Gustaaf Willem van Imhoff (1743-1750) besloot in 1745 om ver van het drukke en ongezonde Batavia een buitenhuis op een koele plaats in de bergen te laten bouwen. Zijn keuze viel op kampong Baru op 54 kilometer van Batavia op ongeveer 300 meter boven de zeespiegel. Hij noemde zijn buitenhuis Buitenzorg (tegenwoordig Bogor). Zijn erfgenamen verkochten het buitenhuis aan zijn opvolger Gouverneur-generaal Jacob Mossel (1750-1761). Daarna werd het de gewoonte dat nieuw gouverneur-generaal het landhuis kocht van zijn voorganger. In de 19de eeuw werd paleis eigendom van de staat, maar bleef het in gebruik bij de gouverneur-generaal. Sinds de onafhankelijkheid van Indonesië is het paleis van de president van de Republiek Indonesia.
In 1752 werd de omgeving van Buitenzorg onveilig gemaakt door opstandelingen die door de VOC uit het sultanaat Bantam waren verdreven. Gouverneur-generaal Jacob Mossel liet als bescherming tegen overvallen tegenover het paleis het kleine fort Philippina bouwen. Het was genoemd naar Philippina Theodora (1731-1765), de dochter van Jacob Mossel en zijn vrouw Maria Adriana Appels. Het fort bestond uit een achthoekige muur zonder gracht met in het midden een wachthuis met klokkentorentje. Er lag een kleine wacht met enkele stukken veldgeschut. De militairen moesten zorg dragen voor de bewaking van het landhuis van de gouverneur-generaal. Het fortje werd in verband met de grote verbouwing van het paleis door gouverneur generaal Daendels (1808-1811) in 1809 afgebroken. De locatie van het fort is in de tegenwoordige tuin van het presidentiële paleis. Er zijn geen zichtbare overblijfselen.
