Istana Buitenzorg pada nantinya digunakan Stamford Raffles (Gubernur Jenderal Inggris) sebagai ibukota dan menjadi kediaman resminya antara tahun 1811-1816. Kebutuhan tempat peristirahatan Gubernur Jenderal (VOC) semakin mendesak.
Suatu komite dibentuk untuk menetapkan dimana lokasi istana akan dibangun. Komite menetapkan pada suatu situs penting di era Pakuan Pajajaran dimana terdapat sebuah kolam air yang kini kolam air itu berada di belakang istana yang suatu kolam alamiah.
Istana yang akan dibangun menghadap jalur kedatangan dari Batavia dengan titik sentral berada di tugu putih persimpangan jalan kuno di era Pakuan Pajajaran yang kini disebut tugu Air Mancur. Dari tugu ini lurus ke lokasi istana. Lokasi pertapakan istana ini disebut Kampung baru.
3. Istana Bogor Dibangun Lima Tahun, Sempat Runtuh Akibat Gempa
Berdasarkan catatan, pembangunan Istana Bogor memakan waktu sampai lima tahun. Mulai dari 1745 dan selesai tahun 1750. Tentu saja arsitektur istana Buitenzorg ini belum semegah istana yang sekarang.
Pada waktu itu, bahkan air mancur yang berada di tengah kolam istana lebih popular dibandingkan dengan istananya sendiri. Saat itu, kolam air ini berada di situs yang agak tinggi dari sumber-sumber air di sekitarnya seperti sungai Ciliwung.
Lokasi Istana Bogor ini besar kemungkinan adalah lahan kosong yang sudah lama ditinggal pasca runtuhnya Pakuan-Pajajaran. Lahan ini baru ditempati kembali ketika tim ekspedisi VOC yang dipimpin Sersan Scipio tahun 1687 membangun benteng di titik persinggungan terdekat sungai Tjiliwong dan sungai Tjisadane. Benteng VOC itu diberi nama Fort Padjadjaran.
Ini masuk akal karena kampung-kampung terdekat yang diidentifikasi tim Scipio di dalam peta hanya terdapat di sisi utara sungai Ciliwung. Tidak ada teridentifikasi kampung diantara dua sungai maupun di sisi selatan sungai Cisadane.
Lalu dalam perkembangannya di dua sisi benteng ini pada tahun 1745 dibangun villa Guberrnur Jenderal VOC. Ketika villa ini direnovasi menjadi Istana Bogor (sejak Daendels dan Raffle) benteng Fort Padjadjaran yang kemudian berganti nama menjadi Benteng Philipina dipindah dan ditingkatkan statusnya menjadi garnisun militer ke lokasi dimana POM berada di sisi lampu merah pintu gerbang istana yang sekarang.
Garnisun ini kelak dipindahkan ke tempat Zeni AD yang sekarang dekat air mancur. Sementara itu, Istana Buitenzorg pada tahun 1834 runtuh karena gempa besar. Pada tahun 1850 Istana Buitenzorg dibangun kembali seperti yang kita lihat sekarang ini.
5. Muncul Jalan Baru dan Kali Baru
Jalan menuju Bogor dari Batavia adalah melalui sisi timur sungai Ciliwung. Jalan ini adalah jalan yang dirintis setelah adanya Belanda hal itu berdasarkan berdasarkan rute jalan lama.
