Dzieje Doliny Szwajcarskiej rozpoczęły się około 1768 r., kiedy to była jeszcze częścią Ujazdowa, a Stanisław August ofiarował te tereny ojcom bazylianom – stawiając im warunek, by wybudowali kościół i konwikt dla młodzieży pochodzącej z Rusi. Dał też zezwolenie na odbywanie kwest. Dzięki dotacjom królewskim budowa ruszyła z dużym impetem, później jednak zabrakło pieniędzy i bazylianie urządzili tam składy drewna, wapna i innych materiałów budowlanych. Wkrótce bazylianie zrezygnowali z ofiarowanych im terenów, gdyż zgromadzone środki okazały się za małe. Dolina znowu stała się częścią Ujazdowa.

7 października 1825 roku tereny te przejął w wieczystą dzierżawę kapitan saperów Wojska Polskiego Stanisław Śleszyński. Okazał się on obrotnym przedsiębiorcą. Założył tu rozległy ogród owocowy. Jak głosiła plotka, odkrył on na tym terenie pozostawione przez bazylianów znacznych rozmiarów składowisko wapna, a fundusze otrzymane z jego sprzedaży przeznaczył na budowę pałacyku i ogrodu „fruktowego”. Do budowy przystąpił w roku 1826 wraz ze swą żoną Gertrudą Emilią z Jakubowskich i Józefem Foxem. Projektantem piętrowego pałacyku z portykiem i kolumnadą był Antonio Corazzi. Cała działka zajmowała wówczas ok. 4,5 ha.

Dla publiczności ogród otworzono w roku 1827. Śleszyński urządził teren ten jako park publiczny: z licznymi pawilonami kawiarnianymi w stylu „architektury szwajcarskiej”.