I když se někteří odborníci domnívají, že stavba měla svého staršího předchůdce, hodnověrné prameny situují dobu výstavby do let 1495 – 1502. Stavitelem byl tedy Vladislav Jagellonský. Po něm nám až do dnešních dob zůstala zachována dominantní věž a na jejím schodišti plastika lva se štítem zdobeným královským monogramem.
Období třicetileté války bylo k zámečku milosrdné i díky faktu, že se stal dočasným sídlem švédského generála A. Wittenberga. V pozdějších létech, kdy se vláda nad českými zeměmi přestěhovala do Vídně, chátral a změnu přineslo až rozhodnutí přestavět jej na letní sídlo nejvyššího purkrabího, tedy ve své době nejvýznamnějšího zemského úředníka. Přestavbou získal zámeček současný novogotický vzhled. Od roku 1849 byl letohrádek propůjčován českým místodržícím, zastupujícím v zemi císaře, coby jejich letní sídlo. Odtud má i své pojmenování.
V současnosti slouží budova jako archiv a studovna časopisů Národního muzea v Praze, takže pokud nepůjdete bádat ve starých magazínech, tak se dovnitř nepodíváte. Díky svému fotogenickému vzhledu si letohrádek i několikrát zahrál ve filmech odehrávajících se ve staré Anglii. Nejznámější z nich je „Fantom z Morrisvillu“.