Berggartenin kirjastopaviljonki rakennettiin vuosina 1817–1820 Georg Lavesin johdolla ranskalaisen klassismin tyyliin puutarhurin asunnoksi. Keskirakennuksen sijainti on sovitettu orangerie- ja galleriarakennusten keskilinjaan. Nykyään paviljongissa toimii Herrenhäuserin puutarhojen hallinto.