Alle Hauptwege des „Alten Gartens“ laufen auf die Eremitage zu. Erster Architekt des kleinen Schlösschens war Michail Zemzow, der es im Herbst 1744 im Rohbau vollenden konnte, bald darauf jedoch verstarb. Zwei Jahre lang drang Wind und Wetter in den Pavillon, ehe an ihm weitergearbeitet wurde, diesmal unter der Leitung von Rastrelli, der den Bau nach seinen Plänen 1756 in vollkommen abgeänderter Gestalt vollenden konnte.

Das Erdgeschoss der Eremitage war für die Bediensteten bestimmt. Ein enges Treppenhaus führte in den ersten Stock, der fast vollständig von einem großen Saal mit einem illusionistischen Deckengemälde von Valeriani, „Gastmahl im Olymp“, ausgestattet war. Die Decken der vier seitlich angeordneten Kabinette malten Vater und Sohn Valeriani, Gradizzi und Peresinotti mit Szenen aus den Metamorphosen des Ovid aus. Der Raum war mit einem hydraulischen Tisch eingerichtet, der von der Küche im Erdgeschoss mit Winden in den Saal hochgehoben werden konnte. Zur Bedienung des komplizierten Hebemechanismus, der im Keller verborgen war, benötigte man zwölf Arbeiter. Nach dem Mahl wurde der Tisch versenkt und es entstand ein Ballsaal.

Rastrelli erbaute 1753–1757 am Rand des Großen Teiches eine Grotte. Ein nicht näher bezeichneter Hofrat Rossi aus Italien leitete die Arbeiten und die innere Ausschmückung des Pavillons. Es war damals modern, in den Schlössern einige Zimmer, in den Parkanlagen einzelne Pavillons mit Muscheln und Tuffstein auszuschmücken. Eine solche Sala terrena befand sich auch im Katharinenpalast, die aber wegen eindringender Feuchtigkeit beseitigt wurde, und man installierte die Muscheln in dem neuen Pavillon.