L'ancien manoir d'une superficie de 600 m² environ, répartis sur quatre niveaux, a servi à la famille Panhard jusqu'à la Seconde Guerre mondiale, où "il est alors occupé par les armées allemandes, puis par les alliés à partir du Débarquement", raconte Matthieu Cadaert. À cette époque, son intérieur est profondément remanié. En 1962, le pavillon devient propriété du département de Seine-et-Oise, et abrite successivement l'École normale d'instituteurs, le Rectorat et l'Inspection académique.
En 1986, une antenne de l'université Pierre et Marie Curie s'implante sur le terrain. Cinq ans plus tard, l'UFR des sciences de l'université de Versailles Saint-Quentin-en-Yvelines est créée. "En 2009, l'École supérieure du professorat et de l'éducation de Versailles qui occupe alors le pavillon Panhard, laisse ses surfaces libres au profit de l'UVSQ. Divisé en plusieurs logements de fonction au fil des ans, l'édifice a perdu de nombreuses dispositions d'origine", poursuit Matthieu Cadaert. Entouré par des bâtiments d'enseignement de l'université, le bâtiment reste sans affectation et souffre de ne pas être entretenu. Il faudra attendre l'aube de l'année 2020 pour lancer un projet de rénovation. En effet, c'est en 2019 qu'AP architecture remporte l'appel d'offres pour sauvegarder ce patrimoine.