… ein einziges Haus von vier Wänden … (Inventar von 1807)
Erbaut wurde der kleine Ansitz im Jahr 1468 als Zentrum einer kleinen, neuen Herrschaft durch Sigmund Friedrich von Freyberg zu Eisenberg anlässlich einer Erbteilung. Der Gründungszeit gehört der mächtige dreigeschossige Wohnbau an, der ursprünglich mit einem hohen steilen Giebel abschloss.
Seinen Treppengiebel mit den Ziererkern erhielt er erst 1830/40. Bauzeitlich sind weiterhin ein Gewölbekeller sowie im 2. Stock ein getäfelter Saal mit spätgotischer Holzdecke. Sigmund ließ auch die drei Jahre vor seinem Tod (1507) geweihte Schlosskapelle errichten, die man 1899 zur Ortskirche vergrößerte.
Im 18. Jahrhundert erweiterte man das leicht befestigte Haus um einen geringfügig niedrigeren Gebäudetrakt nach Norden. Mit der Säkularisation konfiszierte der bayerische Staat die Herrschaft Hopferau 1803. 1839 ging das Schloss an den Freiherrn von Ponikau, der bereits 1830 den bekannten Künstler und Architekt Domenico Quaglio, der zeitgleich auch am nahen Schloss Hohenschwangau tätig war, mit dem Umbau des Schlosses beauftragt hatte.
