… ist gar zerganngen unnd zerfallen, auch kein Wonung
mehr darynn … (Report von 1523)
Mit dem »castrum Vrawenstain« wird 1290 erstmals eine weitere Burg der Herren von Schwangau erwähnt. Sie erhob sich direkt oberhalb des Schlosses Hohenschwangau von einem Ausläufer des Perzenkopfes in 892 m über Meereshöhe. Der Burgname »Frauenstein« zählt zu den im 13. Jahrhundert beliebten höfischen Burgnamen.
Diese Burg Frauenstein entstand in Zuge der zunehmend eskalierenden Streitigkeiten um das Füssener Gebiet zwischen Graf Meinhard II. von Tirol, den Augsburger Bischöfen und den bayerischen Herzögen. Dabei ergriffen die Schwangauer Partei für Tirol, und somit auch indirekt für Augsburg. Die sich verstärkende territoriale Instabilität äußerte sich vor allem in einer intensiven regionalen Burgenbautätigkeit.
Während die Burg Frauenstein bis 1487 wiederholt genannt wird, erfährt man 1523, dass das »nächst zu Schwannstain auf ainem nidern Schroven (Fels) gelegene Schloß Frauenstain…gar zerganngen unnd verfallen« sei, sich darin auch »kain Wonung mehr befinde« und man daher dies Schloss nicht weiter beachten brauche …