Nach der 1218 erfolgten urkundlichen Ersterwähnung des Namens wurde 1272 die Burg ("castrum") Frauenstein genannt. Diese imposante Burganlage ist auch als Ruine eine der größten Sachsens geblieben und besteht aus der "Kernburg" mit der "Lärmstange" (ältester Bauteil), dem "Dicken Märten" und dem Palas mit kleiner Kapelle als Verbindungsbau, dazu eine zwingerartige Vorburg, das Ganze umgeben von einer hufeisenförmigen Ringmauer. Als Werkstein wurde vor allem der an Ort und Stelle vorhandene Granitporphyr, weniger der Graugneis verwendet. Die bis zu 3,5 m dicken Grundmauern sind unmittelbar auf dem anstehenden Porphyr gegründet. Neueste Untersuchungen belegen, dass an der Burganlage über einen längeren Zeitraum (um 1200 bis ins 14. Jahrhundert hinein) in drei Phasen immer wieder angebaut wurde. Die äußere Ringmauer ist 250 m lang und war mit sieben Türmen besetzt. Auf dem südlichen Vorburggelände wurde im 16. Jahrhundert das Schloss errichtet. Die gesamte Anlage hat einen Umfang von 500 m und ist fast einen Hektar groß.
Noch 1335 schmiegte sich ein Dorf an den Osthang des Burgberges. Zu dieser älteren Stadtanlage, die "Alt Frauenstein" genannt werden kann, gehörte auch eine kleine Kirche, die - 1616 umgebaut - noch heute inmitten des Friedhofs steht. Ob die Hussiten ihre verheerenden Raubzüge auch durch unsere Gegend unternahmen und dadurch die zahlreichen wüsten Dorfstellen (Dittersdorf, Haselbach, Helsdorf, Süßenbach) entstanden wären, gilt als nicht gesichert. Aus ebenfalls nicht eindeutig geklärten Gründen kam es jedenfalls in der 2. Hälfte des 15. Jahrhunderts zur Verlegung der kleinen Stadt auf den Porphyrrücken zwischen Burg- und Sandberg.
Während vorher genug Trink- und Brauchwasser vorhanden war, wurde dies nun zum Problem. Aber 1479 gelang die Wasserzuführung, und in diesem Zusammenhang wurde auch der Marktplatz erstmalig erwähnt. Die nach 1483 erbaute Stadtkirche erhielt 1491 ihre Weihe. Umgeben wurde die kleine Stadt mit ihrem Marktplatz, auf dem Kirche, Rathaus und Fronfeste Platz fanden, von einer Mauer mit drei großen und zwei kleineren Toren. Davor entwickelten sich "Vorstädte". Der Stadtkern bzw. dessen Grundriss blieb im Wesentlichen bis heute erhalten.
Die landesherrliche Burg Frauenstein war Eigentum der Markgrafen von Meißen, die sie verlehnten oder verpfändeten, so unter anderem von 1473 bis 1647 an die Herren von Schönberg. Der baufreudige Heinrich von Schönberg ließ, nachdem er sechs Jahre auf der unwohnlich gewordenen Burg verbracht hatte, von 1585-88 ein Renaissance-Schloss errichten. Als nicht mehr gebrauchtes Bauwerk verfiel die Burg immer mehr zur Ruine, bis 1901-05 grundlegende Restaurierungsarbeiten erfolgten, die erst wieder ab 1959 in mehreren Phasen sowie in den 90er Jahren erneut weitergeführt wurden. Die Burgruine gehört dem Freistaat Sachsen und kann besichtigt werden, während das Schloss kürzlich privatisiert wurde. Das frühere Heimatmuseum hat sich seit 1983 durch das Engagement des verdienstvollen Silbermann-Biographen Werner Müller (1924 - 1999) zum "Gottfried-Silbermann-Museum" profiliert. Das Geburtshaus des bekannten Orgelbauers (1683 - 1753) befindet sich im benachbarten Kleinbobritzsch.
Durch den Kulturverein Frauenstein e.V. wurde im Oktober 2007 ein "Historischer Stadtrundgang" mit zahlreichen, künstlerisch gestalteten Hinweistafeln der Öffentlichkeit übergeben. Ein "Kunsterlebnispfad" mit Steinskulpturen führt um den Landschaftspark und die "Bürgerfichten" herum. Mehrere Künstler haben sich in Frauenstein und seiner Umgebung niedergelassen und bereichern das rege und vielseitige Kulturleben der Stadt.
Für einen Gebietsüberblick empfiehlt sich die Besteigung des "Dicken Märten" der Burgruine, auf dessen Plattform man in knapp 700 m üNN Höhe steht. Vor hier aus überschaut man weite Teile des mittleren Sachsens: Die rechtselbischen Höhen von der Lößnitz bei Radebeul bis zum Borsberg bei Pillnitz, einige Berge des Nordwestlausitzer Berglandes (z.B. Keulenberg bei Pulsnitz), das nordöstliche Erzgebirgsvorland vom Tharandter Wald über Windberg und Wilisch, bis der langgestreckte Höhenrücken des Teplitzer Porphyrs mit Kohlberg, Tellkoppe, Stephanshöhe, Pöbelknochen, Kahleberg, Lugstein und Pramenác/Bornhau den Horizont begrenzt. Im Vordergrund lässt sich das waldarme, dichtbesiedelte Bobritzschtal von Reichenau bis Niederbobritzsch gut verfolgen. Am südlichen Horizont kommt der bewaldete Erzgebirgskamm ins Blickfeld (mit Bradacov/Lichtenwald, Jestrabí vrch/Geiersberg, den "Einsiedler Wälder" und dem "Bernsteingebirge" mit Medvedi skalá/Bärenstein und Malý Háj/Kleinhan) und schließlich die Jelení Hora/Hassberg, Klinovec/Keilberg und Fichtelberg. Weiter nach Westen überschaut man das in Richtung Chemnitz und Freiberg sich abdachende waldarme Erzgebirge mit seinen Ortschaften, dann die Schornsteine zwischen Brand-Erbisdorf, Muldenhütten und Halsbrücke sowie die Bergstadt Freiberg (Altstadt und Neubaugebiete) und schließlich - in 66 km Entfernung - den Collmberg bei Oschatz. Einen nicht ganz so umfassenden Ausblick bietet der Sandberg (678 m, mit Wasserhochbehälter).
Die Wasserversorgung hochgelegener menschlicher Ansiedlungen war in vergangenen Jahrhunderten immer ein Problem, so auch in Frauenstein. Noch höher als die Stadt liegt nur ein flächenmäßig kleines Einzugsgebiet hinter dem Sandberg. Von dort musste das Wasser in freiem Fall (bei nur ca. 12 m Gefälle) in die Stadt geleitet werden. 800 m südlich des Sandberges findet man in flacher Wiesenmulde die Reste eines steinernen Gewölbes, in dem sich Grundwasser sammelt. Vier "Röhrwasserleitungen" wurden gebaut, wahrscheinlich von in solchen Arbeiten erfahrenen Bergleuten.
In der Kommunalverwaltung spielte die Wasserversorgung und Wassergesetzgebung immer wieder eine Rolle. 1745 gab es - über die Stadt verteilt - elf Wassertröge, dazu noch 24 Brunnen in Häusern und Gärten. Auf dem Markt stand ein großer Wasserbottich, außerdem auch die "Pferdeschwemme" (bis 1795). Um 1536 wurde sogar eine hölzerne Röhrenwasserleitung bis zur Burg gelegt. Zwei überdachte Brunnen mit Handschwengelpumpen (an der Wassergasse und unterhalb des Böhmischen Tors) liefern noch heute Brauchwasser.
Wegen steigenden Bedarfs musste nach 1901 das wasserreiche Gimmlitztal angezapft und 1904 ein Hochbehälter auf dem Sandberg erbaut werden (1962 erneuert, Kapazität: 400 m³). Außer Frauenstein sind in den letzten Jahren noch Kleinbobritzsch, Hartmannsdorf und Reichenau an die Wasserversorgung angeschlossen worden. Nicht nur Nassau und Burkersdorf, sondern auch die Bergstadt Freiberg bezogen ihr Trinkwasser seit 1901/02 bis zum Bau der Talsperre Lichtenberg (1966 - 73) aus dem Gimmlitztal. Dazu mussten damals 58 Grundstücke mit insgesamt 50 Hektar Fläche angekauft werden. Schachtbrunnen wurden gegraben und Rohrleitungen verlegt. Erst vor wenigen Jahren ist dieses alte Sammelsystem teilweise zurückgebaut worden.
Das Gimmlitzwasser wurde übrigens, wie um die Mitte des 19. Jahrhundert bezeugt ist, im Frühjahr auch zur Wässerung der Wiesen und Gärten auf den Fluren von Nassau, Dittersbach, Lichtenberg und Weigmannsdorf benutzt. Schäden und immer wieder Ärger bereitete das durch den Betrieb der Erzwäsche bei Frauenstein "schlammige und wolkige Wasser" der Fischerei sowie der Flachs-Schwingerei und Wasserflachsröste. Außerdem wurde der "Wäschesand" durch Wind und bei Hochwasser weit in der Gegend verstreut. Der "Wasserstreit" wurde durch die Grundstücksbesitzer vor das Bergamt Freiberg bzw. die Kreisdirektion zu Dresden gebracht und 1860 mit Schadenersatzansprüchen beendet.