Kletterfreunde suchen Wochenende für Wochenende die kleine Sandsteinfelsengruppe auf, Familien mit Kindern kommen hierher auf der Suche nach Spuren des sagenumwobenen Namensgebers von Dippoldiswalde, Mittagsgäste der Heidemühle schlendern die 700 Meter auf ihrem Verdauungsspaziergang, Blaubeer- und Pilzsucher hoffen in den naturnahen Kiefernforsten hier auf reiche Ernte. Der Einsiedlerstein an der Kreuzung Malterweg/Marktsteig ist eines der beliebtesten Ausflugs- und Wanderziele des Dippoldiswalder Raumes.
Zu Beginn der Besiedlung des Erzgebirges, als es die heutige sächsisch-tschechische Grenze noch nicht gab, soll sich dieser Waldteil im Besitz des böhmischen Adelsgeschlechtes der Dippoldicz befunden haben. Die Legende will, dass ein Nachkomme der Sippe, der spätere Prager Bischof von Adalbert von Prag, sich hier für einige Zeit als Einsiedler auf eine Missionsreise in den damals noch heidnischen Norden aufgehalten hat. Tatsächlich sind im Umfeld des Einsiedlersteins einige Mauerreste zu erkennen, unter anderem die der daneben vermuteten Katharinenkapelle.
Der freistehende Felsblock des Einsiedlersteins ist durch Erosion aus dem ursprünglich zusammenhängenden Sandsteinkomplex herausgelöst worden. Viele Kleinverwitterungsformen (Waben, Eisenschwarten) zeugen von den chemischen und physikalischen Vorgängen an den Wänden des Quadersandsteins. Der Einsiedlerstein steht als geologisches Naturdenkmal unter Schutz.