Im Gemeindearchiv befand sich eine sehr alte Flurkarte aus dem Jahr 1580, die verschiedene Neuerungen zu Tage förderte. Auf ihr sind unter anderem ersichtlich, dass um diese Zeit 1580 eine Kirchenburg bestand. Außerdem ist auch das Schloss von Ermershausen dargestellt. Leider gibt es in den Gemeindeunterlagen keinerlei Hinweise, wo das Schloss stand. Nachweise finden sich immer wieder bruchstückhaft. Nach mündlicher Überlieferung besteht das meiste Baumaterial am sogenannten „Doktorhaus“ aus den Überresten des Schlosses. Beim Bau des Hauses 1818, in dem Jahr, wo das weltbekannte Weihnachtslied Stille Nacht in Oberndorf bei Salzburg entstand, soll ein Teil des Schlosses Verwendung gefunden haben. Damals herrschten die „Hutten“ in Birkenfeld, zu dessen Wirkungsbereich Ermershausen gehörte. Ein Jakob Friedrich Pfeiffer soll als Angestellter im Schloss so gut gearbeitet haben, sodass ihm die Schlossherrschaft die Reste des Schlosses zum Bau seines Hauses geschenkt haben soll. Der jetzige Besitzer des Anwesens fand im Garten eine alte Barocksteinbank, die vom Schloss stammen dürfte. Auf der alten Flurkarte sind auch die Jagdgrenzen zwischen dem sächsischen Gebiet und der Ermershäuser Flur in der Lederhecken Richtung Sulzdorf dargestellt. Die Grenze bestand damals aus einer Dornenhecke mit Durchlässen, weil sie auch als Zollgrenze für beide Gebiete genutzt wurde. Das Original verschwand vor Jahrzehnten in einer Druckerei bei der Erstellung einer Festschrift.