Es war eine Frau, die Charlottenberg gründete: Elisabeth-Charlotte, die Fürstin von Nassau-Schaumburg, siedelte 1699 auf dem Höhenrücken oberhalb von Holzappel französische Flüchtlinge an, Waldenser, die wegen ihres protestantischen Glaubens ihre Heimat verlassen mussten. Die Adelige wurde dabei nicht nur von Großmut gelenkt. Durch die Ansiedlung erhoffte sie sich neue Steuerzahler, denn durch den zurückliegenden Dreißigjährigen Krieg war das Land entvölkert worden, die Felder lagen brach.
Der Plan ging auf, die „Colonie Vaudoise de Charlottenberg“ gedieh, und mehrere Generationen lang wurde in Charlottenberg nur französisch gesprochen. Am Ende des Dorfes, wo sich Holzappeler Straße und Ortsstraße treffen, steht das Denkmal für Elisabeth – Charlotte, dass die Bürger von Charlottenberg 1899, zum 200jährigen Jubiläum des Dorfes errichteten.
Die Holzappeler Straße bestand damals nur aus wenigen Häusern, die sich um den Gasthof scharten. Der ist schon vor vielen Jahren zu einer Begegnungsstätte von Frauen geworden, dem „Frauenlandhaus“. Anfangs wurde es ganz im Geiste des Feminismus betrieben, heute ist der Ansatz gemäßigter. Das Frauenlandhaus ist Bildungs- und Begegnungsstätte, aber auch ein Ort, an dem Frauen unter sich sind und ein ruhiges Wochenende oder die Ferien verbringen können.