1934 wurde die Villa Gans von der Deutschen Arbeitsfront (DAF) erworben, die dort am 20.10.1935 die „Reichsschulungsburg Kestenhöhe“ einweihte.
Unmittelbar nach dem Krieg wurde die Villa als „Country Club“ für höhere Offiziere der amerikanischen Armee genutzt. Ab 1953 gehörte das Anwesen dem Deutschen Gewerkschaftsbund, der hier ein „Haus der Gewerkschaftsjugend“ etablierte.
Suizid nach der Befreiung aus Theresienstadt
Neben dem Verlust seines Vermögens stellten die politischen Veränderungen in Deutschland einen weiteren tiefen Einschnitt ins Leben von Ludwig von Gans dar. 1938 entschloss er sich zur Emigration in die Schweiz. Ein Besuch bei Bekannten in Dänemark kurz vor Beginn des 2. Weltkriegs wurde ihm zum Verhängnis. Dort wurde er nach der Besetzung Dänemarks verhaftet und am 6. 10. 1943 im Alter von 74 Jahren nach Theresienstadt deportiert.
Als das Schwedische Rote Kreuz ihn aus der Haft in Theresienstadt befreite, war Ludwig von Gans halb verhungert und durch die Haftbedingungen geistig verwirrt. Man brachte ihn zunächst nach Schweden und dann nach Dänemark zurück. Er bemühte sich um eine Rückwanderungserlaubnis durch die Militärregierung, was ihm jedoch nicht gelang. In Kopenhagen starb er eineinhalb Jahre nach der Freilassung 1946 durch Suizid.
Für Peter von Gans stürzte eine Welt zusammen, als er von seinen jüdischen Wurzeln erfuhr
Sein Sohn Herbert von Gans hatte während der NS-Zeit aufgrund seiner jüdischen Herkunft berufliche Probleme und musste nach eigenen Aussagen auf Druck aus der Teilhabe an der Firma Mettenheimer in Frankfurt ausscheiden. Wie viele „Halbjuden“ wurde er zunächst zum Militär eingezogen und 1940 wieder entlassen. Ebenso sollte Herbert von Gans 1944 bei der Organisation Todt zwangsverpflichtet werden, entzog sich jedoch durch Flucht nach Wien. 1954 zog es ihn zurück an den Taunusrand, wo er in Kronberg-Schönberg lebte.