Tijdens de Tweede Wereldoorlog is Kasteel De Vanenburg tussen april en oktober 1942 gebruikt als een Joods werkkamp en in 1944 voor mensen met een licht verstandelijke beperking.

In het werkkamp werden ongeveer 125 dwangarbeiders ondergebracht. Het kasteel zelf werd gebruikt als slaapplek. Op elke verdiepingen stonden stapelbedden, zodat er ruimte was voor 200 mensen. De Oranjerie werd gebruikt als koks-woning. Uit de brieven blijkt dat de dwangarbeiders onder aansturing van twee opzichters van de Heidemaatschappij moesten werken aan de drooglegging van de Zuiderzee. Daarbij moesten ze de omliggende weilanden egaliseren en aan verschillende wegen in Putten werken. De dwangarbeiders begonnen 06.15 uur tot ongeveer 17.00 uur met de werkzaamheden. Hier moesten zij drie kwartier naar toe marcheren. Er werd aan de dwangarbeiders verteld dat zij 10 gulden en 5 cent per week verdiende. Dit verschilde echter wel per woonplaats en loonklasse. Dit geld ging naar de vrouw. Wanneer zij een glaasje melk wilde kopen, of een nieuwe schop nodig hadden, werd dit van het loon afgetrokken.

Op 22 augustus 1941 werd de aanvraag tot werkkamp vanuit Den Haag ingediend. In september 1941 werd er door gemeente Putten een bouwvergunning van Kasteel De Vanenburg verleend. Begin 1942 werden grote groepen Joodse mannen vanuit alle delen van het land naar werkkampen gestuurd. Er waren zeker veertig werkkampen in Nederland. In eerste instantie was het regime in het Joodse werkkamp Kasteel De Vanenburg nog redelijk mild. De mannen mochten post ontvangen en onbeperkt schrijven, maar het was verboden om uit het kamp te gaan of bezoek te ontvangen. Er mochten kleren worden verstuurd, maar geen eten of versnaperingen. De regels werden echter steeds strenger. In september 1942 kwam er een militair regime. Dit hield in dat de mannen op moest drukken, appelleren, op appel staan, bepaalde militaire bevelen moesten uitvoeren en de mensen regelmatig geteld moesten worden. Daarbij mochten de mannen eenmaal per week brieven sturen. Deze brieven werden gecontroleerd door de Duitsers, dus mogelijk hadden zij het wat minder aangenaam dan beschreven. Achteraf gezien blijkt dat het een vooropgesteld plan was van de Duitsers om eerst vertrouwen te wekken bij het volk, zodat zij allerlei werkkampen konden creëren zonder dat men dat door had wat er stond te gebeuren. De werkkampen waren voorbodes van grootschalige deportaties.

Op 2 oktober 1942 werd het kamp, net als alle andere kampen in Nederland, ontruimd en gingen de dwangarbeiders op transport naar kamp Westerbork. Vervolgens werden zij getransporteerd naar de kampen Auschwitz en Sobibor. 

Op 14 juni 1944 brachten de Duitsers mensen met een licht verstandelijke beperking naar Kasteel De Vanenburg. Destijds noemden zij dit ‘asociale debielen’. Onder leiding van een NSB’er werd door de Rotterdamse GGD een erfelijkheidsonderzoek uitgevoerd. Hierbij kregen zij alle hulp van de Duitsers.