In 1939 tot mei 1940 hebben er zowel Duitse als Engelse piloten in het fort gevangen gezeten.

In de meidagen van 1940 werd in het fort een aantal prominente NSB'ers gedetineerd, onder wie Kees van Geelkerken.

Van 1942 tot en met mei 1944 is het fort als noodgevangenis in gebruik geweest voor zwarthandelaren en arbeidsdienstweigeraars.

Van mei 1945 tot maart 1946 werden er politiek delinquenten als NSB'ers en kunstenaars die voor de cultuurkamer hadden gewerkt.

Van 1946 tot 1947 was het een kamp voor Indië-weigeraars. Mannen die wel voor het vaderland wilde vechten, maar niet als koloniale bezetter.