J.F. Willumsen var gift to gange. Første gang i 1890 med billedhuggeren Juliette Meyer. Sammen fik de sønnerne Jan Bjørn i 1891 og Bode i 1895. I 1898 opløstes deres samliv, da Willumsen flyttede fra hjemmet. Willumsen havde i 1897 i forbindelse med sin stilling som kunstnerisk leder på porcelænsfabrikken Bing & Grøndahl mødt billedhuggeren Edith Wessel. Han giftede sig i 1903 med Edith efter at være blevet skilt fra Juliette. I andet ægteskab fik han døtrene Ingemor Gersemi i 1906 og Anne-Mathilde, kaldet Anse, i 1909.
Omkring 1930 indledte Willumsen et forhold til den franske danserinde og malerinde Michelle Bourret, to år efter at samlivet med Edith var ophørt. Forholdet varede til hans død.
Disse tre kvinder, der alle var kunstnere, støttede og hjalp Willumsen i hans kunstneriske udfoldelser, og han benyttede dem ofte som modeller i sine kunstværker. Også Willumsens mor var en støtte for Willumsen indtil hendes død i 1899.
J.F. Willumsen døde i 1958 i Cannes. Han ligger begravet i museets park sammen med sin anden hustru Edith Willumsen.