Első felesége Harlene Rosen volt, majd 1966-ban elvette Louise Lasser színésznőt, aki számos korai filmjében is feltűnt.

1969-ben elváltak, majd Allen évekig élt együtt Diane Keatonnal, később pedig Mia Farrow-val, akitől fia is született, valamint több gyermeket örökbe fogadtak.

Az egyikkel, Soon-Yivel Allen szexuális kapcsolatba került, Farrow azzal is megvádolta Allent, hogy szexuálisan molesztálta közös gyermeküket, Satchelt is. A botrány 1992-ben robbant ki, majd éveken át tartó pereskedés következett.

Végül Woody 1997-ben feleségül vette Soon-Yit, két gyermeket nevelnek, s most boldogan élnek. Allen hétfőnként Eddie Davis New Orleans Jazz Bandjével klarinéton játszik a New York-i Carlyle kávéházban.