1933年4月25日，郁达夫举家从上海迁回杭州，开始建造自己的住宅，直到第二年竣工。这座房子几乎花尽了他们全部的积蓄，郁达夫给新家起名为风雨茅庐，由他自己设计，希望这里能够成为趋避乱世的桃源之所。彼时，作为风雨茅庐的女主人，王映霞凭借自己的美貌和优雅谈吐成为杭州上流社交圈里明星般的人物，所以，郁达夫意想中的“世外桃源”很快就变成了社会名流与政界要员交际往来的场所。
如瓮之纹，郁达夫和王映霞的情感世界出现了无可弥补的裂痕。从郁达夫的角度来说，安静写作是一个作家的基本固守，而推杯换盏的交际场只会让他心躁不安无所适从，逃离才是惟一的选择。搬进“风雨茅庐”后不久，郁达夫应福建省主席陈仪之邀，南下任省政府参议去了。
其间，王映霞通过郁达夫的关系结识许绍棣，多有来往，引来一些议论。
1938年7月，郁达夫从浙东前线返回武汉，汪静之前去探望却碰上王映霞与郁达夫因小事正吵得不可开交。当天晚上，王映霞离家出走。王映霞出走之后，郁达夫找不到她，便回到家里喝酒消气。无意之中，郁达夫发现了许绍棣写来的三封信，便误以为是许写给王映霞的情书，立即气急败坏地在王映霞的一件旗袍上写下“下堂妾王映霞改嫁之遗物。”几个大字。
从郁达夫的性格看，他明显带有颓废文人的气质，其处世为人，也颇有歇斯底里的倾向。这一点，在他处理与王映霞的婚姻关系中表露无遗。在郁达夫的作品中，其《毁家诗纪》一度万人争诵，主要原因是郁达夫在这些诗作中毫不保留地暴露了自己的私隐与“家丑”，包括他对王映霞“红杏出墙”的怀恨之意，而《毁家诗纪》一面世，更加深了王映霞的离意，两人长达12年的婚姻至此已到了无可挽回的地步。
也许失去了才知道可贵，王映霞走后，郁达夫非常懊悔，曾在诗中写道：
纵无七子为哀死，
犹有三春各恋辉。
愁听灯前谈笑语，
阿娘真个几时归？
几时归，永远不归了！
1940年8月，王映霞离开新加坡只身返国。随后，郁达夫和王映霞分别在新加坡、中国香港和重庆三地刊出离婚启事，这场富春江上的才子佳人恋终以劳燕分飞而告结束。
1999年2月6日，王映霞在上海去世。终年92岁。
名人故事
郁达夫与北大
郁达夫1923年9月（一说10月）到北大任教是陈豹隐（启修）推荐的。陈毕业于日本东京帝国大学，1919年受蔡元培之聘到北京大学法商学院任教授，讲授财政学和统计学。“五四”运动后在北大开设马克思主义经济学概论，并在马克思学说研究会《资本论》研究组担任导师。
1923年，陈豹隐受北京大学派遣到欧洲视察和讲学。推荐郁达夫的原因，或许同郁的学历有关。郁达夫1919年11月入日本东京帝国大学经济学部经济学科学习，1922年3月毕业，获经济学学士学位，和陈是前后同学。进入经济学部时，郁曾赋《新秋偶感》七律一首：“客里苍茫又值秋，高歌弹铗我无忧。百年事业归经济，一夜西风梦石头。诸葛居常怀管乐，谢安才岂亚伊周。不鸣大鸟知何待，待溯天河万里舟。”毕业论文的题目曾计划写《中国经济史》或《中国外交史》，还打算写《中国货币史》。可见对于经济也有过一番抱负。应该说，郁达夫这样的经济学科班出身的留学生，胜任北大经济系课程是没有问题的。
但是，郁达夫别有志向。他有很好的旧学功底，十几岁即写得一手好诗，是旧体诗写得最好的中国现代文学家之一。留学期间阅读一千部左右的外国小说，毕业前以创作小说《沉沦》而一举成名。回国前即与郭沫若、成仿吾等组织文艺团体创造社，接到北大聘请时正在上海办《创造季刊》、《创造周报》和《创造日》，积极从事文学创作和文学活动，正是大展宏图之时。转而到北大教书，是因为经济困窘，在当时的中国不能以作家立身。
郁达夫在北大经济系的职称是讲师，每周两小时统计学课，月薪三十多块钱。同时在北平平民大学和国立艺术专门学校兼课。他所结交的，是鲁迅、周作人兄弟这样的文学界名流，以及一些文学青年。当时北大学生、后来成为著名学者和诗人的冯至写的《相沫与相忘——忆郁达夫在北京》中说：“上课钟响了，郁达夫走上讲台……说：‘陈启修先生的老师也是我的老师，我们讲的是从同一个老师那里得来的，所以讲的内容不会有什么不同。’说得那样坦率，我感到惊奇……从来没有从一位教员或教授口里听到过这类的话。这对于那些一本正经、求知若渴的经济系同学无异泼了一盆冷水。而且刚过了半个钟头，他就提前下课了，许多听者的脸上显露出失望的神情。”
当年和郁达夫往来的陈翔鹤在1947年写的《郁达夫回忆琐记》中说，郁曾在他面前发牢骚：“谁高兴上课，马马虎虎的。你以为我教的是文学吗？不是的，是‘统计学’。统什么计，真是无聊之极！”
郁达夫1927年在《五六年来创作生活的回顾》中说：“受了北大之聘，到北京之后，因为环境的变迁和预备讲义的忙碌，在一九二四年中间，心里虽然感到了许多苦闷焦躁，然而作品终究不多。”他在写给郭沫若和成仿吾的信中说：“我一拿到讲义稿，或看到第二天不得不去上课的时间表的时候，胸里忽而会咽上一口气来，正如酒醉的人，打转饱嗝来的样子。”“精神物质，两无可观，萎靡颓废，正如半空中的雨滴，只是沉沉落坠。”
郁达夫1925年2月离开北大。他走得对。如果郁达夫囿于所学专业而固守于北大，北大或许会多一名并不怎么出色的经济学教授，而中国将会失去一名优秀的作家。那就是国家的不幸了。
郁达夫作品精选
故都的秋
秋天，无论在什么地方的秋天，总是好的；可是啊，北国的秋，却特别地来得清，来得静，来得悲凉。我的不远千里，要从杭州赶上青岛，更要从青岛赶上北平来的理由，也不过想饱尝一尝这“秋”，这故都的秋味。
江南，秋当然也是有的；但草木雕得慢，空气来得润，天的颜色显得淡，并且又时常多雨而少风；一个人夹在苏州上海杭州，或厦门香港广州的市民中间，浑浑沌沌地过去，只能感到一点点清凉，秋的味，秋的色，秋的意境与姿态，总看不饱，尝不透，赏玩不到十足。秋并不是名花，也并不是美酒，那一种半开，半醉的状态，在领略秋的过程上，是不合适的。
不逢北国之秋，已将近十余年了。在南方每年到了秋天，总要想起陶然亭的芦花，钓鱼台的柳影，西山的虫唱，玉泉的夜月，潭柘寺的钟声。在北平即使不出门去罢，就是在皇城人海之中，租人家一椽破屋来住着，早晨起来，泡一碗浓茶、向院子一坐，你也能看得到很高很高的碧绿的天色，听得到青天下驯鸽的飞声。从槐树叶底，朝东细数着一丝一丝漏下来的日光，或在破壁腰中，静对着像喇叭似的牵牛花（朝荣）的蓝朵，自然而然地也能够感觉到十分的秋意。说到了牵牛花，我以为以蓝色或白色者为佳，紫黑色次之，淡红色最下。最好，还要在牵牛花底，教长着几根疏疏落落的尖细且长的秋草，使作陪衬。
北国的槐树，也是一种能使人联想起秋来的点缀。像花而又不是花的那一种落蕊，早晨起来，会铺得满地。脚踏上去，声音也没有，气味也没有，只能感出一点点极微细极柔软的触觉。扫街的在树影下一阵扫后，灰土上留下来的一条条扫帚的丝纹，看起来既觉得细腻，又觉得清闲，潜意识下并且还觉得有点儿落寞，古人所说的梧桐一叶而天下知秋的遥想，大约也就在这些深沉的地方。
秋蝉的衰弱的残声，更是北国的特产；因为北平处处全长着树，屋子又低，所以无论在什么地方，都听得见它们的啼唱。在南方是非要上郊外或山上去才听得到的。这秋蝉的嘶叫，在北平可和蟋蟀耗子一样，简直像是家家户户都养在家里的家虫。
还有秋雨哩，北方的秋雨，也似乎比南方的下得奇，下得有味，下得更像样。
在灰沉沉的天底下，忽而来一阵凉风，便息列索落地下起雨来了。一层雨过，云渐渐地卷向了西去，天又青了，太阳又露出脸来了；著着很厚的青布单衣或夹袄曲都市闲人，咬着烟管，在雨后的斜桥影里，上桥头树底下去一立，遇见熟人，便会用了缓慢悠闲的声调，微叹着互答着的说：
“唉，天可真凉了——”（这了字念得很高，拖得很长。）
“可不是么？一层秋雨一层凉了！”
北方人念阵字，总老像是层字，平平仄仄起来，这念错的歧韵，倒来得正好。
北方的果树，到秋来，也是一种奇景。第一是枣子树；屋角，墙头，茅房边上，灶房门口，它都会一株株地长大起来。像橄榄又像鸽蛋似的这枣子颗儿，在小椭圆形的细叶中间，显出淡绿微黄的颜色的时候，正是秋的全盛时期；等枣树叶落，枣子红完，西北风就要起来了，北方便是尘沙灰土的世界，只有这枣子、柿子、葡萄，成熟到八九分的七八月之交，是北国的清秋的佳日，是一年之中最好也没有的Golden Days。
有些批评家说，中国的文人学士，尤其是诗人，都带着很浓厚的颓废色彩，所以中国的诗文里，颂赞秋的文字特别的多。但外国的诗人，又何尝不然？我虽则外国诗文念得不多，也不想开出账来，做一篇秋的诗歌散文钞，但你若去一翻英德法意等诗人的集子，或各国的诗文的An-thology 来，总能够看到许多关于秋的歌颂与悲啼。各著名的大诗人的长篇田园诗或四季诗里，也总以关于秋的部分。写得最出色而最有味。足见有感觉的动物，有情趣的人类，对于秋，总是一样的能特别引起深沉，幽远，严厉，萧索的感触来的。不单是诗人，就是被关闭在牢狱里的囚犯，到了秋天，我想也一定会感到一种不能自己的深情；秋之于人，何尝有国别，更何尝有人种阶级的区别呢？不过在中国，文字里有一个“秋士”的成语，读本里又有着很普遍的欧阳子的《秋声》与苏东坡的《赤壁赋》等，就觉得中国的文人，与秋的关系特别深了。可是这秋的深味，尤其是中国的秋的深味，非要在北方，才感受得到底。
南国之秋，当然是也有它的特异的地方的，比如廿四桥的明月，钱塘江的秋潮，普陀山的凉雾，荔枝湾的残荷等等，可是色彩不浓，回味不永。比起北国的秋来，正像是黄酒之与白干，稀饭之与馍馍，鲈鱼之与大蟹，黄犬之与骆驼。
秋天，这北国的秋天，若留得住的话，我愿把寿命的三分之二折去，换得一个三分之一的零头。