苏轼听了，只是对着司马光说道：“君实兄，你如果能好好虑着的话，我苏子瞻自是感激不尽！我之所以在朝堂上那样说，之所以写了信给你，只是因为你现在处庙堂之高，而我，却是处江湖之远！”他说这话是大有深意。司马光听了，沉吟了片刻，方说道：“子瞻，我知道！我会仔细调查！”说着，自是神色凝重而去，苏轼看了看司马光匆匆而走的背影，目光也甚是复杂。他其实知道，就算司马光认为王安石的新法举措中，也有部分值得继续留用的好的，可是他身处那些固执己见的旧党人士中，恐怕一时也难以执行。
话说王安石赋闲在家中，每日里只是读书写字，这样的日子过了大概有三月有余，这一日，王安石忽地在后院中，对着吴氏说道：“我已经决意要走了！我想去金陵散心一阵子，可也算是隐居吧！”吴氏听了，心中并不觉得多有异样，其实这些时日，王安石所做的诗文，无一步显示出他这样的志趣，吴氏只是悲戚说道：“先生是几时动身？难道竟不带上我么？”
王安石听了，歉疚说道：“我知道，我对不起你！我辜负了你的青春！你放心，我不会再拖累你的！我这就写一封信，给你的父亲！将事情的原原本本都细细说一遍！你还年轻，还可以再嫁！”吴氏听了，只是摇头苦笑道：“这话亏先生能够说出来！先生也是受过孔孟之道的人！俗话说的，好女不嫁二夫！何况，我并没有什么错儿，先生为何要将我给休出去？”吴氏质问道。
王安石听了，脸儿方红了一红，他辩解说道：“你当然是没有什么错儿，错的是我，王安石！我不是休你，我只是将你当作我的妹妹般看待！你知道，此生我已然是绝顶孤身一人的了！你何苦这样呢？我只是惋惜你的大好青春！”王安石这样说，可是觉得自己所言是那样无力。吴氏听了，只是说道：“其实我知道，我知道先生心中中意何人？我也并不敢和她比！我只求能呆在先生身边长长久久的！”王安石听了这话，只是摇头说道：“你……这又是何苦？你要知道，天下之大，比我王安石的好的男人多了去了！”
可是吴氏是个死心塌地的女子，她听了王安石这话，还是执拗说道：“纵然有，可这又和我有什么关系！我只知道，我是你的妻子，不管是天涯海角，还是什么地方，我都要跟随于你！”王安石听了这话，不禁将头儿给转了回来，他怔怔地看着吴氏，心中似乎被她的一往情深给打动！他讷讷地诚实说道：“可是，你知道，此番我的心中，并没有你！”吴氏听了，笑道：“我知道啊！我并没有强求！我只是希望，我这样能够打动你！你知道么，能够在你身边服侍你，我便就心满意足了！”
王安石听了，心中的愧疚便更是增添了几分，当初和她结婚，本是为了替高萧萧的名誉着想，可是他知道，他这样做，却是大大地伤害了她！是啊，她是无辜的！可是，如今他到底怎样安妥她呢？吴氏见王安石这样为难，不禁苦笑道：“先生，给我一个孩子吧！我知道我得不到你，可是有了孩子了，我便觉得我的生命又有了希望了！看到孩子，便如看到你一样！”王安石听了，心中不免一惊，他恍惚说道：“你……真的要这样，你不后悔？”吴氏听了，郑重说道：“跟了你，我便就从不后悔！”说这话时，她的神情是无比坚定执着。王安石迷惑了，他看了看贤德的吴氏，低低说道：“我考虑考虑……”说着，就走出了屋子。
这一年年尾，吴氏还是怀孕了，不管怎样，自她怀孕以来，王安石对她的照顾，还是无微不至的，他和吴氏的感情很奇特，在别人看来，他们看起来很般配很恩爱，可谓是夫唱妇随的。可是王安石自己知道，因为心中始终是住着另一个人，是以只能在生活方面对吴氏多加照拂了。可是在吴氏看来，只当王安石终于被她坚韧不拔的意志所感动了呢！
吴氏产下一个男孩，王安石初为人父，自是极为高兴。高萧萧听说了，也是感慨不已，她命人送给王安石的孩子，送去好些东西，以示慰问。其实此番，王安石心中的主意已定，那便是去金陵隐居一阵子，可是眼见孩子才不过周岁，自己就要孤身远行，岂不是陷吴氏与难堪的境地！好在，吴氏是个通情达理的女子， 她知道王安石心中抑郁，如今他被罢了相位数年，躲在这家中，门庭冷落，她自是知道他内心的痛苦。
因此她便决意，回娘家去小住半年，让王安石在那金陵山中，隐居上半年，排遣排遣心中的郁结。不然，她每日里对着王安石强颜欢笑的苦囊脸，心中也是难受。
她只是对着王安石说着，她想自己的父母，想带着孩子去娘家小住一阵，大约半年后会回来！是以他也可去金陵散心，半年后，他们都再回到汴京的家中。王安石听了，知道她是为自己着想，因此说道：“我知道夫人是为我着想，是以介甫在此时重重谢过夫人了！”并对无事承诺，半年之后，他定然会如期返回汴京。他是妥协了，看来这一世是无法和高萧萧在一起了，眼下终究有了儿子，不如就和吴氏淡淡地过上一辈子罢！作为一个有妻有子的男人，该他负的责任，他还是定然要负起的！
过了几日，王安石将妻子吴氏和孩子，安顿好了， 将他们一路护送到吴氏的娘家去，他辞别了岳丈之后，便就开始打点行装，准备向金陵进发了！王安石决意隐居金陵，其实也是为着自我反思，其实好些事情，假如能平心静气地坐下来，认真听一下别人的不同意见，不那么固执己见，也许事情就不会弄得这样糟，也许变法不会半途而废。
他谁都没有告诉，在一个立春之后日，他骑着小毛驴，带着好些书儿，避过众人，悄然地来到了紫金山山脚下。赁了几间附近老农夏时看菜园和瓜果的简陋房子，他简单修缮一新后，便坐在菜园前儿，读着昔日那些诗人所写的《金陵怀古》等诗篇，读了一些章节后，便沉沉然若有所思，只想遥追作者那番时的颜色心情。此时的他，没有了在汴京城中的烦恼，虽是初春，可是紫金山中一点儿也不冷，王安石只穿了青衣，戴了小帽，信步直至山顶，俯瞰整个金陵水城风貌，远林微微有雾霭，又觉得立在此处，心中是说不出的寥廓，便稍微休息片刻，沿小路下山，吃些早点。紫金山下的小吃很多，风味颇是和汴京不同。路遇上山行人渐渐增多，微感汗湿，不觉中已经落足山脚。
为何要来金陵排遣抑郁、抒发感慨？只因王安石早年随父王宦遍游金陵各处，父亲去世后，全家曾定居在金陵。想当年，父亲心情烦闷时，便喜欢去这附近紫金山中舒缓心情，王安石学了父亲的习惯，便也往这紫金山中来了。
到了山脚之处，王安石略略歇了歇脚儿，反正此处的山野乡民，无一人是认识他的。看着紫金山巍峨的风景，王安石只觉得又是说不出的意兴盎然。他随便就坐在一个茶馆之内，问店家要了纸笔，在一个僻静之处，略加思索，沉吟片刻，对着苍翠滴绿的山脉，看着脚下的淙淙流水，听着耳边不停的鸟儿啾啾声，心中有无限之感慨， 便如行云流水般洋洋洒洒写下四首七言绝句，这四首诗句，自是名动千古的《金陵怀古四首》。
其一
霸主孤身取二江，子孙多以百城降。
豪华尽出成功后，逸乐安知与祸双。
东府旧基留佛刹，《后庭》余唱落船舱。
《黍离》《麦秀》从来事，且置兴亡近酒缸。
其二
天兵南下此江桥，敌国当时指顾投。
山水雄豪空复在，君王神武自难双。
留连落日频回首，想象余墟独倚窗。
却怪夏阳频回首，汉家何事费罂缸。
其三
地势东回万里江，云间天阙古来双。
兵缠四海英雄得，圣出中原次第投。
山水寂寥埋王气，风烟萧飒满僧窗。
废陵坏冢空冠剑，谁复沾缨酹一缸。
其四
忆昨天兵下蜀江，将军谈笑士争降。
黄旗已尽年三百，紫气空收剑一双。
破堞自生新草木，废宫谁识旧轩窗。
不须搔首寻遗事，且倒花前白玉缸。
写完了此四首诗句，王安石方觉得心中酣畅淋漓，多日的郁结是一扫而空。他自是不知道，后人根据他这几首诗，是凭空揣测出他多少的心思来，其实此时王安石的心中想法很简单：并无任何怨言，只是心中惆怅而已、惆怅而已。