次日，文广升厅坐定，四子一齐跪下禀曰：“告爹爹得知：可恨张茂排陷吾家，今夜儿等要把他家满门老幼尽行诛之！”文广喝曰：“方受皇恩荣耀，满朝莫敌。若干此等事，王法无情，岂相饶乎！那时莫说恩荣，免死亦难，决不可为。”公正等诺诺而退。
怀玉曰：“三位哥哥在上，此事只宜暗暗行之，莫使爹爹知道。”
于是商议已定。直至元丰二年端阳之夜，怀玉等将黑灰搽脸，扮作强人，径入张茂府中，将家属尽皆杀之，只走了范夫人。范夫人次日进奏神宗，神宗大惊，命殿前检点满城搜拿捕捉，十日不见丝毫形迹。范夫人复奏神宗，神宗问群臣：“今捕拿了贼人否？”
群臣奏曰：“不见下落。”神宗曰：“国之大臣被人杀死，访拿不出，岂可置之不问而遂已乎！如此即是没了王法，安用朕为！”乃大怒，命钦天监官夜观天象，看凶星落于何处。又命武士四门严捕。
是夜，钦天监官刘江上司天台仰观天象，看罢大惊，星夜径到杨府叫门。守门者问曰：“汝是谁？”刘江曰：“代禀国公，钦天监官有机密事来禀！”
却说怀玉干了此事，亦提防朝廷缉捕，乃出宿于府门廊下。此时听见外面叩门，遂起来看之，正撞遇守门人进禀。怀玉曰：“禀什么事？”守门者曰：“钦天监官刘江来禀什么机密事。”怀玉曰：
“汝去看，若只一人，则放他入来。如人多，则回复明日来禀。”守门者出到门边，从门缝往外瞧，只见是刘江一人，遂开门请入。
刘江与怀玉相见，言曰：“小官领圣旨夜观天象，杀死张丞相之凶星正照老爷府上，为此先来通报。”怀玉曰：“我家没干此事。
烦劳大人爱厚，容日叩谢！”刘江辞别去了。
是夜，怀玉聚集兄弟姐妹商议，言曰：“适闻钦天监刘江到府来说，杀张茂之凶星正照我家。彼未奏君，先来通知。我想明早他奏知圣上，圣上定行拿问。朝廷听信谗言，我家屡屡被害，辅之何益！且佞臣何代无之？他每恃是文臣，欺凌我等武夫，受几多呕气！依我之见，趁今圣上未曾下命拿问，不如纠集家兵悉行走上太行山，岂非斩断愁根乎？只有一件：爹爹病重，惊动了他，必定闷死，怎生区处？”宣娘曰：“那倒无妨，我将安云车一辆载之，犹如平地安稳，万无一失。但汝父忠勇，若闻知此事，必执汝等入朝待罪。”公正曰：“吩咐众人莫将此事告之。乞姑姑进去问病，诳爹爹入了安云车内，我等即便起行。”言罢，宣娘入文广卧房问曰：“贤弟病势如何？”文广曰：“料不济事。”宣娘曰：“贤弟起来，另换干净室居卧，付大小事务于不闻，屏绝鸡犬人言声息，自可避无恒矣。”文广不知是计，爬起来随着宣娘入于安云车内讫。
是夜，怀玉命家人、众护卫军士收拾宝物辎重。车载马驮，整备停当。一声炮响，径望太行山进发。
次早，范夫人又进奏曰：“妾已访得强贼，乃无佞府杨怀玉等搽黑其面，抢进妾府杀了全家，乞陛下敕旨拿之。”蔡京曰：“若论仇隙，亦有可疑，但难以确定是他家杀了，必待钦天监官来奏，便知端的。”言未罢，刘江进奏说道：“凶星正照着杨府。”神宗大怒，下命孙立领羽标军三千围住杨府，全家拿来戮弃于市。
旨意才下，巡守外逻城御史汪万顷奏曰：“五鼓时候，城门一开，杨府举家尽皆涌出，径往太行山去了。”周王闻听大惊曰：
“国有佞臣，忠良难立，以前张茂有书冒奏欺君，陷害忠良，罪亦当斩。陛下宠嬖，不行究问。那时已不服杨府众人之心矣！今日茂死，罪人未获，杨府知陛下必定不肯干休，恐祸及于彼，是以高蹈远举，全身远害，飘然不恋爵禄，走上太行。但将来若有四夷叛乱，再遣何人讨之？”神宗曰：“此事何以处之？”周王曰：
“依臣之言，发下诏书，召回杨怀玉等仍居无佞府中，敕赐重修第宅，彼张茂之死等情俱罢不究，庶几可以挽回其心。”神宗允奏，即修诏与周王赍往太行召回杨怀玉等，赦除前罪。周王得旨，赍诏径往太行山而去。
不日到了太行山，怀玉等接见。周王曰：“圣上有诏，跪听宣读！”怀玉等忙排香案、整朝服接旨。周王读罢，怀玉等接诏，叩头谢恩毕，于是整酒陪周王。
席上，周王问曰：“国公何在？”怀玉曰：“老父患病甚重，谢尘只在旦夕。”周王曰：“待我进去一看何如？”怀玉曰：“不敢麻烦殿下。”周王曰：“内家亲眷，岂有此说！”怀玉曰：“殿下切莫言及上太行山一事。倘若言之，老父必闷死矣！”周王曰：“又说鬼话！他今日身居太行犹不知之，尚待我告之乎？他既不知，当日怎生得他上来？”怀玉遂将安云车一事告之，周王允诺。
及见文广，周王言曰：“老国公病体何如？”文广曰：“劳烦殿下垂念，料不久将归泉下矣！只是报答殿下之恩一念耿耿在怀。”
言罢，两泪交流。周王见其情词真切、势甚危笃，亦挥泪言曰：
“老国公忍耐些儿。”其心亦恐惊伤文广，遂将上太行等事隐而不言。待辞出，谓怀玉曰：“圣旨来召汝等回汴，可急起程。”怀玉曰：“臣宁死于此而不回矣！”周王曰：“汝不回去，甘为背逆之臣以负朝廷乎？”怀玉曰：“庶臣诳言之罪，略有苦情，一一启殿下听之。若以理论，非臣等负朝廷，乃朝廷负臣家也。始祖继业因王侁排陷，狼牙撞李陵之碑而死，七郎遭逢仁美万箭攒身而亡，六郎被王、谢之害，充军充徒，迨及狄青、张茂，吾祖、吾父贬职削官。圣主不明，词章之臣密迩亲信，枕戈之士远隔情疏，不得自达。谗言一入，臣等性命立刻悬于刀头。此时圣主未尝少思臣等交兵争斗之苦而加矜悯，岂臣造为虚谬之谈以欺殿下乎？”有诗为证：
餐风露宿统军时，万种愁怀只自知。
剪发接缰牵战马，折衣袖线补旌旗。
争雄授命耽饥会，角力伤刀负痛归。
圣主哪怜征战苦，谗言一入即分尸。
周王听罢，问曰：“汝既不肯回朝，敢怕要去辅佐番邦？”怀玉曰：“‘直道而事人，焉往而不三黜；枉道而事人，何必去父母之邦。’此古人之明训也。臣家世代性俱刚烈，不肯阿附权臣，故落落不合于朝臣。又想：国国一辙，处处同风。大宋如此，彼番亦如此。臣既隐身远祸不辅大宋堂堂天朝，岂肯辅番邦乎！且尽心竭力辅助国家，少中奸锋，九族庙绝。呜呼！哀哉痛哉！辅人立朝，实闲且淡，若浮云过太虚，径归无用矣！”有诗为证：
兔走鸟飞疾若驰，人生何事苦谋为？
屡朝宰相三更梦，历代君臣一局棋。
禹并九州汤得业，秦吞六国汉登基。
人人欲作千年计，怎奈天公不应机。
怀玉读罢，又曰：“一贼灭，一贼兴。谁能辅佐人国而使万世之永安乎？”有诗为证：
世事若龙舟，古今争不了。
胜败两亡羊，天地一刍狗。
周王情恳千回百遍强之，怀玉不听，周王不得已，辞别而回。
既至于汴，即入奏神宗，将怀玉所论之言并怀玉吟咏之诗一一敷陈。神宗听罢曰：“噫！寡人之过也！”慨叹不已。复谓周王曰：
“劳卿再赍敕旨前往召之。朕想古之帝王梦卜求贤以理天下，朕有此等贤良之士不能用之，听其肥遁林泉，不得与古明王媲美，使天下万世谓朕为无道昏庸之君也！卿速行焉，善为设辞可也。”
周王领旨，星夜复到太行山，见了怀玉等，剖尽衷曲劝谕抵极，怀玉等只付之一笑，并不辩论短长。及见周王劝之不已，怀玉曰：“劳殿下情意殷殷，另有一番深长之论转达天子听，且见殿下此来亦不徒然。”周王曰：“有何论焉？”怀玉曰：“圣朝调遣，拜命而行。倘或来宣入朝受职，将臣碎尸万段亦决不遵依。”言罢，周王亦无奈，只得辞别而回。
怀玉引领全家送至山下，再拜周王。周王含泪，怏怏不忍离别。怀玉曰：“殿下勿忧，微臣不死，后会可继！”周王遂洒泪相别。
怀玉回到山上，命手下伐木作室，耕种田地，自食其力。又出一告示晓谕家兵：“不许下山掳掠民财，为一清白百姓遗留芳名于后代，使人皆称我家是个忠臣，退隐岩穴而非叛乱贼臣不归王化者也。”有诗为证：
尘视侯封上太行，只缘社鼠暗中伤。
繁华过眼三春景，衰朽催人两鬓霜。
宦海无端多变态，菜羹有味饱谙尝。
浮生得乐随时乐，何必耽忧驻汴梁。
后人览罢此书，有诗赞怀玉知机云：
峻秩崇阶孰肯丢，知机平远早回头。
预期十事九如愿，定不三平两满休。
知自足时还自足，得无忧处便无忧。
太行风月归闲后，一任人间春复秋。
又有诗赞曰：
卸却朝衣弃却簪，浮云富贵不关心。
连城玉韫太行润，照乘珠藏合浦深。
明月花前宵独酒，薰风竹下昼鸣琴。
此身不复随宣召，只恐西风短剑临。