江苏省邳州市有个土山镇。镇的西边有一处高二十多丈的土丘，名叫土山，据说是关羽退守的地方。讲述“降汉不降曹”的故事，须从这里开始。
风无常顺，兵无常胜。关羽雪阵擒王忠后驻守下邳，保护着刘备的甘、糜二夫人。不久，曹操大军攻破小沛，打散了刘备、张飞，又来下邳攻打关羽。曹操派夏侯惇领兵挑战，把关羽诱出二十多里以外。关羽虽然英勇，毕竟寡不敌众，看看天快黑了，杀不出重围，只得引兵退到这座土山上。夏侯惇也不攻打，只叫士兵们把土山围得水泄不通。关羽远远望见下邳城里火光冲天，牵挂着刘备的家眷，几次冲下山来，都被乱箭射回。当时的处境，真是磨盘压住手了。
天刚朦朦亮，关羽整顿队伍准备下山死战，忽见一个人骑马跑上山来。近前一看，是山西老乡张辽，原为吕布部将，后来在下邳兵败归降曹操。关羽看见他，眼前不由得浮现出当年的情景。那时，吕布被俘向曹操求情，他的部将高顺和陈宫却宁死不屈，都被曹操杀了。张辽面对血淋淋的刑场毫无惧色，一边斥责吕布：“何怕死也！”一边大骂曹操是“****”。这种气概使关羽和刘备大为感动，真是惺惺惜惺惺，英雄识英雄。就在曹操怒冲冲杀向张辽的危急关头，刘备猛然攀住了曹操抡剑的臂膀，关羽也扑通跪下求情，声明愿以自家性命担保，这才使张辽免被杀害。人常说：男儿膝下有黄金。何况对于关羽这个钢铁汉子来说，给人下跪更是极不容易的事。然而，为了搭救张辽，关羽竟然给曹操下跪求情，真令人感慨万分。而今，关羽在土山身险困境，曹操派张辽来当说客，确是一个合适人选。当下张辽上得土山，对关羽说：“刘备不知生死，张飞下落不明，众人都已失散。昨天晚上曹公已经攻破了下邳，并没有伤害城里的军民，还派人保护刘备的家眷。我特地来把这些情况告诉你，好叫你放心。”
关羽说：“我清楚得很，你这番是来做说客的。不过我明白地告诉你，关某今天虽然处于绝境，但是视死如归。你快快回去，我愿决一死战！”
张辽大笑说：“你说这番话，不怕被天下人耻笑吗？”
关羽说：“我仗义而死，怎么会被人耻笑？”
张辽娓娓道来：“你要是现在死了，有三大罪过。第一，当初你们桃园三结义时，发誓同生共死，你现在怎么能不管他二人便自己去死呢？第二，刘备把家眷托给你，你死了叫谁照顾？第三，匡扶汉室的大业还没有完成，你岂可只逞匹夫之勇？话丑理端。你仔细掂量，是不是这么个理儿？”
关羽沉吟了半天，心想倒也是，自个儿死是容易的，但两个嫂夫人怎么办？这真是鸡毛遇风吹──身不由己了。他问张辽：“你说我有三罪，想叫我怎样？”张辽说：“曹公素爱你是个人才，武艺勇冠三军。不如暂时降了他，再慢慢打听刘备下落。有了消息，再去找他。”
关羽说：“你的话虽是好意，但我有三个条件，如果不答应，我宁可担三罪的名而死。”
张辽忙说：“曹丞相宽洪大量，胳膊上跑得马，肚子里能撑船，什么事宽容不得？你就说吧。”
关羽郑重地说：“一、我们结义时曾发誓共扶汉室，我降汉不降曹。二、把兄长的俸禄赡养他的家眷，谁也不许侵犯。三、一旦知道兄长下落，不管千里万里，便去寻他。三者缺一，断不肯降！”
张辽回见曹操，说了关羽提出的三个条件。曹操听了第一条，抚掌大笑道：“我为汉相，汉即为我。降汉不降曹，有何分别？可以答应。”听了第二条，他很痛快地说：“这事好办，我加倍付给俸禄。”听到第三条时，他皱眉了，说：“他早晚要走，我要他过来为怎的？岂不是扁担没扎，两头失塌吗？”张辽解释说：“这事也不难。刘备不过待他恩厚，因此，他念念不忘。猫狗尚且知温情。只要丞相比刘备更厚待他，谅他也会感动的。到那时还怕他再走吗？”曹操一想：对！我就来个“软绳套硬柴”，不愁降不住他，于是，答应了三个条件。
张辽上山回说关羽。关羽又提出：曹操先退军，自己进城告诉两位嫂嫂，回头再说。
曹操马上传令：城外军马尽退十五公里。谋士说：“咱们若退了兵，关公变卦了咋办？”曹操说：“我知道云长是忠义之士，必定不会失信。”
关羽进城见过甘、糜夫人后，领了几十个士兵来见曹操。他怕曹操反悔，又当面重申了自己的那三个条件，一再强调：“我主若在，就是赴汤蹈火，也要去寻。”
曹操满口答应，设宴招待关羽。他心里明白：存亡在于得人。如果能留住关羽，他就会如虎添翼。