台湾作家高阳在《红顶商人》写到，1861年胡雪岩对有个叫李得隆的年轻人讲述20年前的一段经历时，对胡雪岩创办钱江义渡的起因是这样写的：
二十年前的胡雪岩，还在钱庄里学生意，有一次奉命到钱塘江南岸的萧山县去收一笔账款，账款没有收到，有限的几个盘缠，却在小茶馆里掷骰子输得只剩十个摆渡所需的小钱。
“船到江心，收钱了。”胡雪岩说，“到我面前，我手一伸进衣袋里，拿不出来了。”
“怎么呢？李得隆问。
“也叫祸不单行，衣服破了个洞，十个小钱不知道什么时候漏得光光。钱塘江的渡船，出了名的凶，听说真有付不出摆渡钱，被推到江里的事，当时我自然大窘，只好实话实说，答应上岸到钱庄拿了钱来照补，但说破了嘴都无用，硬要剥我的衣服。”
“这么可恶！”李得隆大为不平，“难道一船的人，都袖手旁观？”
当然不致于，有人借了十文钱给他，方得免剥衣之辱。但胡雪岩受此刺激，上岸就发誓：只要有一天得意，力所能及，一定买两只船，雇几个船夫，设置来往两岸不费分文的义渡。
“我这个愿望，说实话，老早就可以达到。哪知道做好事都不行！得隆，你倒想想看，是啥道理？”
“这道理好懂。有人做好事，就有人没饭吃了。”
“对！为此钱塘江摆渡的，联起手来反对我，不准我设义渡。后来幸亏王抚台帮忙。”
那时王有龄是杭州知府，不说私人交情，帮胡雪岩的忙义不容辞；就是以地方官的身份，为民造福，奖励善举，也是责无旁贷的事。所以官府出告示不准靠摆渡为生的人阻挠这件好事，同时还为胡雪岩请奖。
自设义渡，受惠的人不知有几，胡雪岩纵非沽名钓誉，而声名洋溢，就此博得了一个“胡善人”的美名。只是钱塘江里的船家，提起“胡善人”，大多咬牙切齿。
按上述描述，胡雪岩是受钱庄店伙时渡江受辱的一段经历刺激，而创设义渡，时间在王有龄调任杭州知府（1855年）之后。
高阳的小说虽在采集大量史料基础上构思而成，但那毕竟是文学创作。
可胡雪岩同时代人也是有记载的：
太平天国攻浙时任浙江按察使的段光清在《镜湖自撰年谱》1864年（同治三年）条目下写道：“义渡一事，是宁绍出入要路，捐钱者必多，前司于长毛（统治者对太平军的诬称）未扰时，亦曾捐银千两，各衙门亦皆有损，交胡（光）墉经管，收复之后，胡（光）墉亦不能置之不办。从这条史料看，钱江义渡在19世纪60年代以前已开始筹划，而且府署官员多有捐助，并非像有的文章所讲的是胡雪岸独资兴办。
《胡庆余堂：中药文化国宝》一书中朱成方的《功自心诚，利从义来》一文对钱江义渡的起因则有另一说法：
当时，杭州钱塘江上还没有一座桥梁，浙江绍兴、金华等“上八府”一带的人进入杭城都要从西兴乘渡船，到望江门上岸。而当时的叶种德药店设在望江门直街上，所以生意非常兴隆。而胡庆余堂则设在河坊街大井巷，仅靠杭嘉湖等“下三府”顾客，很少有“上八府”一带的顾客上门。
对一家商号来说，要在竞争中站稳脚根，天时、地利、人和三方面的因素都要具备，但是，如何才能改变这“地利”上的劣势呢？
胡雪岩曾亲自到码头调查过，一位船工冲口而出“要让上八府的人改道进杭城，除非是你把这个码头搬个地方！”言者无意，听者有心，胡雪岩从码头回来，心里亮堂堂的，主意也就拿定了。
他又沿江实地考察，了解到从西兴上船过江，航程大，江上风浪大，容易出险。胡雪岩选择了三廊庙附近江道较窄之处，决定在这里投资兴建“义渡”，把船码头“搬过来”，让“上八府人”改道由彭楼进城。
码头很快就修起来了，胡雪岩又出资造了几艘大型渡船，不仅可载人，还可以载车和牲畜，而且免费过渡，又快又稳又省钱，上八府的人无不拍手称好。这一来，胡庆余堂在上八府顾客中的知名度提高了。上八府的旅客也改道由鼓楼进城了。胡庆余堂的地理劣势转为优势了，叶种德堂的生意随着“义渡”的开通迅速冷落。真可谓“一石三鸟”之举。
从这条材料来看，胡雪岩开设义渡是出于与杭城另一家着名药号叶种堂抢顾客、兜生意的需要。对钱江义渡的起因虽然说法不一，但大致还是能勾勒出一个轮廊：在太平天国进军浙江前，地方政府就已将官员捐资交给开钱庄的胡雪岩，筹划义渡之事，只因时局动荡，中间停顿，清军卷土重来后，胡雪岩着手主办此事，并捐有巨款。
胡雪岩创设义渡后，临时设有趸船，以便过客待渡，渡船每天开约10余次，一般顾客不取分文，只有干苦力的人来过渡替代船夫服役片刻，由于设义渡是众人受惠之事，干苦力的也乐于奉献自己的一份力量。钱江义渡还设有救生船，遇有风高浪急时，渡船停驶救生船便挂了红旗，巡游江中，若有船中遭遇不测，就不避风浪险恶，飞快行驶过去救援。
钱江义渡的开办使胡雪岩的善名不胫而走，而且又便利了“上八府”与“下三府”的联系，客观上促进了商业贸易的发展，对胡雪岩的经商活动也大有裨益。
（2）捐输赈灾
富而有德，乐善好施是历代良贾应有的道德风貌，古代就有：“贪吝常歉，好与益多”，“慈能致福、暴足来殃”这类包含着辩证法的商谚，胡雪岩在饶有资财之后，也热心慈善事业。
1871年（同治十年），直隶水灾，胡雪岩捐制棉衣1．5万件，并捐牛具籽种银一万两，由于天津一带积水成潦，籽种不全，胡又续捐足制钱一万串，以助泄水籽种之需。
1877年（光绪三年），陕西干旱，饥民急需粮食充饥，胡雪岩初拟损银2万两、白米1．5万石装运到汉口再转运入陕，左宗棠考虑到路途遥远，转运艰难，要他改捐银两3万两，结果胡雪岩捐实银5万两解陕备赈。
此外，胡雪岩还曾捐输江苏沐阳县赈务制钱3万串；捐输山东赈银2万两、白米5000石、制钱3100串，劝捐棉衣3万件；捐输山西、河南赈银各1．5万两。
以上仅是胡雪岩捐输赈灾的一个片断，据1878年（光绪四年）左宗棠上奏朝廷的《胡光墉请予恩济片》，胡雪岩呈报捐赠各款，估计已达20万两白银，这还不包括他捐运西征军的道地药材。
捐赈作为胡雪岩的一大功绩，成了左宗棠为他争取黄马褂的一个重大砝码。胡雪岩用财富赢得了善名，又以善名获取更多的财富。
（3）胡雪岩与杨乃武小白菜案
杨乃武与小白菜案，是清末轰动全国的四大奇案之一，一百多年来，被竞相编成戏剧、电影、电视、小说、曲艺，孰不知，胡雪岩与申雪这场旷世奇冤有着重大的关系。
杨乃武（1841～1914），字书勋，又字子钊，世居余杭县城澄清巷口西首，妻詹彩凤种桑养蚕、饲养家畜为业，姐姐杨菊贞（淑英）年轻守寡，常住娘家。杨乃武20岁考取秀才，1873年（同治十二年）考中举人。他为人正直，不愿对官吏劣绅阿谀奉承，倒常为小民百姓打抱不平。
余杭县城一家豆腐作坊有个叫葛品连的店伙，长得丑陋愚钝，1872年（同治十一年）春天，娶容貌秀丽的毕秀姑为妻。秀姑绿衣白裙，人称“小白菜”，婚后租杨乃武家的空房一间，秀姑常帮杨家干些家务，杨乃武也教秀姑识字。日子一长，那些本来就嫉恨杨乃武的市井无赖放出杨乃武奸占小白菜的谣言，甚至还贴出“羊（杨）吃白菜”的招贴，葛品连起了疑心。为了避嫌，杨乃武要葛品连夫妇搬出去，葛、毕两人迁到秀姑继父喻敬天表弟王心培家居住。余杭知县刘锡彤的大儿子刘子翰乘机通过县衙女佣以做针线活为名，把秀姑骗去，施以暴力奸污。
1873年11月26日（同治十二年十月初七日），葛品连流火宿症复发，可他误以为自己体虚，吃了东洋参和桂圆等上火的药品，暴病身亡。十月是小阳春，入殓时，尸体口鼻有淡黑色血水流出，葛母向余杭县控告其媳葛毕氏谋杀亲夫。
县令刘锡彤本来就对杨乃武抱有成见，在仵作草率验尸以后，把“口鼻血水流入两耳”当作是“七孔流血”，把用过的银针不按规定用皂角水擦洗，就以为银针变色、服毒所致等，遂将秀姑收审。消息传出，县太爷家的那个浪荡公子刘子翰唯调戏秀姑之事暴露，买通一个刁妇混入女监恐吓、欺骗秀姑，加上审读过程中动了大刑，秀姑熬不住只好屈供与杨乃武早有奸情，合谋杀夫。杨被传讯后，双膝被烧红的火砖烫得焦烂，三上夹棍、三次昏死，但始终无供。可恨知县刘锡彤仍以犯妇已供认不讳为由，呈报杭州府。军功出身、一向藐视读书人的杭州知府陈鲁据此滥施刑讯，杨乃武多次跪火砖、跪钉板、上夹棍，昏死过去，终因熬刑不过，而屈认自己从药店买得砒霜交给秀姑药死葛品连。杭州府拟定毕秀姑凌迟（零刀碎割）处死，杨乃武斩首示众，并上报浙江省。巡抚杨昌濬亲自审讯，杨乃武、毕秀姑自感木已成舟、难以翻案，仍屈供如前，杨昌濬派候补知县刘锡滓赴余杭密查，但刘既不传死者近邻细细核实，又收受刘锡彤人参、貂皮等贿赂，回报杨昌濬此案“无枉无滥”，结果，杨昌濬按府拟罪名上报清廷刑部。
杨乃武的姐姐杨菊贞根本不相信弟弟会做夺人之妻、杀人之夫这种伤天害理的事。她探监叫杨乃武亲拟诉状，然后身背“黄榜”，走了两个多月，于1874年7月（同治十三年六月）抵达北京，向都察院（中央最高监察、弹劾机关）投诉。都察院非但没受理此案，还派员将杨菊贞押解回浙，杭州府和浙江省重审时都维持原判。
杨菊贞下定决心，拼死也要为弟弟伸冤，她准备第二次上京告御状。然而，打官司，且不说需要跋山涉水、艰辛备尝，单是那费用也叫人忧心忡忡。由于前几次官司已花去了许多诉讼、盘缠等费，杨乃武家十多亩桑地已经变卖完了，家中只有杨妻和杨姐两个妇道人家，加上杨乃武10岁的儿子荣绪。有理无钱寸步难行，正当杨菊贞一筹莫展的时候，对杨乃武小白菜案持同情态度的杭州胡庆余堂老板胡雪岩慷慨解囊，赠送杨菊贞200两银子，这笔银两成了杨菊贞二告御状的救急钱。
为了争取京官们对杨乃武一案的同情，唤起他们扶正祛邪的良知，胡雪岩还专门拜访回杭州老家办理丧事的翰林院编修夏同善（1831～1880年，字舜乐，号子松，仁和人，曾任兵部右侍郎、江苏学政），向他诉说杨乃武、小白菜的冤情，要求他回京后寻找适当的机会向同僚进言，帮助重审此案。
杨乃武小白菜案发生之时，胡雪岩已有道员兼布政使衔，并担任左宗棠镇压捻军和陕甘回民起义的后路——上海转运局委员，有财有势。这样一位人物的介入使杨乃武小白菜案有了转机。1874年（同治十三年）农历九月，杨菊贞陪同杨乃武之妻詹彩凤、杨乃武之子荣绪与“抱告”姚贤瑞，经过一个多月的长途跋涉再次来到北京。她们顺利拜见了夏同善，送上其弟夏缙川的书信及控诉状，经夏同善介绍，又遍访在京的浙江籍大小官员三十余人，接着向步军统领衙门、刑部、都察院投诉。
夏同善不忘胡雪岩之托，多次访问大学士、户部尚书、都察院左都御史翁同和，恳求他去刑部查阅浙江审查理该案的全部卷宗。后在翁同和与刑部分管浙江司刑狱的林文忠（林则徐第五子）的共同努力下，慈禧、慈安两宫皇太后亲下谕旨，重理此案。但由于办案人员一拖再拖，案子悬而未决，慈禧太后指派正在浙江考选遗才的浙江学政胡瑞澜以钦差大臣的身份赴杭复审。科班出身、不懂刑狱的胡瑞澜滥施酷刑，杨乃武双腿被夹断，仍不肯招供，毕秀姑手指尽折、上衣被剥、开水浇身，烧红的铜丝穿人****，再次诬服。直到1875年（光绪元年）给事中边宝泉上奏异议，夏同善等浙籍京官联名上书，奏明此案不明，只恐浙江将无人肯读书上进了，一致要求提京复查。清廷下旨刑部，于1876年（光绪二年）底，将葛品连棺木移往京师，当众开棺验明死者实系病亡，至此，这一历时三年多的大案真相大白。杨昌濬以下的审办官员都受到处分，杨乃武和毕秀姑无罪释放，杨回杭后叩谢了患难相助的胡雪岩，回乡后种桑养蚕为业，因妻子詹彩凤双目失明、姐姐杨翠贞积劳成疾病故，他一人承担了家庭重负，直到1914年病故。那毕秀姑后来到县城南门外“准提庵”削发为尼，1930年去世。
杨乃武小白菜案轰动朝野，胡雪岩以自己特殊的声望赞助钱财、游说京官，为争取重审此案并最终昭雪起了不可低估的作用，无庸置疑，随着此案的广泛流传，胡雪岩的义声善名更加深入人心了。