胡雪岩的原配太太程氏，是奉父母之命所娶。此女相貌平平，能力一般，与胡雪岩亦无感情，是个老实人，且体弱多病。对这样的结发妻，胡雪岩却从没厌弃过，像对待其他十二房姨太太那样疼爱她。在胡雪岩的妻妾中，阳琪是第一个被当做贤内助而娶进门的女人。阳琪长得眉清目秀，美丽动人。她与胡雪岩年轻的时候便认识，说话也投机，二人心中都有一种莫名的感觉。哪知当时阳琪的父亲突染风寒去世，阴差阳错二人错失了大好姻缘。11年后阳琪携母亲流落到了上海意外地遇见了胡雪岩，二人相见少不了惊喜，问候寒暄过后，胡雪岩说他在杭州沦陷后一年就来到上海，当时生意顺畅。后来太平军被镇压，他又回到杭州。现在主要的生意都在杭州，此次到上海来是为左帅借洋款，听得阳琪心中欢喜。她问道：“这么多的事情要你做，不累吗？”胡雪岩顿时眼睛灰暗失色，“唉，有什么办法呢？她又帮不上什么忙？”“她”像针似的刺了阳琪的心，她失望地低下头，提不起谈话的兴致，只简略地把自己的遭遇讲出来，平平淡淡毫无夸张之词。胡雪岩仍然听得眼圈湿润。两人随便闲谈一会儿，胡雪岩告辞回家。此次见面后，胡雪岩常常见缝插针来到阳琪绣行。他们的心渐渐被往事唤起，热情像从前一样炽烈，情深意长。阳琪是一个精明的女人，她用自己的聪明才智替胡雪岩买了一块南京的地皮，结果一个月后这块地皮不断看涨，胡雪岩也被阳琪的远见卓识给折服了。他需要有这样一位贤内助帮忙，更何况还是自己的心爱之人。几经周折，胡雪岩终于如愿以偿，和阳琪拜堂成亲。与阳琪成亲后，阳琪立刻成了胡的左右手，令胡如虎添翼，有力地促进了胡雪岩事业的进一步发展。只可惜，阳琪过早地逝世了。这多少留给胡雪岩一些遗憾。
不久，胡雪岩就遇到了另一位与阳琪极其相似，极具商业头脑的姑娘。她就是胡雪岩身边最重要的一位女子，陪伴胡雪岩走完人生的翠环姑娘，即当时小有名气的“罗四太太”。
罗四太太在嫁给胡雪岩之前，叫做罗四姐，是个小家碧玉，特别能干，在胡雪岩穷困潦倒的时候，曾接济过他。可当时胡雪岩已有妻子，虽然彼此都有爱慕之意，却无从结合。后来，罗四姐随父母逃避战乱，流离途中，父母双亡，她嫁的丈夫又患病死了，留下她和一个女儿。年轻的孀妇，加上又是旧时相识，所以，罗四姐认为她与胡雪岩是“前世的缘分”。为了避免用“二太太”之名，却又想不出更合适的称呼；有个通人说：“顺治年间江左三大家’之一的龚芝麓，娶了秦淮出身的顾眉生，龚芝麓的元配称她为顾太太，仿照这个例子，拿罗四姐的姐字改为太太，有何不可？”于是，“罗四太太”就此叫开了。下人不明其理，只当她娘家住在螺蛳门外的缘故，叫成“螺蛳太太”。
胡雪岩的母亲胡老太太年事已高，对生意上的事并不精通，原配妻子程氏又是个老实人，自从罗四姐嫁到胡家后，罗四姐成了胡府的“掌印夫人”，她将胡府后院打理得井井有条，让胡雪岩安心在外面做生意，同时，她还常常为胡雪岩生意上的事出谋划策。胡雪岩的事业日益兴旺。发达之后，胡雪岩在生活上也日益堕落，罗四太太见他频繁地出入青楼，甚至就直接就在青楼里谈生意，觉得这是一个危险的信号。于是，她采取了一个折中的办法，支持胡雪岩多娶几房姨太太。于是，胡雪岩尽搜美女，先后纳了十一房小妾，个个美若天仙，加上罗四太太，正好十二位，号称“东楼十二钗”。胡雪岩为这十二房姨太太挥霍掉了大量的金钱。她们分住院内长弄中各楼，按序各占一室。到了晚上，侍女端上盛有各姬妾牙牌的银盘，胡雪岩随手翻一个，侍女就按牌上名字叫这个姬妾侍寝，宛如皇上翻牌子一样。胡雪岩每天早晨起床，由佣人端上用翡翠盘盛着的青黄赤白各色宝石若干枚，让他“养目”。每日合家大小还要去上房向他恭请晨安。胡雪岩喜欢和众多的姬妾一起嬉戏、玩乐。他让诸妾穿上写着“车”“马”“炮”字样的红蓝马甲，登到在高台上画好的棋盘，红蓝对峙，胡雪岩和夫人在栏杆后用竹竿指挥她们，以人充当棋子。胡雪岩与太太口头对弈，姨太太和仆人们依据指令，跑向各自的位置。
在胡雪岩被抄家的前夕，除了罗四太太，他的另外十一个姨太太依旧沉醉在富贵乡里，一个个打扮得花枝招展，满头珠翠，争风吃醋，向胡雪岩卖弄风情。见此，胡雪岩叹道：我的失败就是从纳妾开始的。
罗四太太是服药自杀的，其他的姨太太及众多婢女根据记载大概是如下这样：
次日黄昏，世龙带着几个下人来到娇春园，走进园内，他神情慌张地朝着那一群闲逸无事的小妾们喊道：“你们还不快走，官兵已经到胡府抄家去了，马上就要到这儿来了，要是给官兵们抓住，就要被卖为官奴了。”
顿时，这些养尊处优的姨太太们花容失色，乱作一团，一窝蜂地挤上了门口等待的马车，各自逃生去了。接着，他们在各位姨太太的房间里搜出了多达二三十万两白银及各式珠宝。成由勤俭败由奢，一切都已经太迟了。一场温柔富贵梦，一场超级财富盛宴，就这样草草收场了。
情事
胡雪岩不但在商场上叱咤风云，在政坛上春风得意，而且在情场上更是游刃有余，堪称情场上的高手。他常自谓：一不做官，二不图名，但只为利，娶妻纳妻，风流一世，此生足矣！胡雪岩对待女人的方式，说白了就是：一收二嫁三赠。收，就是收为姨太太；嫁，嫁给生意上的得力助手，笼络人心；赠，就是赠送，贿赂官员。他在创业期间所遇到的女人，几乎都成了他事业上的牺牲品。
在初涉商场时，胡雪岩偶遇被卖入青楼的官宦之家的千金芸香，取得了她的信任，并替她赎了身，但胡雪岩深知自己的身份，他还是一名普通的商人，腰里没几两银子，美女都是高消费的，他无法供养得起这个美人。没有钱，美女就成了烫手山芋。为了着眼长远，他想了一个两全齐美的办法，忍痛把芸香送给了自己的靠山王有龄，王当时是浙江巡抚。胡雪岩既为芸香找了个好依靠，同时又得到了王有龄的器重。此后，有了芸香的“枕边风”，王有龄更卖力地为胡办事。芸香成了胡雪岩走向成功的第一个筹码。
后来，胡雪岩认识了船家女阿珠。阿珠青春年少，清纯可爱，天真活泼，胡雪岩一见倾心，决定在湖州养个外室，并在湖州开了一间丝行。为了这段恋情，胡雪岩在当时还并不富有的情况下，一掷千金，让阿珠的父亲，在一夜之间，从一个老实巴交的船夫变成了丝行的老板。然而，正当胡雪岩与阿珠到了谈婚论嫁的时候，他忽然变卦了，因为他的事业刚刚开始，正是用人的时候，自己的助手陈世龙做梦都想娶阿珠，于是，胡雪岩做了个顺手人情，摇身一变，从情人变成了媒人，将阿珠嫁给了陈世龙。
在胡雪岩送出去的女子当中，对胡雪岩爱得最深、也是受伤害最深的，当算青楼出身的女子阿巧，也有的资料中说她叫赛牡丹。胡雪岩喜欢女人，有一个不易被人理解的怪僻，就是他特别喜欢年轻的孀妇，可能是觉得她们更有成熟的风韵吧。一次在青楼偶然游玩时，胡雪岩结识了阿巧。阿巧是个年近三十的妇人，来自苏州，温婉可人，阿巧让胡雪岩十分迷恋，他花了好几千两银子，将她从青楼中赎了出来，千方百计地哄她开心，又是许愿做生日，又是带她逛西湖、赏荷花，甚至在打理生意的间隙，“偷得浮生半日闲”，亲自带她去珠宝商店挑首饰。阿巧随身带有一大包衣服，都是在认识胡雪岩之后添置的各种绫罗绸缎。可是，没想到的是，胡雪岩在带着阿巧去给当时任江苏学政的何桂清送礼时，美丽的阿巧让何桂清给看上了。何桂清旁敲侧击，要将阿巧留下来。没办法，胡雪岩哑巴吃黄连，为了傍上何桂清这棵大树，做长线投资，他不得不将自己心爱的阿巧姐作为一件礼物，送给了何桂清。
几年后，何桂清倒台，关进刑部大狱，阿巧看破红尘，出家为尼。尽管胡雪岩已大红大紫，但她并没有再找他去再续前缘。后来，胡雪岩在彻底破产中死去时，灵柩被停放在一处租来的房子里。据说，第一个赶来看他的，就是一个身着一袭青衣的法名叫靖安的尼姑。她就是阿巧。
轶闻
胡雪岩的父亲生意做得很小，收入微薄，雪岩的两个弟弟降生以后，家里吃饭的人更多了，本来就不宽裕的生活变得更加捉襟见肘。所以胡雪岩八岁的时候，就开始替人家放牛。有一天，他在野外放牛，碰到很多小伙伴，于是他就把牛拴好，跟伙伴们一起玩了起来。其中有一个小孩子，一不小心掉进了山沟，其他的孩子一看情况不对，都吓得跑回了家。只有胡雪岩沉着冷静，他慢慢摸索着下去，把那个孩子拉了上来，然后扶上牛背送回家去。当时，所有的邻里都赞扬他，说他机灵、勇敢，又有好心肠。
一次，胡雪岩的当铺里来了生意，客人拿来了所谓稀世珍宝——“商朝的古董”，出价三百两银子，当铺伙计收下了。晚上查账，胡雪岩知道了“商朝的古董”这码事，叫管事的通知全城的达官贵人，明天来当铺鉴赏宝贝，并备好筵席以示庆贺。第二天全城有名望的要员都到了，酒席摆好，贵客坐定。大伙都争先恐后地想鉴赏那个稀世珍宝“商朝的古董”之真面目。胡雪岩发话：把稀世珍宝请出来。伙计抱着宝贝走下楼，不慎一脚踏空，连人带宝贝滚下。“商朝的古董”被摔成碎片。顿时大伙大呼小叫：可惜可惜！胡雪岩把古董打碎的消息传遍全城大街小巷。第二天，当铺来了真佛——“商朝的古董”的主人拿着三百两银子，要赎回那古董，若是拿不出来那宝贝，就要加倍赔偿，否则决不善罢甘休！胡雪岩收下银两，确认银两无假，然后叫掌柜拿出那所谓的“商朝的古董”。“你，你，不是，不是已经摔了吗？”稀世珍宝的主人有点语无伦次。胡雪岩微微一笑说：“我摔的那宝贝比你这个更假！”
胡雪岩因为帮助过朝廷重臣左宗棠，与左交情颇深。日子久了，左宗棠为了表达对胡雪岩的感谢，提议带他去见慈禧太后。当时，慈禧是大清国的实际主宰者，对于一个商人而言，能够拜见她，是可遇不可求的机会。但是，慈禧又是个性格古怪、暴戾的人，胡雪岩富可敌国，身份颇为敏感，言谈举止稍有不慎，便有可能招致灭顶之灾。胡雪岩战战兢兢地跟随左宗棠来到紫禁城。慈禧早就听说过胡雪岩这个人，见面以后，就问他对时局的看法。胡雪岩实话实说：“现在国无宁日，民不聊生。”慈禧的脸色顿时阴沉下来，此时，左宗棠壮胆打岔：“我多次在太后面前提及你对朝廷的帮助，你对朝廷有什么要求吗？”慈禧面色缓和一点，也说：“是呀，宗棠常念你的好，你想要什么就说吧。”胡雪岩的脑袋飞速运转，刚才的话已经得罪了太后，现在必须弥补好，但要什么呢？高官厚禄，实非他想要的；如果什么都不要，显得太虚伪；如果随便要样东西，又显得轻视和敷衍太后。想了片刻，他声情并茂地说：“如今国家有难，我是个生意人，只想国泰民安，风调雨顺，好好做生意就可以了。”慈禧听后大悦，说：“果然是个深明大义的商人。”
胡雪岩善于发掘人才。严厚信少年时在上海小东门宝成银楼当学徒，后来他在生意中结识了胡雪岩。一次，胡雪岩在宝成银楼订一批首饰，严厚信亲自动手，做好后又亲自送去。胡雪岩给他一包银子，要他点一下。他说：“我相信胡老爷，不用点。”但是他拿到店里一数，却发现比应当付的银子少了2两。他不声不响，将自己辛苦做工的钱暗暗地凑在里面，交给了老板。过后，胡雪岩又来银楼定做首饰，严厚信送去之后又带了一包银子回来。可是这回一数，他吓了一跳，里面多了10两银子。10两银子相当于一个小伙计辛苦几年的工钱。严厚信于次日一早就到胡府将银子送还给胡雪岩，并告诉胡雪岩他不能收昧良心的钱。其实这两次都是胡雪岩在试探他，胡雪岩觉得这个伙计品格高雅，是块做大生意的料。不久，他便把严厚信推荐给了李鸿章。
评价
二月河：胡雪岩是悲剧时代的悲剧人物，当时太平天国运动正在进行，列强对中国进行着文化侵略和经济侵略，李鸿章和左宗棠推行洋务运动，各方面关系非常复杂。他这样一个绝顶聪明的人，在这样的历史背景下产生和发展，并且张扬自己，并且最终消亡下去。他这个人好接近又难惹，讲义气又圆滑，既不过分又不短分寸，他把孔子的中庸之道在为人处世上用到了极致。
余杰：百年之后看胡雪岩，如果还在津津乐道“经商要学胡雪岩”，那么我们很难建立起一个健康的商业社会来。胡雪岩的言行，不应该是我们学习的对象，而应该是我们批判的对象，对胡雪岩的批判，就是对皇权政体、专制政治、官僚经济的批判。是黑暗的社会造就了胡雪岩，而不是胡雪岩造就了他所生存的社会。胡雪岩本人，是一个悲剧时代的悲剧产儿。他的聪明才智及其对僵化社会的冲击值得我们肯定，而他的恶劣品质和卑鄙手段我们必须唾弃。胡雪岩诞生于“老大帝国，野蛮之乡”，他也只能诞生于“老大帝国，野蛮之乡”。