胡光墉发迹之后，随着他的财富的膨胀湖光墉的生活愈加荒淫无度。首先他广修宅院在上海和杭州都建有豪华住宅，式样多仿西洋建筑，稍有不满意，就拆了重建。他在杭州的宅院穷尽富丽，“以碗砂捣细涂墙，们之有棱，可以百年不朽”。宅内花园，遍植奇石花木，奇物珍品应有尽有。《一士类稿·一士谈苔》中载：“文石为培，滇铜为砌，室中杂宝诡异至不可状。”宅内辟有“仙人洞”，专供避暑之用。形状如地窖差不多，内设桌椅床榻之类，每当盛夏，到里面避暑，穿戴厚重亦不觉热，颇为神奇。胡败亡后，“贾商贩竖挟胡氏物出售者，其类不可胜数，无不显其奢丽。其屋上雕搂，室中几案，院内树石，每易一主，辄迁移随去，至于清亡而未已”。
胡光墉喜欢收集古董，因为他出手阔绰，所以门庭若市，对登门求售的古董胡光墉也无暇鉴别，只捡价高的留下。他的厅室之内四壁全摆满了古董，都是秦汉时期的文物，每件都值千金。一次，有人上门以铜鼎出售，开价八百两银子，还说以实价售，并不赚胡光墉的钱。胡光墉便认为此人小看自己，很不高兴，说：“你在我这里不赚钱，还要到哪里去赚钱？’湖光墉如数付钱给此人后，让他快快走人，告诉他以后不必来了。胡光墉每天早晨醒来后，总让人用翡翠盘子盛青黄红白黑各色宝石若干枚，凝视赏鉴一时许，才起床洗漱，他称此为“养目”，时人诧为奇闻。
胡光墉最是好色，妻妾成群。胡光墉经常微服走街串巷，看见有姿色的女人就让门客访明住址姓名，派人上门说合，答应除身价任索外，还给她的父亲或丈夫或兄弟美宅一处。于是那些没有志节的女人，卑劣贪财的男人，无不惟命是从。如此多的妻妾，胡光墉在宅内设数条长巷，诸妾各居一室，以次居住其中，像皇宫的永巷一般。胡光墉也模仿皇帝的做法，把所有妻妾的姓名写在牙牌上，每晚要哪个女人陪着睡觉，事先由婢女用银盘盛上牙牌，他随手拈上一支，婢女就按牙牌上的姓名呼妾侍寝。每逢花晨月夕，胡光墉必令妻妾们穿戴整齐，连翩而坐。妻妾们为了争宠，一个个打扮得花枝招展，胡光墉像一只花丛中的蝴蝶，畅游其间，甚以为乐。他还经常忽发奇想，以妻妾们为乐。据说胡光墉曾让诸妾们穿上红蓝马甲，上写车、马、炮等字，充当棋子，以杆指挥，称为下活棋。胡光墉想怎样玩就怎样玩，只要不能遂其心愿。必加以报复。有一次胡光墉经过一个成衣铺，见一女孩依门而立，身材苗条，颇有几分姿色，便停住脚步盯着女孩看。女孩发觉后立即掩门而入，胡光墉便大为不满，心想别的女人争着投怀送抱，你竞不让我看，我一定要看个够。回家之后，胡光墉立即派人上门与她父亲提亲，要纳这个女孩为妾，开始她父亲还不同意，但七千文钱放到面前时便同意了。胡光墉择日迎娶，大宴宾客，酒宴散去又入洞房独饮，醉后令该女孩脱光衣服，裸卧床上，命一仆人持巨烛侍立一旁，胡回环审视，抚着胡须大笑说：“上次你不让我看，今天如何？”羞辱一番以后，匆匆而去。第二天早晨派一老婆子告诉该女：“这里位置已满，没有地方安置你了，房中东西可以拿走，改嫁他人去吧。”胡光墉竞用此恶毒手段伤害一个黄花姑娘，可谓伤天害理。不过该女带走房中的东西也值两万多两银子，回家之后其父靠这些银子起家，遂成巨富，这也算是一种补偿吧。
胡光墉家中有着这么多的女人，犹嫌不足，仍时常出外寻花问柳。他曾故意穿着破衣服到一家妓院寻开心，看看没钱的样子会受到什么样的对待。果然这个妓女不识“活财神”的面目，该妓女把他当成了穷鬼，轻慢无礼，惟有一老妪殷殷与之交谈，胡光墉感慨不已，坐一会儿就离开了。第二天让人送给老妪两个蒲包，打开一看却是黄灿灿的金叶。那个妓女后悔自己没眼光，让老妪登门相请，胡光墉捻着胡须默不作声，只是晒笑而已。胡光墉耽于女色，身体亏虚，精力不济，要经常服食春药。一般春药多是煎剂或丸药之类，副作用较大，长期使用容易引起其它疾病。有人给他推荐北京一家药铺特制的狗皮膏药，用时只需贴在涌泉穴上，药性不经脏腑，没有副作用，胡大喜过望，每年派人拿数万两银子入京监制，以供一年之用。
胡光墉办事很讲排场，偶一出游，车马塞途，仆从云拥，观者无不喷喷称羡，称为神仙中人。胡光墉看戏时，给名角赏钱时更是出手阔绰。当时周凤林初次登台，胡光墉给他捧场，命人用筐盛银千两，倾之如雨，时人叹为观止，几十年来无人能继其后者。胡光墉对仆人也常给重赏，他的轿夫跟随他久了，也拥有巨资，家里还养了奴仆。每夜轿夫执役后回到家里，婢仆们群呼：“老爷回来了，快烧水洗脚。”一个轿夫而至于此，也是千古奇闻。
胡光墉知道自己树大招风，故常做些善事以笼络人心，博取名誉。他常于冬天在杭州施舍乞丐，每人给棉衣一件，钱二百文，“一时托钵之流，颂德不置”。左宗棠攻占杭州时，命他主持善后，他开始设粥厂，设难民局，继而设善堂、设义塾、设医局，修复名胜寺院。《庄谐选录》中称“凡养生送死，赈穷恤贫之政，无不备举”。胡光墉的胡庆余堂药房也经常送药周济穷人。左宗棠收复新疆过程中，许多将士生病，胡光塔主动捐药给前线将士，他的飞龙夺命丹疗效最好，左宗棠还写信要他多生产一些，转送西北。晚清名士李慈铭虽对胡光墉的品行多有微词，但也承认他“颇为上惠，置药肆，设善局，施棺衣，为姬弼，时出微利以饵杭(州)士大夫，士大夫尊之如父，有翰林而称门生者”。同治十二年(1873年)四月，左宗棠在请赏道员胡光墉母匾额折中说：“同治十年，逢伊母胡金氏之命，以直省水灾较广，捐制棉衣一万件。嗣复添置棉衣五千件，并捐牛具籽种银一万两，以津郡积潦未消籽种不齐，续捐足制钱一万串，以助泄水籽种之需。”光绪四年(1878年)三月左宗棠在为胡光墉请赏的折子中，再次列举了胡光墉捐资赈灾数目，共捐实银五万两解陕备赈。捐江苏沐阳县赈物制钱三万串。捐山东赈银两万两、白米五千石、制钱三千一百串。又捐新棉衣三万件。捐山西赈银一万五千两，并捐河南赈银一万五千两。捐赈各款合计银钱、米价、棉衣及水路运费，总计在二十万两以外。胡光墉因此博得慷慨好义的美名，李鸿章亦曾上折要求朝廷准许“赏给匾额一方”，“以为好善乐施者劝”
胡光墉救贫赈灾，博得乐善好施的美誉，出手阔绰，挥金如土，人们把他当做活财神。但是，随着左宗棠在西北战事结束，胡光墉通过筹饷购械从中牟利的机会大不如前，他挥霍的钱财多来自于钱庄银号，内空已经很大，表面繁荣的背后，已隐藏了巨大的危机．他庞大金融帝国就像一座位于休眠火山之上的冰山，火山一旦爆发，庞大的冰山会在顷刻之间化为乌有，结果火山很快爆发了。
四
十九世纪后期，西方列强又开始了对中国新一轮的侵略。光绪九年(1883年)，法国为了打开中国西南大门，挑起了中法战争。法国军舰在我国东南沿海游弋，一度驶抵吴淞口，扬言要进攻上海的江南制造总局，清廷大为紧张。上海更是人心惶惶，富有之家纷纷逃离，人们开始挤兑现银。由于当时上海银根奇紧，从而诱发了金融风潮，很多银号店铺接踵倒闭。以胡光墉的财力渡过危机似乎应该没有问题，但是几种因素集中在一起，终于一败而不可收。当时中国与外国贸易的主要商品是蚕丝，江浙及其附近地区是中国蚕丝主要的产地，胡光墉几乎垄断蚕丝贸易，他每年在各地尚未缫丝之前全部买下，外国人只能通过胡光墉买丝，否则一根丝也买不着，以垄断丝市牟取暴利。外商大为不满，他们便联合起来对付胡光墉，相约一年不买丝，结果胡光墉蚕丝积压太多不能出手，挤占了大笔资金。手头资金周转本已不灵上海道邵友濂又乘机倾轧，将本应交付的西征饷银强行扣下湖光墉更为窘迫，待上海挤兑之风一起，迅速蔓延至杭州。为了挽救阜康，杭州挤兑风刚开始时，浙江布政使德馨即从藩库中提取现银两万两，赶到阜康银号，凡是提款不足一千两的全部兑付，但此举并没起到多大作用，没能制止事态的发展。而且上海的储户也赶来杭州提款，一时无法兑付，管事的人就躲到宁波去了，挤兑风愈演愈烈，阜康再也无法支持下去了，遂于十一月中旬倒闭。胡光墉已知大势不可挽回，秘密派亲信到各店号，把各号的账控制起来。又开始遣散妻妾，许她们每人可以带走各房中细软两箱，此外概不准带，又给每人银两千，当夜即走，一任所之。接着便赴南京见左宗棠，告以实情并商量善后事宜，且说：即今早做打算，除能保住公家的款项外，私债(当然指的是王公大臣的存款)尚可按折扣还，再返则公私两负了。征得左宗棠许可，即日发电报给各省银号同时关闭，胡光墉一生的事业彻底崩溃。
胡光墉的银号钱庄曾是当时信誉最好的，所以，不管是王公大臣、豪绅富商，还是市井平民，有钱都存在胡氏银号中，特别是朝中权要、各省大员以私款托存的不计其数。破产后“京朝外省追债之书积可以丈尺计”，胡光墉事败的消息官场中最先得到，官场来索要存款的亦最早，有些是亲自来的，有些是派人来的，沸沸扬扬，集于一堂。先前管账的人知道此事难办，早就不知跑到何处躲起来了，大家摸不着头绪。正在吵嚷之时，忽听左宗棠到了，众人也不敢喧哗。左宗棠就按本所记亲自查询，这些官员这时都嗫慌不敢直对，有些本来存了十几万只敢认一两千，大概这些存款都是贪赃枉法所得，怕被追查存款的来源惹不必要的麻烦。左宗棠也将计就计，提笔为其涂改，不一刻数百万存款仅以三十余万了之。确有一些官员因追讨存款招来很大麻烦。协办大学士刑部尚书文煜在阜康银号存银七十多万两，暗托浙江布政使德馨代为追讨，给事中邓承修上书弹劾，要求文煜说明财产来历，朝廷令其详细回奏，文煜“以历任海关监督、福州将军等优缺廉俸所人为对”，并表示愿意拿出十万两贡献朝廷，才被免于追究。而前驻藏帮办大臣锡缜就没那么幸运了，他有一万多两银子存于阜康银号，大概是消息闭塞，他知道阜康倒闭的消息太晚了，眼看钱也要不回来了，便上奏朝廷，请将阜康银号存银报捐八旗官学用款，结果弄巧成拙，被皇帝斥之为“所奏殊属取巧，着将原折掷还”。给事中郑博元弹劾锡缜在户部时与姚觐元等表里为奸，家称巨富，请求派员查参。皇帝降旨“将锡缜交部严加议处”。不久下谕：“锡缜着照兵部议降四级调用，并折罚所兼世职半俸九年”。像锡缜这样弄巧成拙的毕竟少数，官场中有权有势者，暗中托要员为之料理，即使索不回银子，也搞到胡氏的房产店铺、珠宝、古玩等抵偿，不致有太大损失。但无权无势者就惨了，“各善堂、各行号、各官民之存款，则皆无可追索，相率饮恨吞声而已”。最倒霉的是个和尚，一年以前，他拿着五百元钱欲存入杭州的阜康银号，伙计因他是个和尚不好记名，拒而不纳。和尚在门外敲了三天三夜的木鱼，碰巧胡光墉路过，问明情况以后答应给他存入。银号倒闭时和尚来取款，自然得不到，他又在门外敲木鱼不止。店里的伙计笑着对他说：和尚你先前用三天三夜把钱敲出来，今天想用三天三夜把钱敲出去，不可能了。不得已以妇女衣裤折价相抵，和尚拿着这些东西流泪道：“僧携此他往，诚不知死所矣。”挥泪而去。类似情形不胜枚举。
胡光墉破产后，户部尚书阎敬铭即上折弹劾他亏损军需，要求将其革职查办，追索欠款。胡光墉提前得到朝廷要查抄的消息，便把所有姬妾全部遣散。胡光墉一早把诸妾召到大厅，并让她们都锁好自己的门，然后每人给五百两银子。让其赶紧离去。那些梳妆打扮好了的，珠翠首饰亦可值数千两银子，没来得及梳妆的，除五百两银子，只有身上的几袭罗绮而已。未几，谕令下：“现在阜康商号闭歇，亏欠公项及各处存款为数甚巨，该号商江西候补道胡光墉着先行革职，即着左宗棠提该员严行追究，勒令将亏欠各处公私等款，赶紧逐一清理。倘敢延不完缴，即行从重治罪。”并问胡光墉有典当二十余处，分设各省；买丝若干包，值银数百万两，存置浙省，着该省咨行该省督抚查明办理。次年夏，朝廷又令浙江地方官员“将胡光墉侵去西征借款行用、补水等十万六千七百八十四两，于该革员备抵产业内，迅速变价，照数措齐”，限期“解交甘肃粮台备用”。所谓“行用”指借款经手人所得回扣，“补水”指因归还借款之因成色不足而补贴的银两。在当时这属正常开支，并由左宗棠批报了，朝廷时过多年之后又追索这笔开销，实在过于苛刻。左宗棠及当时署理两江总督曾国荃都上书极力为胡光墉辩解，请求朝廷免于追究，但均被驳回。
胡光墉被革职抄没之后，昔日富贵，烟消云散，光绪十二年(1886年)秋，郁闷落魄的胡光墉怅然逝去。其母随即而亡，丧仪冷冷清清，不仅使人想起她的七十大寿是多么的隆重，“西湖云林寺自山门至方丈房，悬挂称寿之文，几无隙地”。官绅、亲朋前往祝寿者络绎不绝。繁华过后成一梦，时间仅隔不足一年，时人皆比之于《红楼梦》之史太君。
胡光墉的破产对当时的社会产生了巨大的影响。他所开办的银号、钱庄相继倒闭，全国的金融业无不受到波及，凡与阜康有业务往来者，自然在劫难逃，基本也都倒闭了，即使与阜康没有业务往来者，也大伤筋骨。在北京：“内城钱铺日四大恒者，京师货殖之总汇也，以阜康故亦被挤危甚”。“以今日闻四大恒号将闭，山西人所设汇局皆被挤危甚也”。在上海：随着阜康的倒闭，大部分钱庄、银号都倒闭了，没有倒闭者也元气大伤，当然，胡光墉的破产对江浙地区经济的打击最大，胡败后商务大为减色。有人认为，胡破产给江南经济带来的打击不亚于庚申之劫(指1860年太平军攻占苏南、浙江诸府县，围困杭州)。
胡光墉以一红顶商人的身份出现，其贪污钱财更加隐蔽。然其骤然崛起，又忽而破灭，也使其颇具传奇色彩，成为晚清官场一奇谈。