胡府修得很大，里面住的人却不少。胡雪岩为了收拢人心，渐渐将一些账房以及心腹管事请如胡府居住，并且请吴以同等有功名的人在门下当清客。人多了，自然有人多的好处，杨昌浚查藩库的事情，很快便传到了胡雪岩耳朵里。
胡雪岩深知官场之道，自然也不会因为杨乃武与小白菜一案的事情，将杨昌浚一棍子打死。此番杨昌浚前来杭州赴任，胡雪岩之所以没有赶去贺礼，一来是因为他深知自己受到朝廷殊赏全赖左宗棠一力举荐，更也要感谢京都中众官员的帮忙，这些人请胡雪岩自然是要一一谢过的。而来自从把香雪纳入自己怀中之后，胡雪岩突然感觉到了不一样的人生风情。
原本胡雪岩也在梨香院中当过账房，对于床笫上的风流之事也体验过不少，然则说到底了，也就是那么一回事儿，他并不十分的热衷。然则自从认识香雪之后，他突然觉得在香雪身上体验到了一种前所未有的情趣。每每香雪与他对坐之时，一个眼神便能够让他感觉浑身瘙痒难耐。
香雪本事大户人家的闺女，也不曾如烟花女子般学过勾引男人伺候男人的本事，然则一个女人的魅力或者就是天生的。红楼梦中的最放荡的多姑娘，与贾琏勾搭的尤三姐等人都属于这一类。当时闻名上海的赛金花更是此中翘楚。她们总能让男人感受到生命的躁动与蓬勃，在那一刻忘乎所以。
于是胡雪岩上京城应酬归来之后，便在上海又逗留了一二日。恰好来到上海商谈生意的刘不才获知胡雪岩金屋藏娇，当下便送上了几百帖“狗皮膏药”。
所谓的“狗皮膏药”并不是治疗跌打损伤的外伤药，而是一种较为温和却持久有力的“房中药”。刘不才本就是一个好赌的人，跟着胡雪岩发家之后，更是结交了不少喜好玩乐的朋友。其中有个苏州人，跟仙人的直隶学政洪均曾是同窗。
洪均最近便托他买妾，信中直言人生便应该及时行乐，娶妾就是为了快活。虽然贵为学政，是一省教育部门的最高长官，却也不用“不孝有三，无后为大”的言辞，不知道应该说是世风日下，还是说此人为人坦率。后来这洪均便纳了闻名天下的赛金花。
谈起洪均，刘不才那朋友颇有感慨，说他自己少年读书不成便创业，当时精力国人，就是没有钱，到后来苏日安有钱了，精力却稍显不足，姬妾满眼，广田自荒，说不定还会带上绿帽子，人生憾事，莫过于此。刘不才闻言之后大有同感，从那以后便时常留意上好的春药。
然而春药这种东西，性子烈了与身体有碍，性子温和了却没有多大作用。但是功夫不负有心人，经过多方打探，刘不才终于子啊北京鼓楼的一家小药店寻到了一种独家秘制的“狗皮膏药”，那膏药只壮阳，不伤身，药性王道，不必一般内服的春药，竭泽而渔一般的霸道。但是那家小药店的主人颇以售卖此中良药为耻，须得跟他有深交的人介绍，非那根刺啊能够获赠一些。刘不才人缘不错，多方努力之后，出重金购置了一批，一试之后果然不同凡响。返回湖州的路上途经上海，听说胡雪岩竟突然纳妾，便把一百多帖膏药悉数送上。
本来香雪这般浑身柔软的人子啊床上运作起来，年已五十的胡雪岩便消化不了。在上海待了两三天之后，便觉得步履虚乏，就要想着回杭州，正好也礼贺杨昌浚再次担任浙江巡抚。但是刘不才的膏药一到手，他便有些乐不思蜀了，在上海便又放纵了数日。
等回到杭州之后，杨昌浚已经上任十数天了。
胡雪岩觉得既然左宗棠看中杨昌浚，那么日后两人之间自然少不了要常打交道。现在两个人明明站在同一阵营却老死不相往来也不是个事情，便拟了日子，去拜访杨昌浚。然则杨昌浚收到拜帖之后也来了脾气，拒而不见。胡雪岩摇了摇头，只得等机会再想办法与之冰释前嫌。
杨昌浚却不以为意，准备好一干物证之后便打算追究胡雪岩的罪状。但是考虑到胡雪岩与左宗棠之间的关系，杨昌浚事先将这些东西给肃州的左宗棠送了过去。然而杨昌浚所书写的罪状条目，无非就是贸然行贿，挪用藩司存银这两点。
早在王有龄在杭州当知府的时候，杭州藩库的存银便悉数存在阜康钱庄，二十多年过来，藩库和阜康钱庄几乎都没什么分别了。以往因为胡雪岩后台小，时常还担心有人会说王有龄的不是，对王有龄仕途产生影响，同时也担心有人嫉妒，揭发自己挪用藩库存银的事情。然而现在胡雪岩身份日重，这种小事已经好不上心了。
杨昌浚也觉得胡雪岩虽然经常挪用藩库的存银做生意，但是并不曾拖欠利息，藩库周转之时去阜康钱庄提取现银，也从不曾有过拖延。而且现在浙江漕银税收早在黄宗汉时期便已经全数归纳在阜康钱庄名下交付发放，日久已成定例。此时说出来似乎也不是多大的罪状，然而杨昌浚也别无他法，列完罪状之后杨昌浚觉得这些似乎不够，即便是自己发泄完之后，以胡雪岩的身份，自己也不可能将之看押大牢。便又在末尾说了许多胡雪岩的坏话，说他奢靡浪费，不体百姓辛苦，用钱挥霍无度云云，想让左宗棠对胡雪岩生出一些嫌隙来。
然而左宗棠看到杨昌浚的来信之后，颇不以为意。觉得胡雪岩自己白手起家，赚下这么多钱全是个人本事，想怎么花就怎么花，别人哪里管得着？再说挪用藩库存银，又不是盗窃，每年光回反的利息就有近万两，有什么不好的？胡雪岩虽然挪用公款，但是前年西征，自己也逃了不少腰包，为了尽快在张家口给自己买马，甚至把张家口的一家当铺都给卖了还钱。在这个世道上，有心为公便是极好的，怎还能苛求一举一动都在规矩之下呢？若真是如此要求，别说是胡雪岩，就是自己也是犯罪的。现如今朝廷的满人军队疲弱无力，不论是平定长毛、平定捻匪还是平定新疆，所有的主力部队都是各地官员自己拉拢的，说是私军也不为过。湘军听曾国藩的，淮军听李鸿章的，楚军听自己的，兵部要是换个人来代军，根本就只会不了。这种情况在不仅在史书上从未见过，就是放在现在也是违反大清律例的。但是朝廷不能打仗，也只能让能打仗的人去打，不然有什么办法？现在这大清朝，只能不拘一格了，那些规矩都是给人看得罢了。
左宗棠于是给杨昌浚回信，说一个人的享用，必然要与自身的身份地位相匹配。胡雪岩的功劳，很少有人知道，所以大家多有批评他贸然领功不知轻重。胡雪岩的功劳他自己知道，西征军能有今日，全亏了胡雪岩。现如今胡雪岩享用稍过，也问心无愧。在信上，他又列举自己的儿女亲家，也就是左宗棠生平第一知己陶粒澍。在两江总督任上的时候，他的女婿胡林翼，以翰林在江宁闲住，每天选歌征色，花的都是老丈人的“养廉”，内账房又一次想陶澍表示说胡林翼挥霍无度，是否应该稍加节制？陶澍告诉他说：“尽管让他花去！将来他是要为国家出力的，到了那个时候有钱也没有功夫去花。”最后左宗棠定论说道：“胡雪岩跟胡林翼的情形虽然有所不同，但是个人的享用比起他们为国家所谋的大利来，是微不足道的。”
杨昌浚得到来信之后，心里十分郁闷。当初胡雪岩一个劲儿地帮着杨乃武打官司，你怎么不给他写信让他对我放一马？
左宗棠的话辗转到了胡雪岩耳朵里，胡雪岩十分的感激。但是罗太太却警惕起来。以往她为了争一口气，大肆修建房屋，此时此刻已经越来越多的人开始说胡府的奢靡，越来越多的人开始指摘胡雪岩的不是。作为胡府的当家，罗太太自己也是清楚的。
现在正值胡老太太七十大寿，胡雪岩要大摆筵席，光是已经定下来的，便不是一桌两桌，而是七县七夜。摆宴席的地方就有七个，分布在杭州不同的地方，而且要一连进行七天。一向好面子的罗太太也觉得这次面子摆得有些太大了。便劝胡雪岩能不能收敛一些。
胡雪岩笑道：“现在知道什么叫树大招风了吧？只是现在收敛已经迟了，我只问你，怎么收敛？”
罗太太一时便无言以对了。因为胡雪岩从钱庄起家，生意做的这么大，所凭借的全是信用。而新用是建立在大家对胡雪岩的信任之上的。现在市面上流通的阜康钱庄的银票，早已经超过了阜康钱庄的真实存银。
胡雪岩这么多年苦心经营，虽然赚了不少钱，但光是维系各处的关系，便要耗去每年赚银的一半。而且各处生意之中多有火耗，胡雪岩自己也想不出好的办法来整治。罗太太每次听到刘金厚来报账，心里都是心惊肉跳的。
但是胡氏的生意却依旧蒸蒸日上，每天来阜康存银的人数不胜数。之所以如此，便是大家对胡雪岩信任，觉得即便浙江所有的钱庄都倒了，胡雪岩的阜康钱庄也不可能倒。信心不是一蹴而就的，是胡雪岩苦心经营出来的。从黄宗汉在任时期胡雪岩带头认领宝钞开始，胡雪岩就开始一步一步建立大家对阜康的信任，二十多年经营才有了现在的局面。
到现在，都知道胡雪岩富甲天下，胡雪岩越发得做出富甲天下的样子。不论是什么场面，都只能大而不能小。否则只要有人无意之中说一句：“胡大先生现如今也不必从前了。”便会引来无数的猜测，原来有仇恨的，无冤无仇但是嫉妒胡雪岩的，都会从中推波助澜，大幅那感觉此，到那个时候胡雪岩苦心经营的信任便会荡然无存，到那个时候，后果不堪设想。