胡雪岩作为晚清时期一代著名的红顶商人、全国首富，就算是后来倒台，还是被人们津津乐道。名声流传到了现代，人们对这名红顶商人的一生念念不忘。毕竟，他的奋斗史和落败史，都极富有传奇色彩和戏剧性。
胡雪岩出生于1823年，他的家在安徽省徽州的一个穷旮旯里。因为家里连自己的地都没有，胡雪岩小时候和朱元璋一样，是靠着帮地主放牛为生的。1835年，胡雪岩的父亲去世时，他才12岁，本来就饥寒交迫的家顿时破碎，他开始了流浪生活。
不过，胡雪岩没有朱元璋那么惨，杭州粮行、火腿商行见他机灵，都曾让他当过伙计。后来他还去钱庄当过学徒。胡雪岩很会办事，学得又快，深得阜康钱庄于老板的赏识，而后他又成为了于老板的养子。
1842年，于老板去世，价值5000两银子的钱庄就归了才19岁的胡雪岩。胡雪岩将钱庄的生意越做越大，有幸认识了王有龄，雪中送炭了一把。而胡雪岩也是因为他才和官场、军界搭上了线。
人到青年，胡雪岩也就只有一个正妻陆氏，她也是贤惠能干，婆婆对自己的儿媳妇也十分满意，只是苦了她没生下半个儿子。胡雪岩本来是个“妻管严”，但是30多岁的时候因为在生意场上得势，在家中有了地位，突然开了窍，一定要娶一个名叫芙蓉的小妾。
纵使陆氏使出了“一哭二闹三上吊”的本事，也没能阻止丈夫纳妾，不过经历了此事后陆氏也就认了。毕竟古时候女子的地位低下，她没有生出儿子来继承家里的财产也是理亏的。只是陆氏这一放手，胡雪岩的“色狼”之称便闹得满城皆知。
从35岁娶第一个小妾开始，胡雪岩犹如饿狼一般，变得不可收拾。他一边在左宗棠手底下办事，一边花钱如流水，只为寻欢作乐。《见闻琐录》中记载，胡雪岩荒淫无度，爱好美色。只要是被他看上的美女，不管人家身份如何，聘礼多大，他也从不计较。
而且因为强抢民女，他还闹出过命案。当时，他看中一家店铺老板家的女儿，眼睛直勾勾地都挪不开眼。店铺老板知道胡雪岩的身份，也同意了将女儿送去做小。但是女孩不乐意，毕竟自己出身良家，她宁愿嫁给普通人家，也不愿做妾，当场就上吊自杀了。
女孩成为了烈女，胡雪岩却有官场上的人帮忙，非但没有受罚，反而还因为这些“花边新闻”，名声更甚。胡雪岩成为朝廷钦点的红顶商人后更是嚣张跋扈，一般都说他共有十三个小妾，还被称为“杭州十三钗”。
但事实上和他风花雪夜过的女子不知有所少，那“杭州十三钗”也只是他在到台前最后剩下来的罢了。很多女子都是被胡雪岩接进家门后，一夜就被一两百两白银打发赶走。1883年，胡雪岩被查抄的时候，妻妾全部散尽，最后只有四房罗四，陪他度过余生。
按理来说，胡雪岩也在官场摸爬滚打这么久了，作为一个商人，怎样办事才对自己有利他应该知道。能爬上二品大官的位置，那么再怎么好色，也不会到这么明目张胆的程度。所以才有专家提出了不同的看法，也许是胡雪岩家里并没有那么多钱。
他深知自己的钱财靠的是官商合作，有人庇护才得来的，而他在民间并没有那么大的声望。为了能够快速地积累资金，他必须做出有钱的假象。能迅速给自己造势，并且被百姓嚼舌根的就是风花雪月的事情，所有他才会以夸张的方式纳妾，一夜之后又毫不在乎地赏钱赶走。
这种说法想来也对，想想继胡雪岩之后的全国第一富商盛宣怀的名气就一直上不来，尽管他创下了11个“中国第一”，但风头还是盖不过胡雪岩。反而是他家族中后人为了遗产争得头破血流的事情在全国引起了轰动。