常言道：“害人之心不可有，防人之心不可无”，此话是教导人们为善不为恶，同时告诉人们要时时提防恶人伤害自己。这是因为，在我们的身边，有君子也有小人。圣人云：君子坦荡荡，小人常戚戚。为人处世，做官经商，绝对不可不防小人，切不可总是以“君子之心度小人之腹”。胡雪岩一生中，在如何识别小人、防范小人这一方面做得极为不够，这也导致了他辛苦经营几十年的事业大厦，为小人所毁，所有功名化为灰烬。
胡雪岩一心向善，为人过于仁义宽厚，以至于不辨是非好坏，认为世界上根本没有小人，从而导致了用人失察等一系列可以使他置于死地的错误。
古应春在胡雪岩收服朱福年之后，曾对胡雪岩说过这样一段话：“不是的，只说朱福年好了。庞二虽有些大少爷脾气，有时讲话常常不给人留情面，到底对手下仁慈宽厚，非别的东家可比，可是朱福年还是有二心。只是遇小爷叔你，才能够感化他，化敌为友，服服帖帖，这就是你的大本事。”
这是古应春发自内心赞佩胡雪岩说的一段话。胡雪岩久历官场、商场的种种险恶，的确有一番收服人心，化敌为友的社交才能和本事，这也确实是胡雪岩能够纵横商场，把自己的生意越做越大的重要原因。
但胡雪岩在看人、用人的问题上，也并不是没有值得挑剔和可以批评的地方。有道是人非圣贤，孰能无过。从某种意义上说，胡雪岩也存在着看人、御下过于宽容宽厚的毛病。看人多看优点，用人用其长处，不以恶意度人，尽量将人往好处看。从为人处世方面说，体现了一个人的仁厚和胸怀，从聚揽人才方面说，也确实可以为自己招揽到很多做事的帮手，这无疑是优点。在看人用人的时候，除了多看优点外，还要看到人的弱点、缺点。否则看人只看优点，忽略或者不去注意他的缺点，往往会产生不良后果，那就容易放纵小人。由于对小人的失察和放纵，必然给自己带来极严重的后果。
胡雪岩曾经说：“我看人总是往好处去看的。我不相信世界上有坏人。没有本事才干坏事，有本事的人一定做好事。既然做坏事的人没有本事，也就不必去怕他们了。”这段似是而非的话，暴露出来的也就是胡雪岩的一个致命弱点。正因为胡雪岩性格过于善良，不相信世界上有坏人，自然在待人接物时也就总往好处看人，而总往好处看人，也自然就难以发现也不可能发现小人。更糟糕的是，一旦抱定一个做坏事的人没有本事因而不可怕的宗旨，也就必定不向小人设防了。
一旦不对小人设防，就有可能随时会遭受小人的伤害。
胡雪岩就是受小人之害最严重的一个，比如他钱庄的最后倒闭，一半是因为时势，一半也是受那位曾一度为他视为心腹却暗中一心想着自己也有一番“鲜花着锦”的事业，却拿本家的银子“做小货”的小人宓本常之害，宓本常侵吞了几十万两银子，在其危机当头之时，还处处作梗，更使胡雪岩雪上加霜加快了破产的速度；比如他的相当繁荣、相当庞大的典当生意——他的典当一年的收入按“架本”估算，至少可达四十五万——却没有为他带来太大的实际收益，就是因为为他委于重任的那帮类似于小人唐子韶之类的“徽州朋友”的肆意侵吞。