做出了决定，跑到人市上将自己卖到了一户姓陈的人家做下人。他头脑聪明又读过书，很快便成了陈家人的心腹，开始帮着陈家打理家事。陈家一家子全是大烟鬼，自上到下没一个人不抽大烟的，见胡管事可靠能干，便彻底撒开了手。胡冠仁如鱼得水，很快便混出了一些名声，便有其他看到他的人家来挖角。胡冠仁觉得陈家不是可以能长久倚靠之人，收拾了东西细软不告而别，奔去了另一户人家当起了管事。陈家人后知后觉，拿着卖身契约去找胡冠仁。谁知胡冠仁早就想到了这一招，当初签订卖身契约的时候，是以他兄长的名字签的，这会儿他咬死了不认，陈家也没有办法，扬言要去告胡冠仁。胡冠仁奔赴的新东家可比陈家显赫多了，不然胡冠仁也不能想也不想地跳槽，他听了陈家人的话后丝毫不怵，冷笑着让他们随便去告。陈家也没有硬气的人，本着多一事不如少一事的态度息事宁人，自吃哑巴亏，这件事儿最后也就不了了之了。
胡冠仁在新东家干了几年，风头日盛，不过因为出身不高，虽然诗书满腹，但行事的手段却不怎么光彩，为达目的无所不用其极，伤天害理的事情也做得多了。凭借着巧捷万端的头脑和不择手段的谋略，胡冠仁很快便让新东家在上海滩有了一些小小的名气，胡冠仁也水涨船高，走到哪里都能听到别人恭恭敬敬地叫一声胡管事。后来不知怎么就被白老太爷听到了他的名声，便把他纳入麾下收到了白家。胡冠仁本身就是个唯利是图的人，有了白家这棵大树，头也不回地把东家抛在了脑后。当时白老太爷也正年轻，身边却没几个可靠能用的人，听说了胡冠仁之后，便把他弄到了白家，但白家人口众多，胡冠仁就像鱼入大海一般，毫不起眼，根本无人注意。起初是一个最末等的管事，但胡冠仁是个善于钻营之人，没用几年就小心翼翼地爬了上来，彻底成为了白老太爷的心腹。白老太爷对他也格外的倚重，还把白元裴生母身边的丫鬟嫁给了他，不过不知道是不是做多了缺德的事，胡冠仁一直没个一儿半女，等到了这把年纪，妻子也死了之后，他什么都看开了，就准备好好为白老太爷做事，能留在白家养老。
因为他对白老太爷的事非常的尽心，白老太爷遇到什么事都喜欢和他商量，他也总能给出一些别人想都想不到的意见。
胡管事蹑手蹑脚地走了进来，笑嘻嘻地凑到白老太爷的床前道，“老太爷，您身子怎么样了？穆老大夫马上就过来，您再耐心等等……”
白老太爷不等他啰啰嗦嗦地说完就不满地瞪了他一眼，“老东西，你少在我面前装傻充愣的，我没工夫在这儿和你打马虎眼。治哥这件事儿你怎么看？”
胡管事笑了笑，“老太爷，您心里明镜似的，干什么还问我呢？治少爷这么点儿的年纪，怎么可能离得了母亲？就是三少夫人无论如何也不会答应的。治少爷将来是要继承三房家业的，三少夫人怎么可能不将他带在身边呢？毕竟三少夫人肚子里这一胎，是儿是女还不一定呢。”
胡管事点到为止，没有继续往下说。但白老太爷心里却一清二楚，如果唐氏肚子里这一胎是个儿子，那么三房就多了一个指望，治哥将来也多了一个帮手。但若是个女儿，治哥就是三房唯一的指望，唐氏肯定会把他带在身边，不会假手于人照顾的。
毕竟出了这么多事，白家内房的人唐氏一个都信不过，包括白老太爷本人在内。不然她也不会当众提出把三房的产业交给白元则那一房来打理了。