以，他也不能免俗。
林柏欣元配赖元芳，乃大家闺秀，其祖父是香港大学中文系的创办人赖际熙。赖元芳与林百欣同年，两人20岁结婚，先后生下长子林建明和长女林淑英。然而这位与他同甘苦的妻子，却没能与他共富贵。
随着林柏欣的生意越做越大，他逐渐开始对结发妻子赖元芳心生厌烦，于是五十年代初又娶了一房，正是香港老牌纺织王余庆安的女儿余宝珠。
林柏欣并通过婚姻从余庆安处继承了数间制衣厂及大量产业，兼之余宝珠打小耳熟目睹，在商业上对林有颇多帮助，因此自她过门之后，林柏欣对她百般宠爱，最终导致60年代初赖元芳便与他协议分居，这一分就是十多年。