杜月笙本是个迷信风水的人，一听这话，便不再去动父母的棺材，任其继续遭受风吹雨打。直到杜月笙在高桥镇前无古人地建起杜氏宗祠后，也没有把这两具灵柩下葬。
且说张氏带着杜月笙草草浮厝了杜文卿的灵柩后不久，又回到了杨树浦，自立门户，继续开杜文卿遗留下的米店，以资度日。
1893年，杜月笙6岁，张氏又勒了勒裤带，让他进了一家私塾，启蒙读书。这一年3月，刮了一场巨大的西北风，风中夹着冰雹，大者如拳，小者如豆，使上海周围的麦苗损伤严重。
1894年，中日甲午战争爆发，中国战败，半封建半殖民地的进程进一步加剧。张氏所苦苦撑着的米店，终于再也无法维持，只好关门停业。她带着7岁的杜月笙又回到了高桥镇。
杜氏老宅还在那里，只是更加破败了，但不论如何，容身还是可以的。不过，生活费用全无着落。
张氏是一个坚强的女人，她起早贪黑为人洗衣服，赚几文钱，聊以度日。境遇尽管如此艰苦，张氏还是节衣缩食，每月拿出5角钱，送杜月笙到另一家私塾读书。一连读了三个月，到第四个月月初开始必须缴费时，张氏实在拿不出钱来，她抱着杜月笙痛哭了一夜。第二天，杜月笙只好辍学。
杜月笙在杨树浦读了两个月私塾，在高桥镇又读了三个月私塾，加起来，共是五个月。所以，后来他对人们谈起，总是说小时候只读过五个月的书。
厄运接着又来了，第二年，即1895年，爱杜月笙如同己出的继母张氏又失踪了，没有人能够知道她去了哪里。
继母神秘失踪，杜月笙不但无人照料，而且连饭都没有吃的。
住在杜氏老宅另一边的是堂兄杜金龙，他是学徒出身，整年在上海滩上做生意，一年难得回家几次。堂嫂一人带着几个孩子，日子本身缺米少盐，根本不愿照顾杜月笙。
杜月笙饿极了，只好哭哭啼啼，找到了外婆家。
外婆是他的生母朱氏的母亲，对这个孤苦伶仃、饥寒交迫的外孙自然十分疼爱。
杜月笙暂时安定了下来。
杜月笙13岁时，结交了一帮朋友。那是一群游手好闲的少年，被镇上大人视为野孩子。他们有的偷，有的摸，有的赌。在他们的带领下，杜月笙开始偷偷地把自家老屋里的东西拿出去卖掉，再用这些钱去赌博。坛坛罐罐、桌椅板凳，只要是能换钱的，他都敢拿。偷卖杜家老宅的旧物使他可以继续去赌，到后来，这赌钱就真成了杜月笙一生的嗜好。同时，从小就在赌场和赌徒们混在一起的杜月笙，切身体会到赌徒欲罢不能的心态和赌局坑人钱财的规则。后来，在上海，杜月笙的赌场不知从三教九流、五行八作的欲罢不能者身上吃进多少钱财。
赌钱，永远是输多赢少，否则赌局就无法维持，所谓“十赌九输”就是如此。但少年时的杜月笙也有过一次可观的胜利，只不过这胜利消失得太快了。
一天，杜月笙用老宅里的一杆秤当了15个铜板，又走进了一家赌场。这一次他的手气出奇地好，连押三次宝都赢了，结果工夫不大就赚了75枚铜板。杜月笙兴冲冲地花30个铜板在小饭馆里要了一桌酒菜，在饱餐之余，杜月笙突然就明白了一件事，那就是：只要人聪明、办事得法，再加上运气，就会有“一本万利”的事，既然可以有“一本万利”的事，小瘪三也完全可以在短时间内迅速飞黄腾达，成为“人上人”。这对杜月笙来说无疑是一个惊人的发现，而杜月笙超过许多人的地方就在于他会以最快的速度把自己的发现运用于实践，而且绝不怕头破血流。
吃完饭，杜月笙怀揣着另外那45枚铜板，又来到那间赌棚。他迫不及待地要验证自己的发现。但这次，他却输了。而且输得很惨：不但把方才赢来的那45枚铜板全部输掉了，就连他当了秤换来的那15个铜板的本钱也一齐输了进去。
看着庄家把他最后的一个铜板也收了过去，13岁的杜月笙有些发蒙，他的双眼发红，紧盯在庄家收钱的手上。这一进一出对他打击太大了，他怎么也想不明白：为什么刚刚还在赌棚里春风得意、在小饭馆里大快朵颐的自己，又在顷刻之间便一无所有、跌进谷底了呢？
许多年后，杜月笙无数次地让别人在自己手里体会到了这种感觉，而且，变本加厉。那时，他是否想到了当年在高桥镇的这次赌博呢？对此谁也不得而知。但是，13岁的杜月笙已经开始表现出了他日后借以走向成功的重要素质：一种杜月笙特有的“狠劲儿”。以后，无论是对金钱、欲望、社会地位的追逐，还是情感世界中的狩猎，杜月笙始终都带着这股子高桥镇教给他的狠劲儿。
稍加思索之后，杜月笙决定孤注一掷了。围在赌桌前吆五喝六的一班赌客们吃惊地回转身来，看着这个刚才因为赌光了钱而被他们拨拉到一边去的小瘪三。杜月笙分开一时间不明所以的赌客，从后面重又挤到赌桌前，旁若无人地往赌桌边上一坐，盯住了庄家，说我再押五个铜板。在这个细长的还挂着一丝孩子气的脸上，竟然透出一股寒气