林肯总会牢记别人曾给与自己的帮助，这是他杰出品质之一。他想对施皮德表达自己的感激之情，于是打算给自己的第一个孩子取名为约法·施皮德·林肯。玛丽·陶德听说后，立即火冒三丈。玛丽认为孩子是她的，她有权为自己的孩子取名，不许叫什么约法·施皮德·林肯！她要取名为罗伯特·陶德，用自己父亲的姓。没有办法，最后孩子只能叫罗伯特·陶德·林肯。林肯的四个孩子中，最后只有他没有夭折，且活了很久，于1926年7月26日死于佛蒙特州的曼彻斯特，终年八十三岁。而林肯的其他三个孩子，埃迪在1850年死在斯普林菲尔德，年仅四岁；威利在十二岁时死在白宫；1871年特德死在芝加哥，年仅十八岁。
林肯夫人抱怨院子里没有五彩斑斓的鲜花和灌木，所以林肯就找来一些玫瑰，但林肯对这些花花草草根本没兴趣，很快，这些花草由于照顾不周就枯萎而死了。玛丽还要求林肯建一个花园，后来，在一个春季，林肯建了个花园，但后来淹没在杂草中。尽管林肯没有从事太多的体力活动，但他养过雄鹿，喂养过自家的奶牛，并挤奶，同时他还要锯木。他一直从事这些劳动，甚至在当选为美国总统后，林肯还是继续坚持做这些事。林肯的第二个表兄约翰·汉克斯曾经这样评价林肯：“亚伯拉罕除了做梦外，什么都做不好。”玛丽·林肯非常赞同这一观点。
林肯总是显得有点心不在焉，他经常写些奇怪的字，看起来，他好像已将整个世界遗忘。星期日，林肯会将自己的一个孩子放在四轮马车上，然后在家门前的马路人行道上拖来拖去。有时穿兽皮的小孩会不小心滚落下来，但林肯还是继续往前拉，他的双眼只盯着前面的路，而没有意识到自己身后发生的悲剧。回家后，当夫人用手戳他的头并大声朝其吼叫时，林肯才知道发生的一切。
有时下班后，林肯只是象征性地朝玛丽看了看，并没有和她说话。当她准备好饭菜后，林肯却说自己没胃口，为了让自己吃饭，林肯要给自己做很多思想工作。玛丽喊林肯吃饭，他却装作没听见。即使他坐在餐桌旁，也会发呆地朝天花板看上一段时间，如果不是玛丽提醒，他甚至会忘记自己还要吃饭。
晚餐后，林肯有时会发呆地朝壁炉凝视半个小时，一言不发。孩子们在他身上爬，扯林肯的头发并和他说话，但林肯好像忽略了他们的存在。然后，他会突然开始说笑话，或背诵自己最喜欢的一首诗：“为什么人类灵魂应该感到自豪？像一颗瞬间即逝的流星，像一片迅速移动的浮云，一道闪电，一层波浪，他经历了从生命到坟墓的过程。”
玛丽批评林肯，抱怨他从不纠正孩子们的过错，但林肯太爱这些孩子了，以至于他对他们的错误缺点视而不见。“只要有机会，林肯就会表扬孩子们。”玛丽说道。林肯还这样说过：“我的孩子们是自由的，他们很幸福，我感到很高兴，他们没有被父母的管制所约束，爱为什么就是将孩子与父母捆绑在一起的锁链？”
林肯给孩子们的自由有时显得超过限度了，比如当他与最高法院的一位法官下棋时，罗伯特跑过来喊他该吃晚饭了，林肯这样回答：“好的，好的。”但因为对下棋太入迷，他迅速忘记有人叫他吃饭了，继续下棋。罗伯特又一次出现了，他带来了林肯夫人的紧急口信，林肯虽然答应了，但又一次忘记了。第三次，罗伯特又来叫吃饭，林肯又一次答应，但他还是继续下棋。此后，突然间，罗伯特猛地将象棋桌踢翻，桌子飞过了头顶，棋子散落一地。“不好意思，法官大人。”林肯面带微笑地说：“我估计我们要下次才能完成这盘棋了。”
显然，林肯并未打算要教训罗伯特一顿。晚上，林肯的孩子们都躲在树篱后面，然后在围栏上粘住一根木条。因为没有路灯，行人可能就会撞上木条，他们的帽子就会被戳掉。一次，孩子们错误地将自己父亲的帽子撞掉，但林肯并未责难他们，只是告诉他们以后要小心点。如果换作其他人，他们可能要发疯了。
林肯不信教，即使和自己最好的朋友在一起时，他都会避免讨论宗教问题。然而，林肯曾告诉赫尔顿，自己的宗教看法与一个名叫格雷的印第安纳老人很相似，林肯听他在一次教堂会议上这样说：“当我做好事时，我就感觉良好；当我做坏事时，我就感到不舒服，这就是我的信仰。”
孩子们渐渐长大，每周日上午，林肯都会带他们出去散步。偶尔林肯将孩子们留在家里，和夫人一起去参加基督教长老会。可是仅过了半小时，特德就发现父亲不在家，便迅速沿着街道跑向教堂。他头发零乱，鞋扣散开了，长袜开始向下垮，脸上和手上沾满伊利诺斯州黑油。看到这些后，林肯太太感到很吃惊而后困窘，但林肯只是冷静地伸出自己的长手臂，将特德拉到自己身边，将他的小脑袋搂在自己胸前。
有时，星期日上午，林肯会带着孩子们去自己的办公室，他允许孩子们在自己的办公室里放肆地玩。“他们很快就弄脏了书架，乱翻抽屉并翻开盒子，还将他的金笔笔尖弄坏，他们把铅笔扔到痰盂里，并打翻纸上的墨水瓶，将信件散落得满地都是，他们踩着这些