住了我，我感到血液也凝固了，连呼吸都困难。但我感谢徽因，她没有把我当一个傻丈夫，她对我是坦白和信任的。我想了一夜该怎办？我问自己，徽因到底和我幸福还是和老金一起幸福？我把自己、老金和徽因三个人反复放在天平上衡量。我觉得尽管自己在文学艺术各方面有一定的修养，但我缺少老金那哲学家的头脑，我认为自己不如老金。于是第二天，我把想了一夜的结论告诉徽因。我说她是自由的，如果她选择了老金，祝愿他们永远幸福。我们都哭了。
当徽因把我的话告诉老金时，老金的回答是：“看来思成是真正爱你的，我不能去伤害一个真正爱你的人。我应该退出。”从那次谈话以后，我再没有和徽因谈过这件事。因为我知道老金是个说到做到的人，徽因也是个诚实的人。
后来，事实证明了这一点，我们三个人始终是好朋友。我自己在工作上遇到难题也常去请教老金，甚至连我和徽因吵架也常要老金来“仲裁”，因为他总是那么理性，把我们因为情绪激动而搞糊涂的问题分析得一清二楚。
林徽因不掩饰自己，喜欢就是喜欢。梁思成也相当豁达：你喜欢就跟着老金吧。金岳霖相当君子：我不能伤害你们。三人可谓如赤诚相对。
金岳霖从此也就与梁家联系在了一起，基本上成了梁家一员。金岳霖曾给费慰梅写信说，“我离开了梁家就跟丢了魂一样”。金岳霖始终都以最高的理智驾驭自己的感情，其襟怀着实让人敬佩，不过梁思成的宽容更让人景仰。顺便说一句，一代哲学宗师金岳霖在新中国成立后选择陪着梁、林留在了大陆，因此后世学者余世存先生无不惋惜：“他没去台湾，因此没能留在哲学史上，而留在了情感史上。”
林徽因对徐志摩的追忆也一直割舍不下，1934年11月19日，林徽因和梁思成去南方考察路过硖石（志摩故乡），停车的几分钟里，她下了车，在昏沉的夜色里，独自站在车门外，“凝望着幽黯的站台，默默地回忆许多不相连续的过往残片，直到生和死问居然幻成一片模糊，人生和火车似的蜿蜒一串疑问在苍茫问奔驰……如果那时候我的眼泪曾不自主的溢出睫外，我知道你定会原谅我的。”
1935年徐志摩忌日，林徽因写了《纪念志摩去世四周年》一文，寄语徐志摩：“你应当相信我不会向悲哀投降，什么时候我都相信倔犟的忠于生的。”