“嗨！你这个画画的工匠！下来一点，我有话跟你说。”
雅丹不屑地耸了耸肩，没有回应，然后接着画。
显然，这一“恶习”使得詹姆斯男爵树敌无数，那些对手总会不失时机地在报纸上大肆奚落他一番无疑，那些文章的作者一定会添油加醋，使得故事惟妙惟肖、入木三分。不过，男爵倒也不甘示弱，常常予以有力的回击。
说来奇怪，詹姆斯男爵的性格似乎是两种相互对立的品质的融合体。一方面，他是一个非常精明、小气的商人，总是希望投入一千元就能赚到一百万，而另一方面，他又出了名地热心于慈善。
由于极其敏锐的商业直觉作祟，在日常琐事中，即使为了一个最便宜的东西，他也总要不厌其烦地讨价还价。这种吝啬的习性一再地被登在报纸上当作笑柄。
一般情况下，男爵对此都不以为意，但是，关于画家韦内特（Vernet）的那件事却一直让他有些难以释怀。
那次，他拜访了韦内特，询问为他作一幅画要收多少钱，画家告诉他说：“为男爵先生您作一幅要收4000法郎。”
“见鬼！你只需要拿起刷子涂几下就好了，却要收这么多钱，这实在太贵了！”
画家无奈地耸了耸肩：“请问，您懂艺术吗？反正，就是4000法郎，一分也不能少。”
詹姆斯再次表示这个价格高得简直让人不可思议。于是画家说：“您再这样的话，我就把价格提高两倍。您到底想不想画了？”
詹姆斯男爵立即起身离开了画室，他觉得眼前这个人一定是个疯子。
“等等！”画家追在他后面喊，“我为您作一副不收钱的肖像吧。”
画家没有食言。在他那副名为《一个吝啬鬼》的画里，一个犹太人抱着一箱子珠宝、钱币急急忙忙地偷跑，脸上流露出丑恶的贪婪。这幅肖像是对詹姆斯·罗斯柴尔德的无情嘲弄。
尽管在生意方面他可能有些不近人情，但是当一件事不触及他的商业直觉时，他又会变得非常慷慨。
但是他的仁慈之举往往被曲解为是出于某种商业目的，因为人们难以相信一个在日常生活中斤斤计较的人会突然变得乐善好施起来。许多年里，他的这种完全无盈利性质的慈善行为总是招来公众的怀疑与唾弃，报纸中对他的恶言诽谤更是助长了这种想法。
1847年，詹姆斯男爵预见到由于前一年的收成不好可能引起饥荒，于是采取了相应的行动，想要帮助人们度过难关。他在欧洲和美国市场上购入了大量的玉米，后来以低于成本的价格在巴黎出售。还在圣狄德罗教堂（Chapelle Saint-Denis）附近开了一家烤面包店。饥民们可以在那里买到很廉价的面包。
这么慷慨的行动，这么富有善心的计划最后却不了了之了，因为它是由一个公众形象不好的人发起的。没有人相信这个犹太人是出于好心。报纸中每天都会有一些评论，尖锐地抨击他的行为，并告诫大家要保持警惕；说他卖的面包根本不是面包，面粉也压根不是面粉，纯粹就是麦麸、灰泥，还掺着砒霜。
还有人断言说，罗斯柴尔德买了大量变质的面粉，为了掩饰，还掺和了一些甜杏仁……这些人忽略了一个常识：甜杏仁可要比最优质的面粉还贵出很多啊！
除了为饥民买玉米这件事中做出了很大的牺牲以外，1848年，男爵还捐了至少4万法郎帮助那些负伤的和失业的人。这无疑是非常可贵的，因为那时他几乎已经是自身难保了。当时，刚刚爆发了革命，热情高涨的群众常常会有过激行为，他总担心某一天那些人会来“拜访”他。
不过，他还算幸运。在掌控大局的人当中，有一个叫马克·考斯蒂尔（Marc Caussidiere）的人，他倒没有忘记罗斯柴尔德的宽厚与仁慈。在他的命令下，卫兵们不仅守护着酒店、宾馆，还把守着詹姆斯男爵的府邸。在考斯蒂尔的细心关照下，男爵的焦虑大大地减轻了。
不到一年之后，男爵向大家证明了他是一个知恩图报的人。这次，考斯蒂尔被流放到伦敦时，落魄而困顿，穷得就像一个乞丐；就在他万般无奈的时候，收到了来自巴黎的一封信：
尊敬的阁下，
请允许我捎来3万法郎供您使用。这笔钱数额不大，但也许可以够您在艰苦的流放岁月里做点小生意。它是对您为法国所做的杰出贡献的一点微薄的犒赏。您可以在10年、20年后或者任何方便的时候还给我。
您最忠实的朋友
詹姆斯·德·罗斯柴尔德
然而，如此感恩的举动还被认为是出于精明、自私的动机。因为外人推断男爵肯定是这么说的：“这个家伙从来都没有被彻底打败过，谁知道他什么时候又会回来？”不过，无论如何，令人欣慰的是，这3万法郎为考斯蒂尔发财致富铺平了道路，他做起了卖酒的生意，主要经营白兰地，据说生意还挺不错。
还有一些关于他的有趣的故事——如果这些都是真的，那么男爵在慈善事业方