在他的劲敌当中，最精明也最危险的当推埃米尔·佩雷尔（Emile Pereire）——是以他名字命名的佩雷尔公司的总裁。这两个金融巨子之间的争斗异常激烈，只要逮住机会就互相诋毁、谩骂。到后来，这种敌意不断滋长，已经突破了生意中的界限，演变成私人恩怨了，一经诱导，在任何可能的场合都会发泄出来。只要能击败对手——无论是声誉上，还是财产上——他们会毫不犹豫地使用任何阴谋诡计。
佩雷尔觉得仅凭自己单枪匹马不足以与强大的罗斯柴尔德相抗衡，于是他向巴黎以及其他大都市的许多颇有影响的企业寻求合作。这个联盟的力量非常强大詹姆斯男爵即使倾尽全力也无法将其颠覆。联盟成员包括大名鼎鼎的伦敦巴林公司，阿姆斯特丹的霍普公司，圣彼得堡的施蒂格利茨（Stieglitz）公司等等；他们群策群力，许多策略都令詹姆斯男爵措手不及，恨得咬牙切齿。
这种仇恨一直延续了下去，并且还在不断加剧。罗斯柴尔德对着这位后起之秀既愤恨不已又心怀嫉妒佩雷尔则对自己出众的才智和旺盛的精力非常自信，迫切地想把专横而富有的罗斯柴尔德从巴黎金融市场的泰斗之位上赶下来。
罗斯柴尔德曾不止一次竭尽全力想要彻底击败这个年轻气盛的对手，但总是无法得逞佩雷尔的顽强毅力和在金融方面的天赋有时让罗斯柴尔德都有点自愧不如。在这场“最高地位”的争斗中，输的并非总是佩雷尔；有时候，男爵不得不承认自己屈居下风了。例如，1856年，佩雷尔与巴黎的奥廷格·特恩艾瑟（Hottinger Thurneysser）、圣彼得堡的施蒂格利茨联合起来，在一个建设项目的竞标中击败了詹姆斯男爵；男爵尽管已经煞费苦心，还争取到了强大的支援，但仍然不可挽回地失败了。那个项目的合同期跨越了85年，主要是建立起辐射整个俄国的铁路网。这无疑是那个世纪里最宏大，也最赚钱的一个项目了。
在承揽俄国铁路项目遭到失败后，詹姆斯男爵一直耿耿于怀，直到后来在维也纳信贷银行的竞标中胜出，才觉得稍微出了口恶气。当时，摆在奥地利财政部面前的两个申报表恰好代表着两个敌对的利益集团，一边是罗斯柴尔德，另一边是佩雷尔。这两个家族都拥有巨大的财富、显赫的地位，同时也有着明显不同的特征。在人们眼里，罗斯柴尔德这个名字就代表着：历史悠久的百年老店，盛誉，遍布世界的巨额家产，还有，家族成员在欧洲各个大都市里协作经营着共同的利益和生意。佩雷尔家族也有自己的夺人之处充沛的活力，更科学的管理模式，以及其领袖的卓越才能。
两个家族在欧洲都举足轻重，如果双方能化干戈为玉帛，那就再好不过了，很显然这是奥地利财政部长的想法，因此对于两份申报表，他才迟迟未加评价。直到最后，促使两方进行合作的努力都宣告失败，他才心有不甘地着手挑选。
实际上，他们的合作原本是很有希望成功的。然而就在当口上，佩雷尔从巴黎寄来一封信，声称除非罗斯柴尔德答应以后在生意上不再为难克雷蒂·莫比利尔 （Credit Mobilier，罗斯柴尔德的另一个强劲对手），否则他将不会与其联合经营这家银行。对这种无理的请求，詹姆斯男爵断然拒绝了，于是和谈破裂，最终的结果在前面已经说过了——建立银行的权力授予了罗斯柴尔德。
俗话说：智者千虑，必有一失。尽管詹姆斯男爵精于预测、做事谨慎，但他在生意上也并非每次都很顺利。不可预知的情况总会时不时地冒出来，使得策划得再周密的方案也会受到阻碍。男爵也像其他任何人一样，无法逃避命运的捉弄。他的获利总是数额巨大，但是一旦时运不济，损失也同样数额巨大、骇人听闻。最惨重的一次应该是卡彭铁尔（Carpentier）那一起；卡彭铁尔是修建北方铁路时的会计兼出纳。这个欺诈案可谓史无前例。有一家报纸对其相关细节的描述如下：“有关北方铁路偷窃案的迷雾已经渐渐被拨开，案情可以说是水落石出了。在报道中，本报一切忠于事实。一开始，公司并不打算将内幕对外公布，但新闻界不甘心让这样一件耸人听闻的大案草草收场，于是，在新闻界的强烈要求下，公司终于做出让步，对案情做了一些解释，宣称损失约为600万法郎。但是据推测，实际损失远远不止这些；600万仅仅是指被窃的债券，而盗贼们还席卷了公司保险柜里的所有现金。
“损失的确切金额还未查明；事实上，要查清涉案金额是相当困难的，甚至已经无从查起，因为盗贼们销毁了几乎所有能够有助于调查该案的资料。被窃金额估计高达3000万到3200万。这笔损失不会由北方公司单独承担，股东们将按投资比例承担相应的损失。
“卡彭铁尔、格雷莱（Grellet）和他们的其他同伙显然已经为此案做了很长时间的准备，因为早在出逃之前，他们就已经偷走了大量的款项，并且，6个月前，还在英国花180万法郎买了一艘轮船。
“在他们携款潜逃后，查出来的一些资料显示：他们早已在纽约