再次翻开菲茨罗伊家族的历史，会发现菲茨罗伊家族的第一代，高祖父辈是纯血华人，至于是因为什么来到的欧洲，并没有确切记载，甚至曾祖父威廉还故意隐瞒高祖父的汉字名，只保留了姓氏，只用法语名“腓力”来记载父亲来到欧洲之后的经历，是一名住在法国的巴黎，并且很少露面的一名富商。
高祖母是法国普通小农场主的女儿安妮·苏尔特。
高祖父腓力至死没有放弃姓氏，他与高祖母安妮·苏尔特的儿子曾祖父威廉也没有放弃姓氏，按照法国贵族的传统，自路易十四封曾祖父威廉为纽斯特里亚男爵开始，这个家族可以以纽斯特里亚为姓氏，但他还是没有这样做。
反而让家族以与英国斯图亚特王室有血缘关系的妻子玛格丽特·菲茨罗伊的姓氏菲茨罗伊为姓氏，想以此来融入法国大贵族们的世界。
但腓力强大的基因还是让儿子威廉在相貌上偏向东方一些，当然也有西方的特征，因此带来很多麻烦……
也获得绰号“东方人威廉”
威廉个人私底下在日记里称自己是“华人威廉”。
威廉在父亲腓力的各方面严格要求的生活状态下活到成年了，想以参军来实现自己的抱负，也是因为这样人生彻底改变……
从士兵到骑士将军，再到纽斯特里亚男爵，最后路易十五时代退居幕后的强大军事财阀家族的开创者。
时间来到1743年1月，身体不是太好，年迈的曾祖父威廉·德·纽斯特里亚男爵向路易十五辞去一切职务，于同年1743年12月去世。
之后家族仅靠玛格丽特·菲茨罗伊和儿子菲利普·德·菲茨罗伊支撑着……
查理的祖母，祖父菲利普的妻子克里斯蒂安娜·凯特莱来自库尔兰公国的第一任公爵，宝剑骑士团末任团长德意志人哥达·凯特莱的后人，属于凯特莱家族成员。
库尔兰公国位于波罗的海沿岸的小国，在1562年至今年存在的，名义上隶属于立陶宛大公国，后隶属于波兰立陶宛联邦的公国，名义上的凯特莱家族最后一任库尔兰公爵斐迪南于1737年去世后，库尔兰公国的大公位置被上一任大公夫人和俄罗斯女皇，安娜·伊凡诺芙娜在1737年任命她的情夫恩斯特·约翰·冯·庇隆为库尔兰公爵，但遭到克里斯蒂安娜·凯特莱这位凯特莱家族成员的反对，她认为凯特莱家族并没有绝嗣，而作为外国的俄罗斯公然的任命外人为库尔兰公爵的做法是不合法的，是强盗行为。
可惜没有实力的反对是没有什么用的，同年克里斯蒂安娜·凯特莱被庇隆驱逐，但她得到法国将军威廉·德·纽斯特里亚男爵武装商团的庇护，随后前往法国巴黎居住。
在法国的几年她认识了纽斯特里亚男爵的儿子菲利普·德·菲茨罗伊。
菲利普第一次见这个女孩，就被她坚强、热情、坦率的性格所吸引。
英俊多金且幽默风趣的菲利普追求克里斯蒂安娜·凯特莱多年，克里斯蒂安娜·凯特莱很害怕除了在相貌上，什么都没有的自己不会一直吸引菲利普而遭到抛弃，同时也有考验的成分在里面，她是真的害怕这个家族是因为库尔兰公国的原因才选择自己的，才一直到1746年9月才真正的与菲利普完婚。她在此期间也渐渐淡忘自己要求库尔兰公爵的爵位。
婚后有了双方孩子，菲茨罗伊家族依旧没有要求库尔兰公爵。
这对夫妇并没有享受多久的婚后幸福生活，菲利普与妻子克里斯蒂安娜只有一个独子，出生在1748年1月20日的巴黎。
他是查理的父亲斐迪南·克里斯蒂安·德·菲茨罗伊。
菲利普于1743年继承父亲威廉的一切，于奥地利王位继承战争期间所统帅的骑兵表现的骁勇善战，但他也因为冲锋陷阵在前而受伤，战争结束后，于1750年旧伤复发去世。
同时，克里斯蒂安娜失去心爱的丈夫菲利普后，也在1751年伤心抑郁而去世。
作为军人，菲利普是非常合格的，能打仗更能打胜仗，但是作为儿子，丈夫和父亲是不合格的。
两年时间菲茨罗伊家族直接面临绝嗣的危机，曾祖母玛格丽特不得不亲自抚养孙子斐迪南。
也在某些方面缓解了法王路易十五对菲茨罗伊家族的忌惮，这种局面一直到斐迪南·克里斯蒂安·德·菲茨罗伊长大，并与来自德意志地区黑森-达姆斯塔特伯爵领地，黑森-达姆斯塔特家族旁系的成员美艳佳人玛丽·威廉明妮小姐结婚。
以菲茨罗伊家族如今在法国的权势，就是要与大贵族们联姻也完全做的到，还是选择了黑森-达姆斯塔特旁系成员玛丽·威廉明妮为纽斯特里亚男爵夫人。顾及到波旁王室，这个家族已经做到了这种程度。当然换句话说，菲茨罗伊这个家族已经不需要联姻来增加自己在法国的地位和势力了。
法国大贵族纽斯特里亚男爵斐迪南·克里斯蒂安·德·菲茨罗伊与黑森-达姆斯塔特家族的玛丽·威廉明妮小姐生下了三个子女：
查理·加布里埃尔·菲茨罗伊
亨利·爱德华·菲茨罗伊
苏菲·菲茨罗伊
他们的出现缓解了菲茨罗伊