说起南岳衡山，不得不说一番火神祝融的传说。
祝融氏由于跟火亲近，成了管火用火的能手。黄帝任命他为管火的火正官。
南方有个氏族首领名叫蚩尤，经常侵扰原，弄得原人无法生活。黄帝号令原的人联合起来，由祝融和其他几个将领带着对付蚩尤。祝融用火攻战胜了蚩尤，立了大功，黄帝重重封赏了他，他成了黄帝的重要大臣。
部队班师回朝时，路过云梦泽南边的一群大山。黄帝把祝融叫到跟前，故意问道：“这叫什么山？”祝融答道：“这叫衡山。”黄帝又问：“这山的来历如何”
祝融又答道：“古时候，天地一片浑沌，像个鸡蛋。盘古氏开天辟地，才有了生灵。他活了一万八千年，死后躺在原大地，头部朝东，变成泰山脚趾在西，变成华山腹部凸起，变成嵩山右手朝北，变成恒山左手朝南，变成了眼前的衡山。”
刚刚说完，黄帝紧接着又问：“那么，为什么名叫衡山。”
祝融马答道：“此山横亘云梦与九嶷之间，像一杆秤一样，可以称出天地的轻重，衡量帝王道德的高下，所以名叫衡山。”
黄帝见他对答如流，非常高兴，笑呵呵地说：“很好！你这么熟悉南方事务，我要委你以重任！”但黄帝并不说出是什么重任。
队伍在衡山驻扎下来了。黄帝登最高峰，接受南方各个部落的朝拜。许多氏族首领会集在一起，大家都很高兴，祝融一时兴起，奏起了黄帝自己编的曲子咸池之乐，黄帝的妃子嫘祖也踏着拍子，跳起舞来。大家见了，都围着黄帝跳了起来。
跳了个痛快以后，黄帝叫大家静下来，说：“我位以来，平榆罔，杀蚩尤，制订历法，发明字，创造音律，编定医，又有嫘祖育蚕治丝，定衣裳之制。现在天下一统，我要奠定五岳：东岳泰山，西岳华山，南岳衡山，北岳恒山，岳嵩山。从今以后，火正祝融镇守南岳。”
大家一听，都大声喊着：“万寿无疆！万寿无疆！”祝融这时才知道，原来黄帝说的委以重任是这么回事。
黄帝走了以后，祝融被留在衡山，正式管理南方事务。他住在衡山的最高峰，经常巡视各处的百姓。他看到这里的百姓经常吃生东西，告诉他们取火，教他们把东西烧熟再吃。
他看到这里的百姓晚都在黑暗『摸』索，告诉他们使用火松明。他看到这里瘴气重、蚊虫多，百姓经常生病，告诉他们点火熏烟，驱赶蚊虫和瘴气。百姓们都很尊敬他，每年八月秋收以后，成群结队地来朝拜他。
大家说：“祝融啊，我们人丁兴旺了，鸡鸭成群了，五谷丰登了。你给我们带来了这么多的好处，我们感谢你，我们要尊你为帝了。你以火施化，火是赤『色』，我们叫你赤帝吧！”从此，祝融被大家尊为赤帝。
祝融在衡山活到一百多岁才死去。百姓把他埋在衡山的一个山峰，并把这个山峰命名赤帝峰。他住过的最高峰，大家一直叫做祝融峰。在祝融峰顶，百姓们修建了一座祝融殿，尊他为南岳圣帝，永远纪念着他的功德。
南岳衡山除了祝融的传说之外，最着名的当属南岳大庙。
南岳大庙是江南最大的古建筑群，有“江南第一庙”与“南国故宫”之称，根据现存资料记载始建于唐，后经唐、宋、元、明、清六次大火和十六次修缮扩建，于光绪八年形成现在的规模。
大庙以其出『色』的木刻、石雕、泥塑被誉为“江南三绝”。同时以八百蛟龙为最大特『色』，无论殿宇的梁柱、屋檐，还是柱基、神座，乃至门框、斗拱，神态各异的蛟龙，随处可见，原来这里自古有八百蛟龙护南岳的传说。
大庙有座石拱桥，叫“寿涧”桥，桥下是寿涧水，盛传“取岳山之水可以延年益寿”，因为南岳是寿山、寿岳，所以这座桥，因水而得名的。相传，如果谁能三步跨过这座桥，便可长命百岁。
南岳大庙是五岳众多寺庙，规模、布局最大、保存最完整的古典建筑群。
南岳山下的南岳古镇北街尽头，坐北朝南，前有寿涧水，后有赤帝庙，庙址呈长方形，建于唐开元十三年，后经历了六次大火，经过扩建和修缮，才奠定了现存规模。
南岳大庙始建于唐初，距今至少有1300多年的历史了。风雨沧桑，更替轮回，多少帝王已化为泥土，多少英雄已归隐江湖，而南岳大庙依然红墙黄瓦，翠柏森森，众生云集，香火袅袅，这不能不说是一个迹。
庙宇是古代享祭的载体，必然引起皇帝的重视。除定期的祭祀外，历来皇室登位、诞辰、灾病，或国家昌盛、战争胜利、水旱虫灾等，都要举行祀典活动。这种祭祀，皇帝要亲自过问，由翰林苑撰写祝，派朝廷大员专程赴南岳莅祭。
南岳主祀的神是“南岳圣帝”，“南岳圣帝”是南岳最大的菩萨，高大，威武，神圣，庄严，代表着神在观察、在思考、在暗示，拥有凡人不可能达到的大智慧、大胸襟、大眼界，人间万事，了然于胸，思接千古，预言未来。因而不论达官贵人、平民百姓甚至皇帝，均对他敬畏几分。