早在远古时代,衡山已被抹上浓厚的文化色彩。相传黄帝定五岳,衡山为南岳。这里有许多关于黄帝、炎帝的传说。据说夏禹导水岷山之阳至衡山,还在岣嵝峰得金简玉牒治水之书,后人立有神禹碑以示纪念。周武王受命辨九州之国,正南称荆州,其山镇称衡。《礼记· 祭法》:“山林川谷丘陵,能出云,为风雨,见怪物,皆曰神。”清代以前的历代统治者每年都有祭山神的活动,南岳衡山历来为享祭之山。现存的南岳大庙,即唐武德年间高祖李渊遣人修建的山祠,后经历代修建,至清光绪八年形成现在的规模。它是湖南最大的古建筑,位于衡山脚下,坐北向南。有正殿、寝宫、御书楼、盘龙亭等。占地九万八千五百平方米。整个建筑群布局严谨、宏伟壮丽。正殿中的七十二根大柱(象征南岳七十二峰),由石凿成,柱头还有精美的雕刻。大殿四周的石栏上,还有一百四十四块汉白玉浮雕,表现的是《水经注》中的典故。周围环境极佳,据史载,通向岳庙的道路绵亘数十里,“夹道皆合抱松桂相间,连云蔽日,人行空翠中,而秋来香闻十里,计其数一万七千株”。岳庙正所谓“千杉翠拥,万瓦烟生”。
        衡山是历代知识分子游历、讲学、休憩和隐居的绝好去处。唐代的韩愈、柳宗元都在此逗留过,李白、杜甫、王维、刘禹锡、陈子昂、韦应物、贾岛、王勃、宋之问、张九龄等人都来过这里;宋代欧阳修、朱熹、张栻等都在此游历和生活过。他们为山川所陶醉,留下许多动人的篇章。李白认为衡山是“江南之仙山”,具有“黄鹤之英气”。王维在《方尊师归南岳》中描绘道:“山压天中半天上,洞穿江底出江南。瀑布松杉常带雨,夕阳苍翠忽成岚。”韩愈在《谒南岳庙遂宿岳寺题门楼》诗中写道:“喷云泄雾藏半腹,虽有绝顶谁能穷。我来正值秋雨节,阴风晦昧无清风。潜心默祷若有应,岂非正直能感通。须臾静扫众峰出,仰见突兀撑青空。紫盖连延接天柱,石廪腾掷堆祝融。森然魄动下马拜,松柏一径趋灵空。”衡山开云,从此被传为佳话。后人为纪念他,还在衡山县城西门高台上建开云楼,其岭称开云岭。钟灵山川,似乎可以予人以钟灵之气,许多文人学士都看中这块园地,在此讲学和研讨学问。见于记载的著名书院有邺侯书院、石鼓书院、胡安国书院、周濂溪书院、胡铨书院、南轩书院、甘泉书院、白沙书院、邹东廓书院、集贤书院、文昌书院等。邺侯书院即南岳书院,最先系唐朝宰相李泌子李繁为纪念其父曾在此隐居而建,位于集贤峰下。相传李泌、张九龄曾在此论道。石鼓书院位于回雁峰下,初建于唐朝,宋代重建,景祜年间宋真宗赐额并学田,与唯阳、岳麓、白鹿合称为四大书院。许多著名的学者在此留下他们的足迹。创办周濂溪书院的周敦颐(1017—1073),系北宋著名哲学家,其学说对后世影响很大。创办胡安国书院的胡安国(1074—1138)系南宋著名经学家,他的《春秋传》明初被定为科举取士的教科书。创办胡铨书院的胡铨(1102—1180)系南宋学者。创办南轩书院的张栻(1133—1180)也是南宋著名学者,和朱熹、吕祖谦齐名,时称“东南三贤”。建甘泉书院的是明代著名学者湛若水(1466—1560),与王阳明为友。以其号相称白沙书院的陈献章也是明代著名学者。建邹东廓书院的邹守益(1491—1562),初讲学于石鼓书院,从学者甚众。衡山可说也是儒学延播鼎盛之山。
        不仅如此,衡山还被称为道教的洞天福地,道教甚至早于佛教在此传播,但基本上也是始于晋,发展于南朝,盛于唐。见于记载的道观有数十处之多。其中有,建于晋代的衡岳观、元阳宫、洞灵宫、招仙观、九真观;建于南朝的中宫、北帝院、九仙宫、西台观、西灵观;建于唐朝的紫盖院、圣寿观、田真院、寻真观、洞阳宫、紫虚阁等。现存的水帘洞古称朱陵洞,传为朱陵大帝所居,道教三十六洞天福地,此为第三。洞在紫盖峰下,上有谷地,下临绝壁,中有水池。水自谷口奔泻而下,形成瀑布,甚为壮观。张居正诗“误疑瀛海翻琼浪,莫拟银河倒碧流。自是湘妃深隐处,水晶帘挂五云头”及毕田诗“洞门千尺挂飞流,玉碎珠帘冷喷秋”即咏此。水帘洞之奇也为衡山一绝。衡山自古流传许多道教修炼成仙的传说,为它蒙上一层神秘的色彩。
        从全国范围看,佛、道教都盛行于唐代,但因李唐王朝尊李耳为祖,对道教更为推崇,故道教的发展应具备更为有利的条件。而事实上道教的影响远不及佛教。据唐末道士杜光庭所作《历代崇道记》,道士共一万五千余人,不及僧人二十分之一。据衡岳有记载的寺观来看,道教的观、宫不及佛教寺庵的三分之一。一些寺院是原道观改建而成。如柚峰西北的西观台,相传最早为周穆王所建,陈代改为太初观,后改为寺。又如光天观,系道教二十二光天坛福地,大业中改观为寺,即上封寺。西有青玉坛福地,佛教改名为罗汉行道坛。灵峰寺建于五代天福年间,其西北有王母殿基,下有石刻真人像,原当系道教宫观。从一定角度上可看出佛长道消之势。在衡岳,佛、道的分布大体是:道教宫观多集中在山之东北;而佛教寺院则多集中在山之中、西部。也有佛、道共处于一地的记载,如《南岳总胜集》载:“北有仰天台神庙尼寺基,亦有庵宇,僧道居之。” 白马峰“上有庵宇,僧道居之”。
        儒、释、道三家都在衡岳蓬勃发展,它们在斗争中相互影响、相互吸收,形成你中有我,我中有你。佛教作为外来文化,要在中国这块土地上扎下根来,就必须适应中国的国情,向中国的传统文化靠拢。无数佛教学者在自觉不自觉地进行着这项工作。魏晋时期,佛教学者多用老庄玄学思想来解释佛教教义,以迎合上层社会的需要。南北朝时期,南岳高僧慧思在此基础上,还吸收中国道教的神仙方术思想。例如在他的《誓愿文》中曾发愿“成就五通神仙”以期长生。至于后来创立的禅宗,则完全是佛教中国化的产物了。庄子的虚无主义思想和对精神自由的执着追求、玄学家的得意忘言理论以及旷达放荡、纯任自然、蔑视礼法的性格,以及儒家人皆可以为尧舜的性善论都对禅宗的形成产生了重大的影响。南岳高僧怀让对南宗禅的创立及其在南岳的传播作出了自己的贡献。
        在道教对佛教产生影响的同时,佛教对道教也同样产生着重要的影响。南北朝时期,道教著作中有许多宣传神仙长生的思想,而到隋唐时期则转向唯心主义理论的研究,这同佛教理论的渗透不无关系。唐代曾在南岳活动,并对南岳道教产生重要影响的道教大师司马承祯倡导五戒、八戒、十戒。这些戒律是在吸取了佛教有关戒律的基础上制定出来的。至于他提出修炼主要在于修心,修心在于主静,以及“坐忘”、“静则生慧”等主张,显然源于佛教的“三学”。