自古以来僧人中不乏学者大师。这些人往往出身于知识分子队伍,他们不满社会的黑暗,深感仕途的艰险,遁入空门以寻求精神的寄托。这些人往往兼通儒、佛、道三家经义,既能谈禅又能论政。他们将深奥的佛教哲理同中国文化相结合,弘扬了佛法,并大大提高了佛教的社会地位。东晋南朝直至唐宋,庐山佛门中的慧远、慧永、智常、居讷等人,正是这些人中的佼佼者。还有更多的士人,自己虽未投身空门,却同僧人保持着密切的关系,并把和僧、道交游视为一种超逸风雅。在东晋南朝时,刘遗民、周续之、雷次宗、宗炳等士人与慧远、慧永成莫逆之交。晋元兴元年(402),慧远邀集刘遗民、周续之等学者居士聚会,研讨如何转生西方净土世界问题,并请刘遗民撰《发愿文》,一百二十三人共誓佛前,转托来世投生西方极乐世界。谢灵运与慧远交厚,慧远死后,著《慧远法师诔》以示悼念。王羲之也崇尚佛教,将自己的别墅舍给西域僧人达磨多罗,是为归宗寺。在唐代,白居易也同佛门联系密切,临别时,将自己的文集寄存在东林寺,并委托僧友代管在庐山的草堂。在宋代,李常将万卷藏书寄存在庐山白石庵。欧阳修与圆通寺主持居讷禅师一见如故、坐而论道成为至交,并赠诗给居讷:
        方瞳如水衲披肩,邂逅相逢为洒然。
        五百僧中得一士,始知林下有遗贤。
        三苏(苏洵、苏轼、苏辙)同居讷也有交往,相互以诗词应答。士人投身空门和同僧人保持密切的关系,既与当时的政治背景有关,但更多的则应视为一种文化现象。它反映佛教这一异质文化自西汉末年传人以来,已渐同中国文化相结合,已渐渐得到中国“文化人”知识分子的认同。也正因为这种认同,更促进了佛教在中国的大发展,佛教在庐山的繁荣。
        除佛教外,道教在庐山也有一定的影响,著名的道观,要首推南朝时陆修静创建的简寂观了。此外还有祥符观、先天观、景德观以及唐朝的白鹤观、广福观、太平会等。当时的佛教寺院多集中在庐山西北麓,而道观则集中在东南麓。佛、道两家的竞争是激烈的,但道家往往处于劣势。清代文人李渔为简寂观书写一幅对联,反映了这种状况:“天下名山僧占多,也该留一二奇峰,栖吾道友。世间好语佛说尽,谁识得五千妙谛,出我先师。”
        自古以来,名刹依名山,名山因名刹而更有名,二者相得益彰,这在庐山又得到一次很好的佐证。