原意为空中所见的楼台观阁，即海市蜃楼。比喻高明远达。初见于《二程全书·遗书》：“邵尧夫(雍)犹空中楼阁。”后在南宋·朱熹的《朱子语类》卷一百中亦有记载：“程子谓康节空中楼阁。曰：‘是看得四通八达，庄子比康节亦髣髴相似。’”(程子： 指程颢。康节： 邵雍谥号。二人均为北宋哲学家。)元·侯克中《邵子无名公传》：“醉里乾坤元广大，空中楼阁更高明。”清·李渔《闲情偶寄·结构》：“实者，就事敷陈，不假造作，有根有据之谓也;虚者，空中楼阁，随意构成，无影无形之谓也。”

另外，《百喻经·三重楼阁》讲了这样一则寓言故事： 从前有一个富翁，想造一座三层的楼阁。木匠依吩咐，开始在地面上砌砖。富翁说： “我不要下面二层，只要最上一层。”木匠说“不造下面二层就无法造第三层。”但富翁仍执迷不悟，结果引来众人的嘲笑。佛教用这个比喻，说明修行者应筑好根基，循序渐进。随着这个故事的广为流传，大约在晚清民初，“空中楼阁”开始被用来比喻空想、虚造。《孽海花》第二十一回：“但在下这部《孽海花》，却不同别的小说，空中楼阁，可以随意起灭。”

现在“空中楼阁”通常用来比喻虚幻的事物或脱离实际的理论、计划等。