1927年10月开始筹备。1928年6月9日正式成立,蔡元培为首任院长。据南京国民党政府《国立中央研究院组织法》规定,该院系全国最高学术研究机关。院长之下,设行政、研究、评议三大部门,而以研究为中坚。行政部门,以总办事处主持工作,设总干事一人,在院长领导下执行全院行政事宜;杨杏佛、丁文江、朱家骅、任鸿隽等先后任总干事。研究系统,陆续设立物理、化学、工程、地质、天文、气象、历史、语言、心理、社会科学、动植物等研究所。评议方面,设评议会,除院长及各研究所长为当然评议员外,另选学术界中坚人物三十人为聘任评议员;决定研究学术之方针,促进国内外学术研究之合作互助,并推举院长候选人。抗日战争爆发后,院机关和部分研究所迁往西南后方,研究所曾有所调整。1940年3月蔡元培逝世,9月朱家骅接任院长。抗战胜利后迁回南京。1947年10月决定设立院士制度,次年3月选举院士八十人。南京解放后,院机关在1949年6月由人民政府接管。