相传,净饭王听了阿私陀仙人的预言之后,非常担心悉达多太子长大成人后会放弃王位,出家修行。为此对他进行了严格的教育和管制。教给他各种婆罗门知识、礼仪以及“治国”之术;建造几处宫殿供他单独居住,禁止他随便出宫,接触平民百姓;又于17岁时,替他娶了一个非常漂亮的女子,并选送几百名艺女,弦歌笙舞,希望以声色笼络住他的出家之心。
        净饭王的良苦用心是徒劳的。有一天,佛陀想出城游玩,向净饭王提出恳请。净饭王以为太子出城游玩,是去寻求世俗之乐,不会引发出家之念,便同意了。于是太子命御者套上马车,出城游览。据史书记载,最终引发悉达多太子义无反顾出家修行念头的是他的“四门出游”。
        据说,悉达多太子先出东城门,遇上了一位龙钟老者,白发蓬乱,牙齿落尽,双目昏暗,两耳聩聋,拄杖而行。太子吃了一惊,忙问这是什么人。御者说是老人。太子问:“我是否也会成为老人呢?”御者回答:“不但是你,天下的人都会有老的一天。”太子立即郁闷不乐,心想:人生过得真是太快了,就像山水一样,流过之后便再无回期,真是太苦了啊。太子失去了游玩的雅兴,便驾车郁郁返回了宫中,去思考人生易老的问题。

悉达多太子出家与白马惜别(北魏赵安香造像背阴)

        接着出南城门,遇上了一个病人,腹部水肿,形销骨立,气喘呻吟躺在道旁。御者告诉太子:“这是病人,已经活不了几天啦!”太子说:“一切都是无常的。我显然也会这样,有生病的那天。”心中不快,便驾车回到了宫中。后来,太子再出西城门,看到了一个死人,家属在边上号啕悲啼,状极悲惨。一连目睹人老、病、死的磨难,而且谁都免不了这一遭,悉达多太子开始思索解脱世人痛苦的办法。又一天,他们出北城门,遇上了一位衣服整齐,手持法器叫比丘的人。比丘自称一生绝情去欲,心地慈悲,以救度众生为己任。太子闻之,豁然开朗:“我也要过这样的生活。”
        据传,释迦牟尼当时所见到的老人、病人、死人和僧人,都是天神所化,目的是要激发释迦牟尼的出家决心。天神成功了!当释迦牟尼四门游观之后,便下定了出家修道拜师寻法的决心。他向净饭王提出请求。净饭王心中十分不舍,千方百计劝阻他,但太子矢志不渝。一天深夜,他终于听到了天神的召唤:“菩萨出家时刻已到!”悉达多于是潜出寝宫,唤醒车夫车匿,套上白马健陟,悄悄来到城门脚下。天神早已来此接应,托起白马,转眼便跃到城外,太子让车匿回宫禀告父王,自己独自一人出家修道去了。
        佛教徒相信,四门游观的所见所闻,是佛陀出家的直接原因。然而研究表明,四门游观的故事文学性多于历史真实性。早期的佛典没有这方面的记载,极可能是后人为了诠释佛教的“八苦”教义而臆造出来的。