这条成语起源甚早。北宋末《续传灯录》卷十二有：“问：‘如何是默默相应底事?’师曰：‘瘂(同‘哑’)子吃苦瓜。’”宋人话本《错斩崔宁》中有：“哑子谩尝黄檗(bò)苦，难将苦口对人言。”黄檗，也是一种苦味的药。又，明代学者王阳明的学生刘观时有一天问王阳明道：“一个人的感情，在将发未发时，是什么气象?”王阳明回答说：“哑子吃苦瓜，与你说不得，你要知苦时，还是你自吃。”

后来，人们觉得瓜的滋味有甜有苦，而黄连则肯定是一味苦药，于是，便把“哑子吃苦瓜”改成“哑子吃黄连”。《醒世恒言·汪大尹火焚宝莲寺》：“那妇女中识廉耻的，好似哑子吃黄连，苦在心头，不敢告诉丈夫。”

现口语使用时多作“哑巴吃黄连”。