关于“三姑六婆”的来历，最早可追溯到明代。明代学者陶宗仪在《南村辍耕录》卷十中有这样的记述：“三姑者，尼姑、道姑、卦姑也;六婆者，牙婆(贩卖人口的妇女)、媒婆、师婆(女巫)、虔婆(鸨母)、药婆、稳婆(接生婆)也。”清代小说家李汝珍在小说《镜花缘》中有这样一段文字：“吴之祥道：‘吾闻贵地有三姑六婆。一经招引入门，妇女无知，往往为其所害，或哄骗银钱，或拐带衣物。’”这便是“三姑六婆”的原意。

由于当时有些人往往借着三姑六婆的身份干坏事，通常人们便把不务正业的女人称作“三姑六婆”。