曹皇后温柔娴淑，《宋史》记载她：性慈俭，重稼穑，常于禁苑种谷、亲蚕，善飞帛书。闲暇之余种地、养蚕、练书法，不像郭皇后那样整天盯着丈夫。宋仁宗似乎也没有吸取教训，于是养母的侍女、乳母的女儿，一个个纷纷被纳入后宫,整日里争奇斗艳。皇帝好色，下属焉能不投其所好？枢密使王德用进献绝色女子，据说是姐妹花，宋仁宗非常喜欢。不想此事被知谏院（谏院负责人）王素知道了，王素向宋仁宗求证此事。仁宗对王素说：“我是真宗皇帝的儿子，你是（前朝宰相）王旦的儿子，咱们俩是世交，关系不是一般人能比的。王德用确实进献了两个女子，但是已经侍奉左右了，怎么办？”王素回答：“臣忧虑的正是您左右的人。”仁宗虽心中不舍，但还是知错就改，马上命人将二女赐金遣返出宫。宋仁宗这人最大的优点就是深明事理，听得进不同意见。被他贬出京城的大臣如范仲淹、庞籍、滕宗谅等人，后来都得到重用。
虽然如此，后宫人数还在不断增加，宋仁宗修建了“十阁”安置宠幸的宫人。景祐四年，就在宋仁宗即将绝望之际，后宫终于生下一子，当天即夭折。从此后宫陆续有人生产，可惜存活的很少。一些宫人为了讨赵祯欢心，不惜冒死与人通奸，期望生下皇子继承皇位。嘉祐四年（1059）年七月，年届五旬的宋仁宗设坛求子，命御史中丞韩绛书写祷辞。韩绛趁机密报后宫丑事，劝仁宗裁减后宫，汰出宫人。仁宗大惊道：“非卿言，朕不知此！”查明实情后，一次放出宫人二百三十六人，赐十阁中尤其骄恣无度的刘氏、黄氏出家为道。嘉佑六年（1061年），宋仁宗御崇政殿，策试贤良方正能直言极谏者。年轻的苏辙（22岁）在策论中极言宫禁之事，他这样写道：“我在路上听人说，不知是否属实？近年以来，宫中美女数以千计，每日里歌舞升平，欢宴无度……汉唐时期女宠造成的祸害，您想必应该知道。长期这样不知节制，百病将由此而生……您不要以为好色是在内宫，不会耽误国家大事……”尽管苏辙的议论是源于“闻之道路，不知信否”的小道消息，但是从主考官司马光要将其列入三等（最高一等）的举动来看，苏辙所言应该是切中时弊的。苏辙言语不知忌讳，执政大臣欲将其罢黜，赵祯说：“本来是诏求直言的，因为直言反遭贬黜，天下人会怎样说我？”他还是很明事理，但终究难改好色本性！
