武则天以为张氏兄弟是公卿之后、世家子弟，大臣们该没人说闲话了，但忠心耿耿的内史狄仁杰偏偏不买账。狄仁杰先前就曾力谏武则天撤除秽乱深宫的“控鹤监”，现在又梗着脖子对武则天说：“昔臣请撤‘控鹤监’，不在虚名而在实际，今‘控鹤监’之名虽已除去，但二张仍在陛下左右，实在有累皇上的盛名。皇上志在千秋，留此污点，殊为可惜，愿罢去二张，离他们越远越好。”右补阙朱敬也劝谏武则天：“志不可满，乐不可极。嗜欲之情，愚智皆同，贤者能节之，不使过度，则前贤格言也……”
武则天煞有介事地解释道：“我嬖幸二张，实乃为了修养身体。我过去躬奉先帝，生育过繁，血气衰耗已竭，因而病魔时相缠绕，虽然经常服食参茸之类的补剂，但效果不大。沈南璆告诉我：‘血气之衰，非药石所能为力，只有采取元阳，以培根本，才能阴阳合而血气充足。’我原也以为这话虚妄，试行了一下，不久血气渐旺，精神渐充，这绝不是骗你的，我有两个牙齿重新长出来就是证明。”狄仁杰一时无话可说，只得顺着台阶就势而下：“游养圣躬，也宜调节适度，恣情纵欲，适足贻害，希望陛下到此为止，以后不能再加添男侍了。”朝堂之上，君臣之间竟讨论起男侍的事情，真是千古少见。不过，武则天晚年因保养得法，年高而不衰，却也是事实，她还为此专门下诏改元为“长寿”呢。
