可是如此还是犯了忌讳，嘉庆八年（公元1803年）固伦和孝公主府长史奎福向内务大臣温布控告丰绅殷德"演习武艺，谋为不轨，并欲害公主，将妾带至坟园于国服内生女各款。"嘉庆一审发现纯属诬告，不过丰绅殷德国服内生女确有其事，丰绅殷德也供认不讳。故嘉庆帝谕示道："……实系奎福因革去长史心怀怨恨，捏词诬控，今爱书已定，丰绅殷德并无谋为不轨之事。其罪状在和将侍妾带至坟园，于国服一年内生女，实属丧心无耻，令其闭门思过，如此惩办已是敬幸，其他俱属轻罪不议。"
按大清律例，皇帝大丧期间，守制者不得悬挂门符，张灯结彩，不得婚嫁，不得同房生育等等，丰绅殷德身为额驸，在乾隆丧期内，当然应守禁忌了，从此丰绅殷德生活中最后的一根稻草也没有了，"饮醇酒、近妇人"这些平时里的行为也成了奢望，生活中什么自由都没有了，丰绅殷德哀叹："功名事业俱泡影，埋骨何须墓志铭。"
嘉庆十一年（公元1806年）嘉庆又授予他"头等侍卫，擢副都统，赐伯爵衔。"不久，嘉庆派他到乌里雅苏台任职，丰绅殷德"星驰瀚海，日近斗魁，秉公执法"。在边疆地区供职，与其说是嘉庆在提拔他还不如说是在流放他，嘉庆讨厌与和珅有关的一切，当然自己的妹妹固伦和孝公主除外，所以就来个眼不见为净，让丰绅殷德长期在边疆做官。而此时，丰绅殷德的身体由于过度放纵和自暴自弃的心境，已经是百病缠身了，在这种蛮荒之地无异于慢性自杀，他自己早死晚死都不太计较了。公主可不能眼睁睁地看着自己的丈夫奔赴黄泉，于是多次向皇兄求情，希望他放自己的丈夫回来养病。嘉庆十五年（公元1810年）二月，应公主所请，嘉庆许可丰绅殷德回京疗伤，还派人看望他，过了没几月，由于旅途劳顿，当年五月，丰绅殷德去世，年仅36岁，嘉庆"念其平日小心供职，赏给公爵衔，"又"派英和带同侍卫十人前往奠，并赏赐陀罗经被，赏给和孝公主银五千两，俾资料理丧务，仍照公爵衔给与恤典。"
