元稹被贬江陵后，薛涛在《赠远》诗中有“月高还上望夫楼”的句子，显然薛涛已经把元稹当作了自己的丈夫，对他蕴含着炽烈的爱恋之情，表明他们的关系已非同一般。但是，元稹根本没有娶薛涛的意思。原因有三：第一，与薛涛热恋的时候，他已是有妇之夫，不能再娶；第二，两人的年龄悬殊过大。当时元稹才三十出头，而薛涛已经四十一岁了；第三，薛涛是乐籍出身，实际上是一个风尘女子，社会地位低下，对元稹的仕途根本没有帮助。如果说前两个原因是客观原因的话，那第三个原因才是元稹不娶薛涛的主观原因，也是最致命的原因。
元稹离开薛涛的时候，他的妻子韦丛已经去世，如果他真想娶薛涛为妻的话，这是一个机会。但元稹并没有娶薛涛，而是娶了安仙嫔。元和九年，安仙嫔去世后，老天爷又给元稹迎娶薛涛的机会，但元稹还是没有娶薛涛，而是在元和十年娶了裴淑为妻。因此，在元稹的骨子里，他根本是不会娶薛涛为妻的。
问题是，你不娶人家也就算了，元稹在离开薛涛的时候，曾经信誓旦旦地承诺，有机会一定要来接薛涛。他的承诺，让痴情的薛涛苦苦等待，等了一年又一年，最终也没有结果，以致终身未嫁。
长庆二年(822年)，元稹被贬为同州（今陕西大荔）刺史，长庆三年改转越州（今浙江绍兴）刺史兼浙东观察使。
这时，元稹与薛涛分别已经十多年了，已过不惑之年的元稹忽然旧情萌发，颇有意想把多年未见的薛涛（其时已年过半百）接过来“叙旧”。恰巧，他遇见了浙东名妓刘采春。刘采春是伶工周季崇之妻，当年也40岁左右，风姿绰约，正随着其夫在浙东演出。刘采春擅长唱歌，既能作曲，还会写诗，元稹立刻被迷住了，薛涛自然被抛在脑后。他开始与刘采春频繁交往，并作诗赠给刘采春。元稹迷恋新欢，忘弃旧好，与刘如胶似漆。元稹曰：“她诗才虽不如涛，但容貌佚丽，非涛所能比也。”
大和三年(829年)，元稹再入朝任尚书左丞（四个月）。大和四年正月，元稹自尚书左丞检校戶部尚书，兼鄂州刺史、御史大夫、武昌军节度使。诏命下，其妻裴淑不乐，元稹以诗相慰，淑亦以诗答之。元稹《赠柔之》：“穷冬到乡国，正岁别京华。自恨风尘眼，常看远地花。碧幢还照曜，红粉莫咨嗟。嫁得浮云婿，相随即是家。”
