正当唐伯虎踌躇满志，立志有一番作为时，不幸却悄悄降临。父亲突然中风过世，母亲因太悲伤也随父亲而去。不久，妻子在生育孩子时，产后热盛，悄然离世。而小婴儿在出世3天后，也随亲娘而去。亲人接连病故，对唐伯虎打击甚大，料理完4位亲人的后事以后，唐伯虎把身边惟一的亲人、待字闺中的妹妹远嫁他乡，但是没过多久，又惊闻妹妹在夫家丧亡，这使得唐伯虎意志消沉。
他在《答文征明书》中这样写道：“不意今老，事集于外，哀哉哀哉，此亦命矣……不幸多故，哀乱相寻，父母妻子，蹑踵而殁，丧车屡驾，黄口嗷嗷。”但是后来在好友祝枝山、文征明的鼓励下，唐伯虎重拾古文，发愤苦读，“名不显时心不朽，再挑灯火看文章。”结果乡试名列榜首，“解元公唐伯虎”一时名遍南京城，他也自诩为“江南第一才子”。
唐伯虎27岁时续弦，娶了何氏。可惜，好景不长，在第二年的会试中，唐伯虎受到科举舞弊案的牵连，吃了一连串冤枉官司，从此科举无门，功名路断。何氏见唐伯虎失去仕进希望，与唐伯虎日日争吵，唐伯虎一纸休书将何氏送回娘家。后来，唐伯虎娶青楼女子沈九娘为妻，俩人情投意合，唐伯虎自此也潜心作画，在丹青上大有进展。唐伯虎31岁开始“千里壮游”，足迹遍及江、浙、皖、湘、鄂、闵、赣七省，贫困之下以卖画为生。唐伯虎擅画山水及工笔人物，尤其是仕女，笔法秀润缜密、潇洒飘逸，“唐画”为后世画家所宗。他的传世作品有《牡丹仕女图》、《骑驴归思图》、《秋风纨扇图》、《李瑞瑞图》、《一世姻缘图》、《山路松声图》等，诗词散文有《六如居士全集》。
