刘钦夫妻对小儿子降生在这样的好年成非常高兴，特地为他起名为“秀”，意思就是庄稼出好穗。在刘秀9岁这年，他的父亲刘钦去世了，不得已刘秀和哥哥寄居到叔父刘良家中。
然而，这时候社会局面已经是政治腐朽、经济凋敝，民不聊生、危机四起。外戚王莽利用这一形势，玩弄权术，于公元前9年夺取政权，建立新朝。刘秀倒是安于现在的生活，本分地守着自己的一亩三分地，日出而作、日落而息。
刘秀身材高大，容貌俊朗，喜爱做农活，好交游侠士的哥哥因为这件事没少笑话他。刘秀哥哥是个天生的领袖人物，他的梦想就是像先祖刘邦那样在乱世有所作为，建立功勋，干出一番惊天动地的大事业。如此，身形修长、容貌俊美，如翩翩公子一般的刘秀，常常遭到哥哥的讥笑，哥哥把刘秀比喻成汉高祖刘邦的那位庸庸碌碌的二哥刘仲。
当年汉高祖刘邦就不愿意种田，因此，不被他的父亲刘太公待见，还被骂做是“无赖”，而刘邦的哥哥却很善于经营。刘邦在做了皇帝以后，曾经反问父亲太公说：“早先，大人常指我无赖，不能治产业，不如二哥殷勤实干，如今我成就的产业和二哥一比，是谁多谁大呢？”
刘秀哥哥常用此故事笑话刘秀，显然是把自己比作刘邦，把刘秀比作刘仲了。起初，刘秀听了也并不在意，依然在众人心目中维持着老实人的形象。不过，在哥哥的激励下，刘秀也逐渐有了“愤而有志于天下”的想法。
等刘秀年龄稍长，当同年龄的朋友都纷纷成婚聘娶、沉浸于家室之乐的时候，在王莽称帝的第十个头，20岁的刘秀却作出了另一决定：游学长安。
在长安，刘秀确实学习了大量典籍，这个短暂的充电过程在日后给刘秀和一大帮江湖大王区别了开来。
公元前22年，即王莽被杀的前一年，刘秀的老家南阳闹饥荒，世道非常不安定。不久，刘秀因盘缠用罄，刘秀又回到了南阳。
