许多文艺作品、电视节目以及各类野史异说中都浮现着他的身影。常用于降妖伏魔的“五芒星”符号(又称晴明桔梗印)，即为安倍晴明所发明。在安倍晴明成名之后，关于他的出身及童年经歷都成了不解之谜，就好象是凭空冒出来这么一个人一样，所有他在成年前的身世都几乎是以传说问世，也为这位大阴阳师平添了几份神秘。
据说安倍晴明是孝元帝之子大彦命的后裔。在《古事记》中有这样的记载：“大倭根子日子国玖琉命(孝元天皇)在轻地之塬宫，治理天下…………此天皇的儿子共计五位。若倭根子日子大毗毗命治理天下，其兄大毗古命的儿子建沼河别命为阿倍臣等的祖先”。于是这样算来，晴明一脉安倍氏祖乃是大彦命之11代孙——阿倍仓桥麻吕，又名阿部内麻吕。
仓桥麻吕在大化改新时任左大臣，其子安倍御主人在文武天皇时任右大臣，见记于《竹取物语》，为辉夜姬取火鼠皮。仓桥麻吕女小足媛为孝德天皇妃，生有马皇子，是天智天皇的竞争对手，中了苏我赤兄的诡计而被杀害。由此看来安倍晴明本应身世显赫，出身高贵。
但为什么在物语传说中安倍一族传至其父之时已然没落，这确是不得而知的。不过说到这个孝元帝，人家乃是从神武天皇往后数的八代目大王，在日本就被称为“欠史八代中的一人”。科学地说，这位身处神代之中的孝元帝，究竟是真有其人，还有杜撰虚构，就只能说是“信则有，不信则无”了。
