戴凤翔弹劾海瑞的疏文中说海瑞妻妾争宠，海瑞“偏向宠妾，殴詈正妻”，导致“其妻愤激自缢身死，妾亦慌惧相继而缢”(见高拱《高文襄公文集》卷二十三)。戴凤翔的说法也许并不可信，但海瑞自己所说也没有给出韩氏自杀的说得过去的理由。这时候的海瑞在南京任正四品的通政司右通政之职，他是半年多前才到南京来的。那么，海瑞纳韩氏为妾可能是在北京，也可能是到南京之后的事，无论哪种情况，韩氏跟随海瑞的时间都不算长。
必须交代的一件事是嘉靖四十四年(1565年)十月海瑞因为上了震惊朝野的尖锐批评嘉靖的“直言天下第一事疏”——《治安疏》而在次年二月下狱，两个儿子就在这一年死了，一个11岁，一个9岁，而海瑞已经52岁了。可以想见，这个打击对海家来说会是怎样的致命情形。妻死妾亡，海瑞的心态如何呢？据一封写给朋友的信件透露，海瑞说自己“每一思及，百念灰矣”，可见他未必是人们想象的那种无情之人，对妻妾也不是没有感情。而酿成这样的家庭悲剧，不由得不让人想到已近80岁高龄的海太夫人。
海瑞还有一妾姓邱，史料中只说她为晚年的海瑞生了一个儿子，但长到3岁就夭折了。
海瑞于隆庆四年(1570年)四月申请退休，获准后离开南京回家乡琼山闲居，从此离开官场15年，直到万历十三年(1585年)正月海瑞已经72岁时才重新回到官场，先后任南京都察院右佥都御史、南京吏部右侍郎及南京右都御史之职。邱氏什么时候所纳史无明文，或许是海瑞在家乡时所纳，但万历十五年十月十四日海瑞死的时候有“二媵四仆”。
说到海瑞死时有“二媵四仆”的不止一种文献。如与海瑞有书信往来的侄女婿梁云龙在所撰《海忠介公行状》中称海瑞死时“二媵四仆，愚弱不胜”(《海瑞集》第544页)；同乡晚辈王国宪所辑的《海忠介公年谱》称海瑞“临危弥留，二媵四仆奉侍，无一语及身后事”(《海瑞集》第598页)。 媵是侧室，也就是小妾。这二妾中有一个可能是邱氏，另一个则可能是重回南京后所纳(因韩氏已死)。当然，也不排除这二妾中邱氏不在内的可能。假定这二妾一个是邱氏，一个便是政敌攻击海瑞时所说“瑞已耄，而妻方艾”的那个年纪“方艾”的女孩，那么海瑞也已经有过三个小妾，这样“六娶说”就不是高估，而是有确切证据的最低估计。
