海瑞的第一位夫人姓许，两人什么时候结的婚不清楚，能够知道的是，嘉靖二十五年(1546年)海瑞33岁的时候，许夫人被海瑞休了。在那个时代，一个女人被休弃是莫大的羞耻。何况这时候已经育有两个女儿，让一个女人离开自己生养的女儿必然也是莫大的痛苦。而且，似乎许夫人还在经济上吃了亏，为此，她还告过海瑞。
许夫人到底是因什么原因被休，犯了“七出”中的哪一条？从“以大故所出妇许氏”的提法来看，许夫人似乎有过什么大差错。但是所谓的“大故”到底是什么呢？也许是没有生男孩，海家无后，这是比较靠谱的理由。是否如此无从查考。但是许夫人年纪尚轻，生育问题似乎不是理由。
另一种原因，或许正如许多人所猜测的那样，可能是她与海瑞的母亲海太夫人之间的婆媳矛盾。这样的事，在著名的汉代长诗《孔雀东南飞》中有过详细的描述。问题在于，许夫人如同不幸的刘兰芝，海瑞是不是也有焦仲卿那样的感情？历史材料显示，海瑞并不是焦仲卿，他是个著名的孝子，他永远是无条件地站在母亲这一边的。这就决定了海家的媳妇不好当。
海瑞和许夫人离异之后，又娶了潘氏夫人。但是，潘夫人到海家之后不到一个月又被休弃，休弃的理由不得而知。
接着海瑞又娶了王氏夫人。王夫人比较争气，在海瑞到达淳安之前两年为海瑞生了个儿子，名叫中砥。海瑞到淳安任上之后的当年，王夫人又为海瑞生了个儿子，取名中亮。王夫人还生了个女儿，不过什么时候生的不太清楚。嘉靖四十三年(1564年)十月，海瑞被调到北京户部(类似现在的财政部)工作，海太夫人不喜欢到寒冷的北方去生活，海瑞没有办法，只好让王夫人携二男三女服侍海太夫人从海瑞在江西兴国知县的任上南归，而海瑞则带了两个仆人北上任职，这一年海瑞51岁。于此可知，当年海瑞任淳安知县的时候，他身边至少已有两个已经十几岁的女儿和两个年幼的儿子。
王夫人于隆庆二年(1568年)七月二十四日晚上去世，据海瑞说是生病去世的，但也有人说是自杀的，《万历十五年》说王夫人“于1569年在极为可疑的情况下死去”(1569年的说法有误)。在王夫人去世前11天，海瑞的妾韩氏上吊自杀。这两件事联系起来，使海瑞的家庭生活变得扑朔迷离。韩氏为何自杀？王夫人到底因何而死？这些事已经成了历史之谜，但海瑞在官场上却有了非常不好的名声。
