考古专家寻访了附近30余个村庄进行对比，初步认定这两栋民居为元初古民居。此时，沉寂了数百年的古宅才得以“破茧成蝶”。
四街八巷显家族盛世
坍塌的老屋，杂草丛生的院落，谁也无法想象这里曾经的显耀。只有依旧供奉着先祖的大祠堂，依稀还能看到昔日的人丁兴旺。
事实上，村子是被高高的围墙保卫着的，“云山世第”是村子的中心，村子里的房屋围绕着这座祠堂而建，形成了“四街八巷”。由于房屋密集，屋檐相靠，过去在街巷里行走，可以“晴天不见灰，雨天不湿鞋”。
棠港村支部书记赵鸣绘说，村子里并不是盛产石料的地方，祠堂所需的大麻石都是从安义等地运来的，这足以看出当时赵氏始祖的财力雄厚。赵氏始祖在这里逐渐开枝散叶，最兴旺的时候，村子里居住了1000余人。此后，村子也逐渐衰败，如今村子里也只有两三百名村民。
尽管祠堂四周的老屋不是倒塌就是被拆除重建，曾经的辉煌也已不见。但是，“云山世第”仍然是村里人的一个中心地。直至今日，村里人不论是嫁女，还是娶妻，都必须在祠堂拜过祖先。而村子里遇到了大事，也都是在祠堂里商讨。
自称皇族后裔迁徙建村
尽管居住在祠堂大院里的村民，都纷纷搬出大院另建新屋，可是祠堂里先祖的雕像却始终香火不断。村里的人都知道，他们的先祖是因为逃避战乱迁徙至此。可是，在经历战乱之后，仍能建起如此庞大的家族，可见赵氏先祖并非等闲之辈。
