詹姆斯五世死后，苏格兰人民主张为这位备受尊敬的夫人平反。为了安抚民意，詹姆斯的女儿与莱昂家族达成了和解，并将格拉米斯城堡交还给了莱昂家族。
除了“灰衣夫人”，格拉米斯城堡还有一个“鬼魂玩牌”的故事，流传很广。故事的主人翁叫帕特里克，他是莱昂家族的成员，酷爱玩牌。有一个星期六，赌瘾大发的帕特里克玩牌到了深夜，当一个仆人前来提醒他快到安息日(基督教休息日，这天应停止手上所有的事情，祈祷并休息)时，帕特里克回答说：“我才不管什么安息日，如果魔鬼愿意玩牌，我也陪他玩上一把。”不料帕特里克的话刚出口，一阵雷声过后，魔鬼真的出现在了城堡。魔鬼告诉帕特里克他已经死去，但灵魂会在那个房间一直赌博到“末日审判日”……所以时至今日，人们还能听见玩牌的声音从房间里传来。
林林总总的“闹鬼”事件不止出现在城堡内部，城堡附近也有。比如在第一次世界大战时，一位名叫达蒙·阿瑟的飞行员在城堡附近因飞机失事身亡。事后军方宣布他是事故责任人，不予抚恤，深感“冤屈”的鬼魂从此便在城堡附近游荡，要求得到公正的裁决。直到多年以后，达蒙·阿瑟当初驾驶的飞机被证明是因技术缺陷而坠毁，他的名誉才得以恢复。为了安抚这位蒙冤的亡灵，人们在离城堡不远处修建了一座小纪念馆——据说，就在纪念馆落成的当日，城堡周围传来了达蒙·阿瑟哭泣的声音。
