直到最后，乾隆也没有用围墙把整个园子都围起来，昆明湖南边是一片稻田，基本上用不着围墙，文昌阁到东宫门这段有围墙，文昌阁以外一直到廓如亭这段都没有围墙，所以老百姓可以到这个地方来。这样既满足了老百姓游玩的意愿，又能减少百姓直接面对龙颜的可能，同时皇帝也能隐隐约约看到昆明湖沿岸的风景。
在嘉庆二十二年的时候，曾经出版了一本书，这个作者叫得硕亭，书的名字叫《草珠一串》。他写的是北京的一些事儿，是用竹枝词这种形式写的，其中里边有一首这样写道，“昆明堤上看铜牛，万顷烟波百样楼。我爱西湖未曾见，自疑身已到杭州”，您看到了吗，人家诗中说了，到昆明湖上去看铜牛，这就证明至少在当时是可以到铜牛身边的，老百姓可以到这里来玩的，但是你可以远看，不能进去。
今天的南湖岛上存留的是慈禧后来修建的涵虚堂，这和当初的样子已经是大相径庭了。但实际上，早在乾隆时期最开始修建望蟾阁的时候，这建筑就修得不顺利。由于当初施工的时候是冬天，地面的土都冻了，所以地基打得并不深。当工匠们把这个三层的望蟾阁放上去以后，南湖岛这下面的地基就承受不住了，等到房子修好以后，来年春暖花开了，人们发现地基开始下陷，为此当时乾隆还处罚了一批匠人和一批有关的官员。事先没有进行考察，没测量好，地基都没弄好，就敢在上面修东西，这还了得啊?
到后来虽然采取了一些措施进行维修，但是毕竟是地基不行，再有乾隆年事已高，也不适合再登高了，这要是把他摔了，谁负得起责任啊，所以后来在嘉庆年间就把望蟾阁拆毁了。拆毁以后就建成了涵虚堂，吸取了上一次地基的教训，这次把它由三层改成了一层，但是1860年的时候涵虚堂也被八国联军烧了，烧了以后，光绪的时候重建，又把它按照嘉庆年间的样子原样重建。等到慈禧太后在昆明湖检阅水师的时候，就是在这个地方检阅的。
