此山南麓原有一座奇特的孤墓，墓碑上写着“奶娘之墓”四字，据说是乾隆皇帝奶娘之墓，旁边还有一座小亭，人称“奶娘亭”。相传乾隆原是海宁陈阁老之子，出生那天恰好雍亲王夫人也生了孩子，雍亲王就让陈家抱孩子入王府看看，可送出来时小子变成了丫头。陈阁老知此事性命攸关，命全家忍气吞声。但雍亲王调包后还想灭口，派人送鹤顶红毒酒到陈家，要奶娘喝下。奶娘死后，陈阁老葬其于此。乾隆下江南时知道了这段故事，曾多次来坟前祭奠。当然，这一传说实为无稽之谈，因为雍正根本不缺儿子，完全没必要偷换别人孩子；且满清视汉人为奴，皇室血统更是不容混淆的；何况毒死奶娘一人，并不能灭口。无非是乾隆六次南巡，四次到海宁视察钱塘江海塘工程，每次都住在陈阁老家的隅园中，清末好事者就编造出陈阁老之子传奇来。皋亭山之奶娘墓究竟是谁，实际上早已不可知，所以当地民间才捕风捉影附会为乾隆的奶娘。或许，这奶娘墓，还有更奇特的故事呢！