陛下选陵于此，恐从此后为女人所控。三是梁山主峰直秀，属木格，南二峰圆利，属金格。三座山峰虽挺拔，但远看方平，为土相。金能克木，土能生金，整座山形龙气助金，地宫营主峰之下，主陛下必为金格之人所控。依臣愚见，若陵址定于此山，陛下日后必为女人所伤!”然而高宗还是毅然选择了在梁山建陵，袁天罡一听，仰天叹曰：“代唐者，必武昭仪。”他怕将来受牵连，就辞官不做，出外云游去了。
然而传说毕竟是传说，据文献记载，弘道元年高宗死后，陈子昂等人极力主张在洛阳设置陵寝，但武则天遵照高宗“得还长安”的遗愿，在关中渭北高原选择了吉地，命吏部尚书韦待价为山陵使，户部郎中韦泰真为将作大匠，动用兵士和民工20余万人，按照“因山为陵”的葬制，将梁山主峰作为陵冢，在山腰凿洞修建地下玄宫。《新唐书.陈子昂传》载：“山陵穿复必资徒役，率癯弊之众，兴数万之军，调发近畿，督扶稚老，铲山背石，驱以就功。”
武则天于神龙元年病故后，中宗皇帝满足母后“归陵”的遗愿，力排众议，命人挖开乾陵羡道，启开墓门，于神龙二年五月将武则天合葬入乾陵玄宫。至此以后，乾陵作为中国古代帝王陵墓中唯一一座一陵葬两帝的陵园立于梁山之上，而尘封的木门也再也没有向世人开启过。
