后来没几天，有一流言满城皆传，那便是高阳长公主同顾纬天已经和离，且顾纬天续了秋落为继妻。
这流言传来传去，自然也就传到高阳长公主耳中，既然皇兄不准她同顾纬天和离，她便对这流言不屑于顾，可是有一天，这流言竟变成另外一个版本，说顾纬天欲与高阳长公主和离的真正目的是，高阳长公主不能生养。
这话入了高阳长公主耳中，她可不想等闲视之，她不能生养是事实，但却不想面对这个事实，除非以和离来掩盖，因为只有和离了，她没了丈夫，能不能怀孕外人也就无从得知。
于是，她再次找到宇文佑，铁了心的要与顾纬天和离，不料再次给宇文佑驳回。
此时的高阳长公主颇有些内忧外患的感觉，因为她疯狂报复太后，以至于滥杀无辜，阖宫怨言沸腾，闹到宇文佑面前，宇文佑狠狠的斥责了她，为了息事宁人，宇文佑甚至废了她的长公主之位，降等为一般皇亲，但保留了她的封号高阳，又责令她不准再踏入宫中，当然，驸马府也就不复存在，她就随着顾纬天住到了普通的民宅，从此不再是高阳长公主，而仅仅是先皇之女高阳。
从高峰跌落谷底，这种大起大落让高阳无法接受，直接受害者便是顾纬天，她成天的吵闹，吵到最后直接的结果是，顾纬天给了她一纸休书，她之前是长公主，顾纬天连和离都是困难的，现在她只是普通皇亲，休妻也就不是什么难事。
然而还是受到了阻挠，这阻挠来自顾保三，他同高阳一样的心思，虽然现在依然是荣华富贵，可是再不如做大驸马的老爹更风光，所以顾保三一方面阻挠儿子休妻，一方面还极力筹谋想让高阳重回往日的荣耀，他才能鸡犬升天的重回往日的荣耀。
为了阻止儿子休妻，顾保三找到张贵玉，想麻烦他在皇上跟前递个话，有皇上干涉，顾纬天必不敢休妻。
谁料，张贵玉是个势利小人，眼见高阳失势，顾纬天也不再是大驸马，他就无需再溜须拍马，于是为难的对顾保三道：“皇上每天光是看奏折都看到半夜，哪里还有工夫管你的破事。”
翻脸无情，顾保三忍着他的小人嘴脸，赔笑道：“皇上没工夫管我这破事，也不会有工夫管你的破事，听说你那个女儿还在冷宫关着呢，你若帮了我，我也可以帮你把女儿从冷宫弄出来。”
张贵玉讥笑着，撇嘴道：“你？”
是了，你一个曾经的太监，你现在进宫都困难，凭什么管起宫里的事？
顾保三知道他不会相信，也笑，胸有成竹道：“是我，因为我儿子同狐兰猗交情深厚，而狐兰猗同皇上交情深厚，狐氏出面，皇上必然给她面子，你女儿的事就不是什么大事。”
所谓交情深厚，还不是宇文佑喜欢兰猗的意思。
不成想，这事也是满城风雨了。
这回，张贵玉有些犹豫了，宇文佑对兰猗的心思，他是比谁都了解的，想了想告诉顾保三：“话我可以帮你递，但能不能成，看你的造化了。”
无路可走，权且一试，顾保三叹口气：“我信天命。”
张贵玉就一甩拂尘，很是傲慢的样子：“行了你等信儿吧。”
顾保三千恩万谢，回到家里等候好消息。
可是他最后等来的是坏消息，张贵玉找到宇文佑，宇文佑正同九王宇文偲喝酒呢，眼瞅着天渐渐凉爽，也就意味着公输拓的死期快到了，宇文佑精神焕发，吃了个半醉，同宇文偲说着闲话，三句不离兰猗，仿佛兰猗已经唾手可得。
兄弟俩这次吃酒的处所是在“捞月阁”。
这捞月阁建在御花园的那处小山的顶端，可以俯瞰整个御花园，无论夏天赏花还是冬天赏雪，都是极好的位置，宇文佑不经意的一回头，发现张贵玉拾阶而上，他淡淡对宇文偲道：“他来准没好事。”
宇文偲一直都是陪酒的角色，此时业已微醺，醉眼迷离的笑道：“皇兄何出此言？”
宇文佑哼了声：“还不是因为他那个女儿的事，三天两头在朕的耳朵根磨叽，朕的耳朵都生出老茧了。”
宇文偲也知道绣鸾，更知道她一直在冷宫关着，不过随口劝道：“张公公难得忠心耿耿又勤勤恳恳，也在皇兄身边有些年头了，皇兄何妨成全了他的心意。”
宇文佑缓缓摇着头：“放是不能放的，非是朕心狠，而是老九你不知道内情，张贵玉的那个女儿，其实曾在卫沉鱼身边做过婢女。”
这事宇文偲知道，再劝：“可她现在是皇兄的嫔妃。”
宇文佑摆摆手：“你还是没明白朕的意思，她既然是卫沉鱼的婢女，朕担心她是卫沉鱼安插在朕身边的细作，谁都知道卫沉鱼同公输拓的关系。”
这事宇文偲还真没琢磨透，狐疑道：“不会吧。”
宇文佑冷冷一笑：“朕不能掉以轻心，朕必然也不会给公输拓一个喘息的机会。”
宇文偲沉吟着，深知宇文佑多疑，也就不敢再说其他，甚至怕自己为绣鸾开脱太多，从而引来皇兄的猜忌。
此时张贵玉走了上来，先拜见宇文佑，再给宇文偲施礼。
宇文佑捏着酒杯懒得看他，只问：“什么事？”
张贵玉艰难的笑着：“还不是大驸马同高阳长公主的事。”
宇文佑突然不悦：“顾纬天不再是大驸马，高阳亦不再是长公主，老张，你这差事也当得腻了，是故意口误，还是真的忘记了。”
张贵玉慌忙给了自己一嘴巴，哭笑不得道：“皇上恕罪，还不是叫顺嘴了。”
宇文佑懒得看他这种嘴脸，抿了口酒问：“说吧，那两个人又怎么了？”
言语间颇有些不耐烦。
张贵玉看出他不高兴，无奈答应顾保三的，只好硬着头皮道：“顾纬天要休妻。”
宇文佑一愣，完全没料到顾纬天会如此大胆，更没料到顾纬天会如此的耿直，他是宁可不当皇亲国戚，也要离开高阳，宇文佑生气，想金口一开让顾纬天死了那条心，可是实在给这两个人闹得心烦，为了以后他们不再烦自己，索性道：“顾纬天想休掉高阳，他做梦，朕已经下旨准他二人和离。”