可是薛道衡不睬杨广，硬是从江陵走，不绕那点弯路。杨广的脸面被扫，很不高兴。其实这已经不是第一次了，想当年平定陈朝时他们曾一起作战，薛就没给过他好脸色，那也行，当年杨广才二十岁，的确年轻，没经验，挂个元帅的名，就任由高熲，贺若弼，薛道衡等人说了算。可几年过去了，薛道衡还是没把他放在眼里!
杨广很不爽，但他也还不是妒贤忌能之人，任由他去。
杨广即位后，任命他为番州刺史。皇帝的用意很明显：你是先帝下令得外放的，咱就是想把你调回来，也得稍等等，过几天再说。聪明人也会明白，孝治天下，老皇帝两腿一蹬，新皇帝就来个大洗底，那不乱了套嘛，所以，薛道衡只要随便那么做做样子，不久就可以回到中枢，逍遥快活。隋炀帝还指着他回来继续在秘书监干嘛。可是不知道他是铁了心的不和杨广合作还是脑子进水了，一年后，他便上表要退休。
对于这样的老人，隋炀帝也没什么好办法，只她把他召回京。如果他安安静静地，也就算了，给他一个台阶下，另安排一个职位。可薛道衡一回京，做的事情就很不好看。他上奏了一篇《高祖文皇帝颂》，把文皇帝的前朝夸得天上有地上无，似乎文皇帝就是华夏民族最强，没有之一。但话里话外都和诗经的《鱼藻》有点类似，就是怀念武王讽刺学习幽王的!
本来不想和他计较，但这老儿竟然还有这样心思，那就不得不除掉了。杨广准备对他下手，让他担任司隶大夫。司隶大夫是京畿地区总安全官，看起来还是个正四品的官，但是很不安全，万一出个什么事就得他挂上钩，何况和秘书监这样的单位比起来，他去上任，尴尬得很。连司隶刺史房彦谦都看出了问题，要他低调点，否则就要没命了。
