杨坚当时也没多想，还挺高兴，打算去随份子喝喜酒，可是他看出来旁边的独孤皇后不高兴了，于是就问：“你怎么啦，人家生了男孩这是大喜的日子，你有什么不高兴的。”独孤皇后就说：“你说高熲这个人的人品有多差，前些日子你说给他娶老婆他装的很清高，说不要。可是转眼就跟小妾生了孩子，还说天天在家里念佛经，难道这孩子是念佛经念出来的嘛，都是过来人了，这事儿还用臣妾明说嘛，他肯定老牛吃嫩草了。现在狐狸尾巴露出来了，说明他不是个正人君子，陛下以后再也不要信任他了。”
杨坚一听这话有道理，顿时就觉得高熲这个老东西欺骗了自己，表面一套背后一套不老实，这不是活脱脱的一个小人嘛。
独孤太后又对杨坚说了另外一件事情，在公元598年，高熲和汉王杨琼一起出征高丽，当时杨琼的年纪很小，所有的事儿请全都是高熲来处理。杨琼有时候也想说点什么，但是高熲很少服从他的指示，杨琼早就怀恨在心，对他的老娘说：“我差点被高熲害死！”
杨坚听说了这样的话，对高熲的意见就更大了。其实这件事情的漏洞很多，有这回事儿，为什么独孤皇后不早点对杨坚说，两年以后才想起来。原因只有一个，因为当时独孤皇后和高熲的私人关系不错，把这件事情给压下来了。也许根本没这回事儿，都是独孤皇后和杨琼两个人编的。目的就是整垮高熲。
得到了杨坚这样的态度，独孤太后觉得时机已经来临了，于是他联合杨素等权臣，向杨坚举报说：“高熲和大将军元胄接受了王世积的贿赂，很多珍宝和宝马！”当时杨坚已经想收拾高熲了，所以根本也不调查，先把元胄免职，然后把高熲逮捕，丢进了监狱。
审问过后，认为高熲的确有罪，免除了他所有的职务，然后让他回家反省。
但高熲毕竟也是立了这么多功劳的人，杨坚这个人还是很重感情的，从他对待郑译和刘昉就可以看出来。不久之后，杨坚就又想起高熲来了，但是他没有在宫殿里正式接见他，而是跑到秦王杨俊的家里请他吃饭，吃饭的时候，高熲像个娘们似的一直哭。杨坚就安慰他说：“不是我辜负了你，是你自己辜负了你自己。”
然后为了让高熲放心，就对在座的官员们说：“我对高熲就像是对我自己的儿子一样，即便他不在我的身边，好像也经常在我的眼前。”
高熲已经得罪了独孤皇后，独孤皇后认为高熲只要在一天，就有可能影响他换太子的计划，所以打算再给他来一下子，让他连三胖子也当不成。不久之后，就又有人举报高熲，说高熲演戏是为了做司马懿，将来做皇帝。
这一次杨坚真的怒了，但是他还是不打算杀高熲，因为一再的屠杀功臣会造成朝廷之中的恐慌，于是开除他所有的公职，把他贬为平民。这下子，独孤太后的目的终于是达到了，下面就是联合晋王、杨素这些人，给太子杨勇压下最后一根稻草。