世间的事总是让人说不清道不明，昔日的忠臣胡正还是最终向吴王低头，愿意和其合作。至于吴王如何救出胡军，那他自然有办法。两日后，廷尉就放胡军回到家里，胡正责骂几句后，就将胡军关进书房，美其名曰闭门思过。
随后几日里，吴王时常进出丞相府邸，两人密谋如何废掉太子翁源，话说这翁源好学成性，数月不出宫门，这让吴王和胡正两人无计可施。不过事有不巧，这位太子虽好学成性，但所读之书还百无禁忌，甚至命人在民间收购了很多禁书入宫研读，这事若无人发觉倒也罢了，可吴王和胡正两人都在找太子有亏之事，突闻此事后，两人都面对冷笑，知道机会来了。
次日早朝，胡正首先出班就直言弹劾当朝太子翁源，昭帝本慵懒无力，欲速散朝回后宫休息，突听胡正之言，忙直身而立，顿时百官吓得慌忙伏地低头。然胡正直视昭帝，亦大声道:“太子无德，擅居东宫之位，恐动国本。”昭帝大怒，想翁源半年不出宫门一步，安心学问，这都让你说成是无德了。你丞相到底意欲何为？想归想，昭帝倒不好撕破脸皮，当下沉声道:“太子久居后宫，不喜朝事，虽不好政务，然今天下大治，四海归心，日后太子做个守城之君倒也无妨，丞相无端言太子无德，是否言过其实了？”
胡正道:“陛下知太子历来所读何书？”昭帝笑道:“无非就是圣人之语，百家之长乎。”胡正正色道:“老臣闻先帝时，有一禁书，名号夏至秋末，书名虽文雅，然内容皆是毁谤朝廷之意。昔年先帝就将其作者灭其三族，今太子每日就在房内研读此书，若陛下不信，当唤东宫內侍前来回话。”昭帝听后眉头一皱，若太子每日研读禁书，这的确有违圣律，故唤东宫內侍前来，待昭帝闻之此事后，內侍答道:“陛下，奴婢侍奉太子数年，太子独好此书，称此书集百家之长，文采华丽，易懂而非。”
此时的昭帝早已怒火中烧，想堂堂太子，竟然读禁书，沉沦至此，当下就诏命将太子房内的禁书全部焚毁，将此书带入宫中者杀之弃市，收藏此书者，夷三族。太子素来仁厚，闻父皇欲大开杀戒，忙入太和殿欲劝谏之，不过昭帝此时不愿见之，而且命侍卫将太子软禁，劝其好好思过。
谁想太子被软禁数日后，突然就性情大变，变得喜怒无常，甚至对女色需求无度。昭帝本以为这是太子自暴自弃，过几日就好，毕竟父子一场，昭帝不愿废之。可谁想，太子不仅对左右侍女，需求无度外，连一些后宫的嫔妃都遭到太子的毒手。
很多人不解，太子尚在软禁之中，怎会出入后宫奸淫妃子。不过明了之人，一问就知，宫中妃嫔对这位太子甚是喜爱，一些妃嫔无事之时就会来东宫和太子吟诗作对，所以太子和诸多妃嫔关系甚好。昔日太子对妃嫔以人子之礼待之，本无可厚非，故无闲言闲语流出，皇帝就当看不到。后太子被软禁之后，诸多要好妃嫔前来探望，谁想太子无常，竟然将其奸污，妃嫔怕被人闻之，恐毁名节，就闭口不言，可今还是东窗事发。
昭帝闻之此事后，首先是惊愕，随后就是雷霆大怒。当下就召丞相以及三公九卿入宫商议废除太子之事，众臣闻讯赶到，礼罢各自站立不语，深恐会触怒皇帝。昭帝见诸臣至，就缓缓言道:“朕此番召众位爱卿入宫，就是商议废除太子之事。朕对太子失望至极，不愿想见，诸位爱卿意欲如何？”诸臣听罢，皆默然不语，数久后，司空周博出班道:“废立太子关乎国家社稷，望陛下三思而行，不可因一时之怒，而毁国家社稷。”昭帝起身，来回走动，突然回头直视丞相胡正，这一眼吓得胡正后背冷汗直流。
徐徐后，昭帝疲惫道:“太子无德，废之方可安社稷，待朕百年后，将大夏江山交给无德之人，朕死后有何面目见大夏历代先帝。”诸臣见皇帝执意废掉太子，就遵从皇帝旨意，拟定废立诏书。胡正见大事可定，就急忙出班道:“陛下虽为废太子伤感，然国不可一日无储君，望陛下速定东宫之位，方可安社稷。”昭帝本就心烦，此时听胡正出言欲再立太子，顿时烦躁不堪，胡正观之，知道此事太过急促，当缓缓图之。”而废太子翁源被废后，在软禁一个月后，突然暴毙而亡，当然昭帝已然无半点怜悯之心，只命人将其遗体草草收敛后，择一个郊外之处埋葬之。
后世史学家对这位废太子非常同情，在夏史中，更是提出翁源之所以性情大变，必然和吴王以及胡正，脱不了干系，当然怀疑归怀疑，却没有足够的证据