漢宣帝說這個話的時候是這樣的，當時他立的太子劉奭，看到漢宣帝重用法家人物，用嚴厲的刑罰處置大臣。當時有兩個大臣楊恽、蓋寬饒對漢宣帝有“刺譏辭語”，是以漢宣帝就把他們殺害。劉奭很擔心，就勸他爹說：“陛下你的刑罰用得太重了，應該多重用儒生，實施仁政。”漢宣帝聽了大怒：“你懂什麼？咱們漢家的制度就是霸道與王道一起用，才能安天下。如果隻實行周朝那樣的所謂‘德政’，怎麼行？（意思是周朝是以搞得四分五裂）。咱們也不能單純用儒生。那些儒生隻曉得厚古薄今，連‘名實’都搞不清楚，如何能夠治理天下？”
（漢宣帝）
漢宣帝說到激憤處，甚至歎息道：“亂我家者，太子也！”
漢宣帝并沒有說錯。後來劉奭（漢元帝）上台後，柔仁好儒，結果造成大臣們坐大，形成外戚、儒臣、宦官三股勢力互相争鬥厮殺，漢元帝卻控制不了局勢，漢朝是以從漢元帝開始走向衰敗，而外戚、儒臣、宦官的這種争鬥，一直延續到整個西漢滅國。
既然漢宣帝已經很瞧不上他的太子了，為什麼不廢了他另立一個人，還要繼續把皇位傳給他呢？
其實，漢宣帝當時并不是沒有合适的人選。第一個皇後許平君被毒死，第二個皇後霍成君自殺以後，漢宣帝特别寵幸一個張婕妤。這個張婕妤生了個兒子叫劉欽。劉欽在性格上非常像漢宣帝，史書記載：“憲王（劉欽）壯大，好經書、法律，聰達有材，帝甚愛之。”漢宣帝甚至直截了當地稱贊他道：“真我子也！”
既然如此，漢宣帝為什麼不改立劉欽為繼承人呢？
（劉奭劇照）
其實，漢宣帝并不是沒有想過，他多次動了要改立劉欽為太子的念頭。最後沒有立，史書上是這樣記載的：“太子起于微細，上少依倚許氏，及即位而許後以殺死，太子蚤失母，故弗忍也。”
這段話說的是，漢宣帝不忍。
劉奭是漢宣帝的長子，是漢宣帝和許皇後生的。漢宣帝和許皇後（許平君）結婚的時候，漢宣帝還在監獄裡，兩人可以說是患難夫妻。當漢宣帝當了皇帝以後，霍光和他的老婆霍顯想立自己的女兒霍成君為皇後，但是漢宣帝不願意丢了患難夫妻，下诏說要尋找自己落難時期的那口舊寶劍。大臣們心領神會才推薦許平君為皇後。但是後來，當許皇後再度懷孕的時候，霍顯派醫生下毒把她毒死了，霍成君如願以償當了皇後。
（故劍情深）
正因為如此，漢宣帝才不忍心廢黜劉奭的太子之位。不廢黜劉奭，也就是對他患難夫妻許平君最大的紀念和安慰。
漢宣帝是如果處理他最喜歡的那個兒子劉欽呢？對此，史書上也有一段記載：“上以故丞相韋賢子玄成陽狂讓侯兄，經明行高，稱于朝廷，乃召拜玄成為淮陽中尉，欲感谕憲王，輔以推讓之臣，由是太子遂安。”
也就是說，已故丞相韋賢有個兒子韋玄成，這個人很賢明。韋賢去世以後，為把侯爵讓給自己的兄長，他裝自己發了瘋。直到兄長成功襲爵後，他才恢複正常。這件事在朝中引起很大的反響，大家都稱頌韋玄成。于是，漢宣帝便讓韋玄成輔佐劉欽，希望能夠感化劉欽，讓他安心做一個賢王。
應該說，漢宣帝的這個目的是達到了的，劉欽一生并沒有實質性的造反之舉。後來，連漢元帝的兒子漢成帝也比較尊敬他。
（參考資料：《漢書》）