太子始终不亲近她。妃子请求离去，淮南王便致歉上奏朝廷，把她送回娘家。
王后荼、太子刘迁和女儿刘陵，都受淮南王宠爱，专擅国权，侵夺百姓的房宅田地，任意加罪拘捕无辜的人。
太子刘迁学习剑术，自以为剑术高超，无人能比。听说郎中雷被剑术高超，便召他前来比试。雷被一而再再而三的退让，就想结束这种比试。而太子以为雷被剑术低劣，便没完没了的比试剑术，雷被不小心，击中太子。太子动怒，雷被害怕，就想去参军，抗击匈奴，离开这是非之地。太子屡次在淮南王跟前说雷被的坏话。淮南王便令郎中令，罢免了雷被的官职，雷被便逃到长安，向朝廷申诉冤情。
皇帝诏令廷尉、河南郡审理此事。河南郡接到诏令，决定追捕淮南王太子。淮南王与王后并不打算遣送太子，想趁机发兵反叛，淮南王反复谋划仍犹豫不决，十几天过去了，不能做最后决定。适逢朝中又有诏令下达，让就地传讯太子。
朝廷派中尉到淮南调查此案，先询问太子与雷被比剑术的事，又询问淮南王罢免雷被的原由。淮南王见中尉审理案子态度温和，揣摸不会定自己什么罪，就配合中尉处理此案。
中尉还朝，把查询的情况上报，负责办理此案的廷尉启奏皇帝说：淮南王刘安阻挠雷被从军抗击匈奴的行径，不执行天子明确下达的诏令，应判处死刑弃市。
皇帝下诏令说：不许。
廷尉又上书，请皇帝废除淮南王刘安的王位。
皇帝仍诏令：不许。
廷尉又上书：请求削夺淮南王刘安五个县的封地。
皇帝再下诏令：同意削夺淮南王刘安两个县封地。
朝廷派中尉殷宏去宣布赦免淮南王的罪过，削地以示惩罚。中尉进入淮南国境，宣布赦免了淮南王。淮南王刘安一直都在策划谋反，实在是有些不自量力。
这件事皇帝赦免淮南王的罪过，削去淮南王两个县的封地，就算结案了，这本是一个令人满意的结果，淮南王却感到耻辱，想要谋反的决心更加强烈。最爱听一些宾客的邪说，凡是说皇帝无儿，天下不太平之类的话，淮南王就高兴。所以淮南王的一些宾客，捡他爱听的话说，并鼓励淮南王谋反，目的就是要骗淮南王的赏钱。