寇准被贬出朝后，赵恒就提拔原先的参知政事李迪和丁谓接任了宰相。
这个时候皇帝病重，朝中大事都是刘娥做主，刘娥又主要听从丁谓的建议。有了靠山，丁谓立即开始清除异己，过了不久，和寇准关系较近的枢密副使周起与签署枢密院事曹玮双双罢黜，而和丁谓交好的任中正和王曾很快就拜为参知政事，钱惟演拜枢密副使。到了后来，丁谓擅权越来越肆意，连官员的人事任命也不再上奏皇帝，这个时候，朝中能和丁谓抗争就只有李迪一个人了，而李迪也就成了丁谓的眼中钉。
在中书省给刚刚提拔的两位宰相加寄禄官衔的时候，按理说，刚进宰相的人应该都起码应该加封中书侍郎兼尚书。结果把控住中书省的丁谓，给自己加了门下侍郎兼少师，却只给了李迪了中书侍郎兼左丞，这是一个明显低得多的寄禄官衔。很明显，丁谓企图用这样的方式想要凌驾于李迪之上。
李迪是个刚烈的士大夫性格，长的也是五大三粗。面对这种局面，他大为光火，曾多次和同僚说：“我李迪深受国恩，值此奸佞当朝，我何惧生死。”于是他也时时盯着丁谓一举一动。双方针尖对麦芒，火药味越来越浓。
天禧四年（1020年）十一月十九日，火药桶终于爆发了，众大臣在朝议之时，丁谓提议让“五鬼”之一的林特担任枢密副使，仍领太子宾客，丁谓这个提议，明显又是想扩充势力。李迪立马跳出来反对，\"丁谓老贼！\"李迪声如洪钟，震得梁上积灰簌簌下落，\"你把枢密院当菜市吗？阿猫阿狗都往里塞！\"
李迪越说越激动，接着又大骂丁谓祸国殃民，热血很快上了头，他竟然抄起笏板开始对丁谓大打出手。“猴精”丁谓哪里是大汉李迪的对手，顿时抱头鼠窜。
李迪看追赶不上，就气呼呼地跑到皇帝这边来告状，大声申斥丁谓擅权专治，同时还告发丁谓和曹利用、冯拯结党营私，告发林特的儿子在地方上横行不法。
躺在病榻上的赵恒早就听说朝上两个宰相打起来了，此时正饱受病痛困扰的他，一听到这么闹心的事情，情绪更加烦躁。他甩甩手先让李迪滚蛋，然后把宰执们都留了下来，与他们商议后，决定将丁谓和李迪全都罢相贬职，丁谓知河南府，李迪知郓州。
丁谓此