起怒来：“你违抗我的命令，该打一百鞭！”便喝令军士把曹豹拿下。陈元龙说：“玄德公临走时，嘱咐了你什么？”张飞说：“你是文官，只管文官的事，别来管我！”曹豹没办法，只得哀求道：“翼德公，看在我女婿的份上，饶了我吧。”张飞问：“你女婿是谁？”曹豹说：“是吕布。”张飞大怒道：“我本来不想打你，你拿吕布来吓唬我，我偏要打你！我打你，就等于打吕布！”众人怎么劝都劝不住。张飞把曹豹鞭打了五十下，众人苦苦求情，才停了下来。
宴席结束后，曹豹回去，心里对张飞痛恨不已，连夜派人送了一封信，直接到小沛去见吕布，详细说了张飞无礼的事，还说玄德已经前往淮南，今晚可以趁张飞喝醉，带兵袭击徐州，千万不能错过这个机会。
吕布看了信，就把陈宫请来商议。陈宫说：“小沛本来就不是长久居住的地方。现在徐州既然有可乘之机，错过这次机会不夺取，以后后悔就来不及了。”吕布听从了他的建议，马上披挂上马，率领五百骑兵先行出发；让陈宫率领大军随后跟进，高顺也跟着进发。小沛距离徐州只有四五十里，骑上马很快就到了。吕布到达城下时，才四更天，月色清朗，城上的守军毫无察觉。吕布来到城门前喊道：“刘使君有机密要事派人来了。”城上有曹豹的士兵，赶忙报告给曹豹，曹豹上城查看，便命令军士打开城门。吕布发出一声暗号，众军一齐涌入城中，喊声大作。
张飞正在府中醉卧，左右急忙把他摇醒，报告说：“吕布骗开城门，杀进来了！”张飞大怒，慌忙披挂好铠甲，拿起丈八蛇矛。刚出府门，骑上马，吕布的军马就到了，正好迎面碰上。张飞此时酒还没醒，没有力气拼杀。吕布一向知道张飞勇猛，也不敢过分逼迫。张飞的十八名燕地猛将，保护着张飞，杀出东门，连刘备的家眷还在府中都来不及顾及了。
曹豹见张飞只有十几个人保护跟随，又以为他喝醉了好欺负，就带领一百多人追了上来。张飞看见曹豹，怒火中烧，拍马迎上去。两人交战三个回合，曹豹败逃，张飞追到河边，一枪正好刺中曹豹的后心，曹豹连人带马，死在河中。张飞在城外招呼士卒，出城的人都跟着张飞前往淮南。吕布进城后安抚百姓，命令一百名军士守住刘备的宅门，不许其他人擅自进入。