年冬天，楼船将军率领精锐士卒，首先攻下寻陕，然后攻破石门，缴获了大量南越的战船和粮食，乘胜向前推进，连续几个胜仗，挫败南越的先头部队，率数万大军，等侯伏波将军的到来。
伏波将军率领被特赦的罪犯，道路遥远，误了会师的日期，按时与楼船将军会师的士兵才一千余人，与楼船将军一同前进，直逼番禺城下。赵建德和吕嘉都在城中防守，楼船将军驻兵番禺的东南面，伏波将军驻军在番禺西北边。
伏波将军安营扎寨后，就派使者进城招纳南越人投降，南越人平时就听说过伏波将军的大名，如今天黑，也不知道伏波将军有多少军队。此时楼船将军已攻破东城门，并放火烧城。城中的南越兵都跑到伏波将军的军营投降。待到天亮，全城的南越兵都投了伏波将军。
吕嘉和赵建得带领几百个部下，在夜里逃到海上，乘船向西逃去。伏波将军询问投降的南越兵，弄清了吕嘉的去向，立即派人追捕。吕嘉和赵建德都被伏获。
因吕嘉反叛，南越被灭国。