越的诏书，调遣罪人和江淮以南的水兵共十万人，兵分五路进攻南越：第一路卫尉路博德为伏波将军，率兵从长沙国桂阳，直下湟水；第二路主爵都尉杨仆为楼船将军，走豫章郡，直下横浦；第三路和第四路是归降汉朝被封侯的两个南越人为戈船将军和下厉将军，率兵出零陵，然后一路直下漓水，一军直抵苍梧；第五路以驰义侯利用巴蜀的罪人，调动夜郎国的军队，直下牂柯江。

汉武帝讨伐南越的消息传到闽越国，闽越王余善发兵八千人，请求跟随杨仆征讨南越，但事实上余善对两国之间的战争持观望的态度，表面上顺从汉朝，暗中却与吕嘉勾结。行军到南海郡揭阳县时，余善就以台风为借口，撤军回国。

这场激烈的战争持续了整整1年，一直到汉军大部人马放火攻打番禺城，南越军纷纷向汉军投降。吕嘉和赵建德见大势已去，在天亮之前率领几百名部下乘船向东出逃，试图逃亡闽越，以东越为后援。最后，赵建德被汉军校尉司马苏弘俘虏，吕嘉也被原南越国郎官孙都擒获。

吕嘉和赵建德被擒之后，南越国属下各郡县皆不战而降，汉武帝平定南越后，将原来的南越国属地设置了九个郡，直接归属汉朝中央管辖。这样，由赵佗创立的南越国历经九十三年，经五代南越王之后，在吕嘉的手里断送了。

汉将路博德将吕嘉首级献给汉武帝时，汉武帝正在汲县的新中乡，武帝大喜，取擒获吕嘉之义，改新中乡为“获嘉县”，并置县，属河内郡。汉武帝将吕嘉的子孙宗族全部迁徙到了四川一带，置不韦县，以彰先人之恶。