废了他的爵位，贬为庶民，不久之后又恢复了待遇，只是被疏远了。杨广继位后，大兴土木，骄奢淫逸，热衷巡游，高熲与贺若弼对此很是不满，私下议论讽刺了杨广，结果被人告密，杨广将二人抓起来杀了。实事求是讲，贺若弼的确才能过人，论文，博闻强识、谋略过人；论武，骁勇过人，骑射无人可比，即使年近花甲时依旧轻松打败了出使大隋的突厥国第一射手；论带兵，更是无人能敌，所向披靡大破南陈所有主力，军纪严明，对当地百姓秋毫无犯，一路赢得了极好的名声。但他的缺点一样极为突出，一是自命不凡、居功自傲，二是心胸狭隘，三是喜逞口舌之快，不懂得谨言慎行，这也是他最致命的缺点，他最喜欢自夸的同时贬低别人；热衷于品评时贤，品评也就罢了，还喜欢非议、背后说坏话。贺若弼的才华和缺点虽然让霍子玉印象深刻，但最让他记忆深刻，也是他觉得最讽刺的是，贺若弼父亲死前就当众告诫过他不要乱说话，当心祸从口出。贺若弼的父亲，贺若敦，是北周一名出名的猛将，不仅勇猛果决，而且性格刚直，心直口快。有次领兵大破突厥，担任上柱国的杨家以权压人，让他殿后，杨家却回朝总揽了功劳，他回到属地后破口大骂，后来朝廷派使者来，他也破口大骂，揭露杨家，然后大骂朝廷昏庸，结果被添油加醋汇报给了权臣宇文护，宇文护认为贺若敦不服自己，就假装加封他，将之骗到朝廷后逼迫他自杀了。贺若敦一生最大的理想就是灭掉陈国，一统南北，所以临死前告诉贺若弼：“我平生最大的理想就是平定江南，现在看是不可能实现了，你要继承我的意志，但要以我为戒，不要动辄口出狂言、乱嚼舌根，这样只会招来杀身之祸，你务必要记得，谨言慎行！”
说完还不放心，又拿出锥子将贺若弼舌头刺出血，告诫他慎言，希望他牢记祸出口出的道理。但很明显，贺若弼根本没有牢记，也没有做到。自古至今，祸从口出的人太多了，但是像贺若家这样因言招祸、不知警醒的，独此一家，可谓是古今第一人。韩愈、孟郊都是博学的读书人，听田绪提到贺若弼，自然知道田绪什么意思，而霍子玉听田绪提及贺若弼，也明白田绪所指。但他注意到，他在平康坊被德宗传旨踢屁股的事，田绪似乎还不知道，于是笑道：“多谢田将军提醒，贺若弼祸从口出，令人警醒，子玉今日