尽管彭玉麟是出了名的铁血将帅，但感情生活上却令人唏嘘。《曾国藩日记》和《郭嵩焘日记》中，都不约而同地提到他“每谈家事为之叹息”“无家事之欢”。对于这个问题，历史学界普遍认为，彭玉麟有一段不为人知的爱情悲剧。他从小在外婆家长大，与外婆家名叫梅姑的养女青梅竹马，情投意合。但迫于礼教的压力，不得不奉母命另娶他人。后来，在彭母的主持下，梅姑嫁到别家。
彭玉麟36岁那年，青梅竹马的初恋情人梅姑突然撒手人寰，他当下就痛不欲生，无奈身为湘军水师主帅，责任重大，不能立刻殉情，随梅姑而去。于是就立誓要在有生之年，画10万朵梅花来纪念已故的梅姑。
在此后40年里，无论军务、政务多么繁忙，每个夜晚他都会深情地挥笔，描绘梅花；并通过笔触在画布上的挥洒，倾吐他心中凄缓哀绝的情思。直到76岁临终前，仍强撑着病体，颤抖地拿着画笔，一丝不苟地画着梅花，此时他的双眸仍然同一池秋水那般忧郁痴情。
40年里，雪琴的确说到做到，共画了10万幅梅花。虽然在此期间，他一直寡居，永绝了妻室之欢，但内心并不孤寂，每天通过画笔与梅姑交流，每晚都通过梅花与梅姑互诉衷肠。
太平天国灭亡后，清政府论功行赏，彭玉麟晋爵一等轻车都尉，并官升八省漕运总督。但已经完成“治国平天下”使命的彭玉麟此时已心灰意冷，“生平最薄封侯愿，愿与梅花过一生”，就屡次上书辞官。清政府依常人逻辑，认为彭玉麟是嫌官位太低，于是就先后6次给他加官晋爵，加封他诸如“两江总督”“南洋通商大臣”“兵部尚书”等高官。
梅姑的死，让彭玉麟去意已决，所有官位，他都一概谢绝。朝廷无奈之下，只得将这些官位先后转给李鸿章、左宗棠。所以当时民谚说“彭玉麟拼命辞官，李鸿章拼命做官”。最后，清政府为了留住彭玉麟，新置“长江巡阅使”，规定每年巡视长江水师一次，其余时间自便并享钦差大臣待遇。
再也推辞不了的彭玉麟，为了方便巡视水师，将家安在了西湖之畔。当时湘军将领，哪一户住宅都是精致华美的江南园林，可对彭玉麟而言，没有了梅姑，再精致华丽的住宅都只是冰冷的摆设。于是将梅姑墓迁到了西湖旁，又在墓的旁边盖起了座简单的草楼，种植了上百株梅花。白日，就在墓旁吹笛，那曲子都是他们儿时青梅竹马的回忆；夜晚，就画梅花，诗梅花，“三生石上因缘在，结得梅花当蹇修”，“无补时艰深愧我，一腔心事托梅花”，“颓然一醉狂无赖，乱写梅花十万枝”。
虽然痴情于梅姑，无心官场，过着半隐半仕的生活，但他绝非将国事高高挂起，漠不关心。1883年，中法战争爆发，朝中已无大将。面对国难，年逾七旬的彭玉麟应召出征，主持对法战争。
光绪十六年（1890年），彭玉麟病逝于家。朝廷赠太子太保，谥号“刚直”。
去世时，除了所部官兵，便只有那10万幅梅花陪在他身旁。除此，既无亲戚，又无余财。可见，彭刚直公的确是条顶天立地、有情有义的好男儿、伟丈夫。