据介绍，庞嵩53虚岁时在曲靖知府任上刚满三年，就被朝廷以年老体弱的理由而被免职，要他致仕还乡。戢斗勇说，他壮年被迫退休是受到陷害。当时对地方官每三年一次届满考察，云南抚按行政长官考评庞嵩治理曲靖成绩突出，推荐为“滇南第一”即一等最优，但最终未被提拔或留用。《广东通志》称是因为“为忌者所挤”，庞嵩在《喜归吟》的夹注中记载是被扣上了“以讲学欺人，以执法自信”的罪名，只能53岁提前致仕。
庞嵩退休后，回乡办学，角色由湛门诸弟子之首转为甘泉学派新的掌门人，还承担了湛府事务总管之责。 因湛若水寿长九十五岁，三子皆已去世，孙辈尚未成年。庞嵩“力恤其孤”，帮助打理湛家事务，尽起了衣钵传人的职责。这引起了旁人的非议，怀疑庞嵩将湛家财产转为己有。庞嵩不惧流言蜚语，毫不退缩，勇于担当。史载庞嵩“平生刻意励行，人所不能为者，力任而不辞。”随着庞嵩将湛府诸事处理得井然有序，账目十分清楚，亲友皆表满意，非议才慢慢止息。
戢斗勇说，从庞嵩壮年被免职退休所遇到的不公，以及他打理湛府引来非议，却心胸豁达，忍辱负重，对谗谤淡然处之，对担当坚守定力，不灰心，不抱怨，不懈怠，勇往直前，直道而行，可见庞嵩的心学修为非同一般。他的这种人格和境界，这种在逆境中为人处事的态度，是我们应当学习的。
图文、视频/佛山历史文化丛书编委会编辑部