初，符离师溃，
汤思退复相，金帅移书索地，诏侍从台谏集议。穑时为监察御史，以为国家事力未备，宜与敌和，惟增岁币，勿弃四州，勿请陵寝，则和议可成。既而卢仲贤出使，为金所胁，又将遣
王之望，张浚极言其不可。穑为右正言，惧和议弗就，因劾浚跋扈，未几罢政。后将割四郡，再易
国书，岁币如所索之数，而敌分兵入寇。上意中悔。穑为
侍御史，乞置狱，取不肯撤备及弃地者劾其罪，牵引凡二十余人。
时方以和为急，穑为
谏议大夫。敌势浸张，远近震动，
都督、同都督相继辞行。上书者攻和议之失，且言：「穑专附大臣为鹰犬，如张浚忠诚为国，天下共知，穑不顾公议，妄肆诋诽；凡大臣不悦者皆逐之，相与表里，以成奸谋，皆可斩。」上虽怒言者，而一时主议之臣与穑，皆相继废黜。先是，
胡铨力言主和非是，大臣不悦，命与穑分往浙东西措置海道。二人挈家以行，为言者所劾，遂皆罢，语在《陈康伯传》。