翁尝请事于相府，是时，正肃吴公充当政，问翁：「免役之法令，民之诋訾者今未衰也，是果于民何如」？翁应之曰：「以为不便者，无过士大夫与邑居之民习于复除者。骤使之如邦人，其诋訾无足恤也。惟微户素无力徭，今使之岁出金，此所当念也。括尝奏议两浙岁入可减五万缗，而弛微户二十八万馀家。使天下悉如此，微户尽除其输，虽小徭不足为病也」。公以为然而表行之。御史乃诋翁始但议减课，今乃阴易其说，使悉除之，首鼠乖剌，阴害司农法。翁坐谪集贤学士、知宣州事。御史盖未尝思以一路言之为减者，以户言之盖除也。