山遐在
东晋初期担任
余姚市令，当时法禁宽弛，豪族多挟藏户口，让他们私下依附自己。山遐以严格的法律治理，到县八十日，查出万余户口。县人
虞喜因藏户，罪当弃市，山遐想法办他。诸豪强莫不切齿恨山遐，对执政官员说虞喜有高节，不宜屈辱。又因山遐擅自造县舍，遂陷山遐于罪。山遐给
会稽郡内史
何充写笺：“乞求留任百日，穷究逃犯，然后退职服罪，无恨。”何充为之申理，无果，最终坐罪免官。
山遐后来担任东阳
太守，依然以严厉的政策治理，使得郡境内秩序井然。
司马岳下诏给山遐质疑东阳近日囚犯增多，山遐处之自若，本郡境内肃然。
永和元年（345年）至三年（347年）期间，山遐卒于任上。