方外人士这一概念最初出现在《管子》《诗经》等古籍中，指的是区域之外、中原地区之外的地方，也就是夷狄之地。后来，《庄子》中提到的“彼游方之外者也”，这里的“方外”指的是浮世之外或者超越世俗的世界。在宗教信仰中，僧人、道士追求超脱世俗的生活，他们自称方外人士。

“方外”一词源于“方”，在儒家的价值观中，“方”代表着世俗秩序或邦国律法。那些不受这些规则约束的人被视为方外之人。佛教和道教的信徒，尤其是出家的僧侣和道士，因为放弃了世俗的道德规范，也被视为方外人士。在梵语中，“方外”对应的是众生居住的三个层次：欲界、色界和无色界，这三个层次构成了生命的循环和苦难。

出家的僧侣有不同的称呼，男性僧侣早期被称为比丘，女性僧侣则被称为比丘尼。这两个名称都是印度梵语的音译，分别表示破烦恼者和乞士女。比丘尼所受的戒律更多，有三百四十八条，通常称为五百戒。尼姑这一称呼源自比丘尼，尼代表比丘尼，而姑是古代对女子的普遍称呼。此外，也有将女性僧侣称为姑子的例子，如《红楼梦》中的鸳鸯宣称要出家做姑子。