佛教禅宗的《维摩诘经》说，维摩诘所住的卧室，一丈见方，但容量无限，称为“方丈”，后来就成为佛教寺院“主持”一职的专称，而道教寺观的主持，有时也称为“方丈”。后人于是把超然于世俗礼教之外称为“方外”或“世外”，那些在僧道寺观的人也就成了“方外之民”。中国古代的不少时期，对“方外之民”设有专门的管理机构和专门的户籍，使之成为士、农、工、商四民之外的又一个重要的户口类别。
作为一个相对独立的户口类别，“方外之民”是在佛教和道教普遍传播之后出现的。俗镀金如来立像称中国自古以来有三教，即儒教、道教和佛教。但儒家学说在汉代以后成为官方统治思想，儒士大量入仕为官，实际上已成为“方内之人”。以老庄哲学思想为基础的道教，是国产品，形成较早。而佛教，大概在两汉之际传入中国，虽然是“舶来品”，且传入较晚，但传播较广，影响超过道教。佛、道两家，遂成为中国古代“方外之民”的主体，和尚与道士，则是佛教徒和道教徒的通称，寺院和道观，则成为佛教徒和道教徒居住修行的场所。
进入寺院和道观当和尚或道士，俗称“出家”。世俗之人之所以要出家，除了宗教信仰外，很重要的一条，是逃避民间所受的苦难或其他困境。因此，战乱灾荒之时，赋役繁重之时，往往是百姓“出家”最多的时候。如魏晋南北朝长期分裂割据之时，唐代“安史之乱”前后，就是如此。有时，也与统治者的倡导甚至身体力行有关。如宋代的彩绘贴金释迦立像几个皇帝热衷道教，道观和道士就遍于中国。元代统治者崇尚喇嘛教，元世祖还尊喇嘛教的八思巴为国师，以后相继当帝师的还有十余人，元代喇嘛教徒就成为当时“方外之民”的主体。而清朝初年，还有顺治皇帝“出家”的传说，可见当时的社会风尚。
历代统治者中尊崇佛教并身体力行者，莫过于南朝的梁武帝。据说梁武帝是个狂热的佛教信徒，曾三次舍身佛寺当和尚，又三次被大臣用重金从寺庙赎回。他还赦免国中的死囚，让他们信佛当和尚，但又怕这些死囚们逃出寺院重新犯罪，就在这些入佛门的囚犯头上烧戒疤，以便随时识别。此后，头上烧香疤就演变为佛教徒的“入门礼”。头顶上的香疤数量不等，越多表示越虔诚。还有甚者，燃去一指或二指以表虔诚。
对于出家的僧道，多数朝代都有专门的管理机构，有专门的户口登记。如北魏时曾设道人统，后改为沙门统，总管全国寺院僧尼，规定僧民须入僧籍，并要定期查验，无籍者即令入民籍。两晋设有僧司，南朝有都邑大僧正，专管寺院事务。唐宋时在朝廷设有祠部，负责全国僧道事务，并明确规定，百姓出家，须经官府审验，符合规定者，方可发给“度牒”，即出家的正式凭证。凡有度牒者，可免除本身所应承担的赋税徭役。此外，历代的寺院和道观，大都还有自己的田产，甚至还有商业经营，其中有的是官府划拨或赏赐的，有的则是通过各种非法途径获取的。凡入僧道籍者，除免本身赋役外，还享有其他一些世外特权，如“不拜君亲”，不依世俗之法治罪等。特别是上层僧道，在不少时期几乎是一个可以与世俗贵族分庭抗礼的特权阶层。
随着寺院、道观的发展和兴盛，需要大量从事洒扫、斋祀、农作等劳务人员。这些人员来源大体有四。一是官赐。如晋朝元康年间，重修今陕西周至县南的道教宗圣观时，官府一次就赏赐给300户，供宗圣观役使。北魏、南朝及唐宋以后，官方也不时向寺观赐户。二是官配。即发配罪犯和官奴到寺院。北魏和平年宽法生兄弟并坐像间，就曾把大批因罪没官的人口配入寺院，叫“佛图户”。三是投附。即破产农户皈依寺院，有的被度为僧民，有的则沦为依附人口，俗称“白徒”（依附道人）或“养女”（依附尼姑）。四是施舍。即寺观的信徒们以施主身份向寺观“送户”，供寺观役使。这些寺观依附人口，有的是世袭的，到隋唐时，世袭依附人口，称为“寺观部曲”。另外，还有一些逃亡到寺观的人口，冒为僧道，实为依附，叫“枝附人口”。上述种种寺观依附人口，大都脱离了当地州县户籍，但又不是正式的僧道，只是在寺观内当役使人员，地位类似奴仆。到晚唐时期，官府与菩萨交脚像寺观争夺人口，不少依附人口被“放卑为良”，重回民间，继续留在寺观的，地位略有提高，称为“常住百姓”。
除寺观上层人员外，普通僧道和依附于寺观的其他人口，社会地位和待遇都不高，但相对于民间百姓，又都算世外之人，可少受一些官府盘剥和战乱侵扰。因此，乱世之时，官府苛捐杂税繁重之时，寺观就成了良民百姓的避难所。据史载，偏安一隅的南朝萧梁，国中就有寺观2846所，僧民82700人。此外，还有大量“白徒”、“养女”，几乎占到当时天下户口的近半数。北周时有寺庙数万，史称“缁衣（即僧服）之众，参半于平俗；黄服（即和尚）之徒，数过于正户”。唐代“安史之乱”前后，百姓出家者甚众。宋代和元代的一些时期，大量百姓也纷纷进入寺观，或为僧道，或为依附人口。
人口过多地进入寺观，必然减少官方正常的赋税收入，甚至造成一定程度的财政困难和经济危机，于是，一些朝代又有严格限制百姓出家的法律条文。如唐律就明确规定出家为僧的具体条件和程序，凡不够条件，不合程序而出家者，称为“私入道”，本人及地方官员、寺观头目，都要处以杖刑或徒刑。但是，一遇到财政危机，官方又往往以出售“度牒”的办法来解燃眉之急。如唐代天宝年间，徐州节度使就曾奏准度人为僧，每人，只要出一点钱，即发给“度牒”。据说当地百姓趋之若鹜。北宋神宗时，遭遇饥荒，又逢河堤决口，祠部就公开卖“度牒”以供急需。以后凡遇到赈灾兴役之事，就以卖“度牒”来筹资，价格也随行就市，时高时低。这种作法，实际上等于“剜却心头肉，去补身上伤”，到头来只能进一步加剧财政危机。
法律禁不住，卖度牒又只能是饮鸩止渴，剩下来就只能是兵戎相见了。中国宗教史上的“三武之难”，就由此而来。第一次是在北魏时期，太武帝拓跋焘，采纳大臣崔浩建议，在全国大规模地禁断佛教，坑杀僧徒。第二次是在北周，周武帝宇文邕，下令在全国毁坏寺观，强迫佛教徒还俗为民。第三次是在唐朝，唐武宗大动干戈，史称天下毁寺观4600所，驱还僧道人口四五十万。这三次武力灭佛事件，都发生在佛道最兴盛之时。可见物极必反，盛极必衰，人世间不可能有真正的“方外之民”。