人类历史上曾经存在过一种最古老、最原始的毫无限制的群婚状态，整个一群男子与整个一群女子互为夫妻。为了生活，青壮年从事狩猎，老年人制造工具和照管儿童。于是，在按年龄分工的基础上逐步形成一种血缘家庭，即按照辈分划分的群婚家庭。在这一家庭形式中，同胞兄弟姐妹、从（表）兄弟姐妹和血统远的从（表）兄弟姐妹，都互为夫妻。这种群婚排除了不同辈分之间的婚姻关系，是家庭组织上的第一个进步。随着狩猎活动的发展，原始人的居住逐渐固定下来，一个血缘家族的族团往往因人口增长而分裂为几个。分裂出来的几个族团之间，既保持着一定的经济联系，也建立着某些社会方面的联系，包括各族团之间偶然的男女通婚。后来，人们逐渐认识到族外群婚后代比族内群婚后代体质更强健。为了避免族内群婚后代的病残和畸形等种种不幸，族内群婚制终于渐渐地被族外群婚制所取代。这是家庭组织上的第二个进步。
关于氏族内婚禁忌的起源，学术界历来有不同的观点。
我国有些学者提出自然选择说。他们认为，对众多的氏族内婚和个别的氏族外婚的自然选择是一个漫长的过程。自然选择使氏族外婚发展，氏族内婚衰亡，因为氏族外婚的后代更健康，更适应生存环境。结果，自然选择淘汰了氏族内群婚制，确立了氏族外群婚制，内婚禁规也随之产生。
另一些学者提出优生说。他们认为，最初氏族内婚占优势地位，而氏族外婚只是偶然的个别现象。后来，人类在长期生活实践中逐渐觉察到氏族内婚或近亲通婚的恶果——后代的病残、白痴和夭折，而氏族外婚的后代则往往体质强健。为了避免恶果与不幸，在血缘家族中，逐步实现氏族内婚禁忌，首先排除同胞兄弟姐妹之间的通婚，后来又排除血统较远的旁系兄弟姐妹之间的通婚。于是，氏族外群婚制取代了氏族内群婚制，内婚禁规完全确立。
还有学者主张“组织适应环境说”。他们认为，综观动物进化史可知，适应环境法则决定着生物进化的轨迹，控制着动物的活动方式。通常脊椎动物及人类的群体，在生存环境艰难时，组织结构趋于严谨。更新世是个气候多变的时代，200万年间有4次较大的冰期降临地表。第4次冰期之初，人类就已经学会用火、制衣和筑房。人们聚群而居，以群内婚为主，辅以群外婚。大约11万～12万年以前的第4次冰期的冰河南下，人类生存趋于艰难，大群体遂分裂为灵活的小群体。内环境的调节能使生物避免环境危机的不利影响，但要付出昂贵的代价，就是群体成员丧失了在群内婚配的自由，而必须到群外寻求通婚对象。也就是说，为了维护小群体的团结，就要消除群体内争夺女人的内斗，唯有如此，小群体才能齐心协力在恶劣的生存环境中存活。大约7万～8万年以前，气候一度回暖中断，第4次冰河再次南下。这次冰期范围广，时间长，温度下降幅度大。人类群体禁止内婚规则在更大的范围内产生，实施时间也更长，并成为一种传统。至此，内婚禁忌规则终于确立。总之，关于氏族内婚禁忌的起源，至今尚无定论，仍有待于国内外历史学家们的继续研究和探讨。