在周代，帝王公侯都拥有自己的军事专家，这些人是世袭的武上，是当时军队中的骨干。周朝后期统治权力解体，这些军事家丧失了权力和爵位。散落全国，只求有人雇佣，得以维持生计。他们被称为“侠”或“游侠”。《史记》中称他们：“其言必信，其行必果，已诺必诚，不爱其躯，赴士之厄困。”（《游侠列传》）这是他们的武士道德。墨学中，有一大部分便是这种武士道德的延伸。
在中国历史上，“儒”和“侠”都是依附于贵族的专门人才，他们自己也属于社会的上层。后来，儒生继续来自上层或中层阶级，侠则更多来自下层阶级。在古代，各种典章制度和礼乐都是贵族专用的，在普通百姓眼中，这些典制礼乐都是奢侈的繁文缛节，没有丝毫用处。墨子和墨家正是以此为出发点，批判传统典制和对它加以粉饰的孔子与儒家。墨家哲学的内容，主要便是这种批判和对游侠道德的辩护。
关于墨子和他的追随者来自游侠，有许多凭证。从《墨子》一书和当时的其他许多著述中都可以看到，墨家有一个严密的组织，足以进行军事行动。墨家的这种组织的首领称为“钜子”（“大师”），对本团体成员，操有生杀大权。墨子就是他的团体的第一位“钜子”。他至少曾有一次，为宋国遭受楚国入侵的威胁而组织防御。
这段故事的情节很有趣。《墨子·公输》篇里记载，当时楚国雇用了一个机械发明家公输般，发明了一种攻城的武器。楚国将使用这种武器进攻宋国。墨子得讯后，前往楚国，劝阻楚王出兵。在楚王面前，公输般演习他准备用以进攻宋国的新式武器，墨子则表演他准备用以防御楚国进攻的防御武器。墨子首先解下腰带，用以划出一座城，用小木棍标志武器。公输般采用了九种攻城机械来进攻，都被墨子的防御武器挡住了。最后，公输般的进攻武器都已用尽，而墨子的防御武器却还有余。公输般不肯认输，说：“我知道怎样击败你，但是我不说。”墨子回答：“我知道你想用的那个办法，我也不说！”
楚王问他们，到底是什么意思？墨子回答说：“公输般想谋害我。但是，我的弟子禽滑厘等三百人，已经用我设计的武器武装起来，在宋国城墙上等候着楚国军队的进攻。我可以被谋杀，但是楚军无法杀尽他们。”楚王听后说：“如此说来，我们就放弃对宋国的进攻。”
如果这段故事属实，它对今日世界倒是一个好榜样，两个敌对国家不必在战场上厮杀，只要双方的科学家、工程师来到一起，把各自实验室里的攻击防御武器都展示出来，不需要走上战场，便可以决定胜负了。
无论这段故事是否属实，它足以说明墨家的军事性质。还可以再看其他史料如《淮南子》，这是公元前二世纪的著作，其中《泰族训》篇说：“墨子服役者百八十人，皆可使赴汤蹈刃，死不旋踵。”在《墨子》书中，至少有九处论到防御战争的战术和武器。这都足以说明，墨家原来是一个武士的组织。
墨子及其追随者与当时的其他游侠有两点不同：首先，其他游侠只是雇佣兵，谁雇用，便为谁卖命；墨子和他的追随者们则反对任何侵略战争，他们只为防御性战争效劳。其次，通常的“侠”只是墨守武士的职业道德；墨子和他的追随者则对武士的职业道德进行理性化的解释。因此，他创立了一个新的哲学流派。