《新华成语词典》对该成语的解释是，天下的人都像兄弟一样亲。这个故事出自《论语·颜渊》，原文是，司马牛忧曰：“人皆有兄弟，我独亡。”子夏曰：“商闻之矣：'死生有命，富贵在天。君子敬而无失，与人恭而有礼，四海之内，皆兄弟也。'君子何患乎无兄弟也？”孔子的弟子司马牛，有一次向孔子请教怎样做君子。孔子说：“君子就是不忧愁，不害怕。”司马牛不懂这话的意思，接着问道：“不忧愁，不害怕，就叫做君子了吗？”孔子说：“君子经常反省自己，所以内心毫无愧疚，还有什么可忧愁、可害怕的呢？”司马牛告辞孔子后，见到了他的师兄子夏。他忧愁他说：“人家都有兄弟，多快乐呀，唯独我没有。”--这就是历史上著名的“司马牛之忧”。司马牛是宋国人，本来生在富贵之家，他的哥哥桓魋(tuí)是宋国的权臣，手握兵权，心生一计，谋叛宋景公，想做一番大事，无奈人算不如天算，最终失败，只好出亡。家族因此受连累，几个兄弟也都流亡国外。司马牛本人辗转到了鲁国。
遭遇这一劫难，富贵安稳的日子成为过去，他内心的抑郁，可想而知。所以，司马牛心情很不好地叹息说，看到别人都有兄弟，家庭和谐美好，我却一个人流亡在外，没有兄弟，我这心里头堵啊。子夏开导司马牛说，“死生有命，富贵在天。”也许这就是命，你命中注定有此一劫，该来的躲不掉，这都是老天安排的，无法强求。再说了，所谓富贵，就像一场梦，如过眼云烟，不足萦怀。大丈夫何必计较得失，不患得患失，自然没有忧愁了。所以说，顺任天命，修己恭敬，无须以失去兄弟为忧。子夏情深意挚，以友辅仁，还阐述了广义的兄弟之谊，来宽慰患难中的好友司马牛。君子除了顺受天命之外，若能积极地以敬持身，积极地修善道，工作谨慎认真，不出差错；和人交往的态度又恭谨，待人恭敬，合于礼节，那么全天下的人都会乐于和他相处，把他看成兄弟了。这就是“四海之内皆兄弟”的道理。2008年中国发生很多大事，其中一件大事就是奥运会在北京召开。
《三联生活周刊》2008年第30期“奥运专刊之二”，在封面的大标题，用的就是孔子的一句话：礼之用，和为贵--奥林匹克盛典的中国宣言。其中一张开幕式图片的下面的说明文字是这样一句话：四海之内，皆兄弟也。8月8日晚，第二十九届奥林匹克运动会在北京开幕。临近北京时间二00八年八月八日晚八时，巨大的中国国家体育场“鸟巢”里，焰火突然腾空而起，场地里二00八面缶(中国古代乐器)构成了矩阵，其中的部分光芒四射闪烁倒数。八时整，当“0”一出现，二00八名演员立即击缶而歌，“有朋自远方来，不亦乐乎”。名为《美丽的奥林匹克》的北京奥运开幕式表演拉开了大幕。上篇表演悠远深长，以艺术的语言讴歌了中华文明对世界进步的贡献。首先，在古琴声中，关于书法的舞蹈演出展开。演员的形体仿佛水墨，在一幅舒展的画卷上舞动，留下了中国历史文化的符号。随后，文字的艺术演绎十分生动，演员模拟活字印刷术的字模，上下起舞。在“四海之内皆兄弟”等古人箴言的吟诵中，一个醒目的“和”字凸显出来。
四海之内皆兄弟，孔老圣人的弟子子夏提出来的这句话可以说妇孺皆知。耐人寻味的是，它后来却成了许多草莽人物的人生信条。他们一见之下，义气相投，便结拜为兄弟。从刘关张桃园三结义，到水浒里的梁山泊，都可以听到这句话，说完“四海之内皆兄弟”，再来说句“不能同日生，但愿同日死”，令人顿生豪侠之气。美国女作家赛珍珠，在她的英译本《水浒传》于一九三三年出版时，即把书名改为《皆兄弟也》。在《水浒传》的第二回中，盘踞少华山的跳涧虎陈达带人马要攻打华阴县，来史家庄借路，陈达见到史进，开口便道：“'四海之内，皆兄弟也'，相烦借一条路。
”可当时史进还并没有和他“皆兄弟也”的兴趣，反而出马交手捉住了他，不过最终倒是不打不相识，他们还真是成了兄弟；又如第四十四回，石秀对萍水相逢便“赐酒相待”的戴宗、杨林表示感谢时，杨林道：“'四海之内，皆兄弟也'……”；还有第四回中，鲁达对热情款待的赵员外表示“员外错爱，洒家如何报答”时，赵员外说的是“'四海之内，皆兄弟也'，如何言报答之事？”结交结拜、称兄道弟成了家常便饭。有人甚至说，水浒世界是在鼓吹四海之内皆兄弟的人人平等的理想，把这当做水浒世界的一条重大精神。这种靠结拜而成的兄弟，在好汉自由地闯荡江湖时，他们往往会因一见如故、意气相投便“皆兄弟也”。
但是一旦都上了山，组织成一个类似帮会的集团，等级便必然要建立，权力的分配也就开始，一旦涉及分配权力排座次，问题就来了。那初始的人人平等的梦幻悄悄地瓦解了，当初“四海之内皆兄弟”的誓言，不过是个美好而不可能全然实现的梦。这种豪侠之气，其实已经背离了子夏的原意，孔老圣人的弟子子夏说的是君子之道，是他的老师孔子讲过的。孔子曾说过，行为合于仁义礼节，千里之外都是兄弟，否则，就是两对门坐也不相往来。（《说苑·杂言》）曾子也正说，君子立志行仁，先做后说，千里之外都是兄弟，否则，此是你的亲兄弟也不亲啊！（《大戴礼记·曾子制言》）倒是唐朝王维的一句诗“海内存知己，天涯若比邻”，对此作了最好的阐释。有德有仁之人，无论走到哪里，都不愁没有知己、兄弟。