海上丝绸之路从古至今，随着航海技术和造船技术的发展而不断发展。起先是陆上丝绸之路的辅助，但是后来到了隋唐时期，尤其是唐代中期以后，海上丝绸之路逐渐扶摇而上取代了陆上丝绸之路的地位，在中国历史上起着重要作用。
（一）先秦时期海上丝绸之路的状况
据我国古代文献记载，我们的祖先很早就已发明了船。古书《世本》中记载：“古者观落叶因以为舟。”《淮南子》中则认为：“见寂木浮而为舟。”由此可知人们最早从落叶或枯木浮于水面，受到启发而发明造船术。
先秦和越国时期岭南地区海上交往为海上丝绸之路的形成奠定了基础。早在距今六千年前，岭南先民已经利用独木舟在近海活动。距今5000—3000年前，东江北岸近百公里的惠阳平原，已经形成以陶瓷为纽带的贸易交往圈，并通过水路将其影响扩大到沿海和海外岛屿。
春秋战国时沿海地区航海活动日益频繁，位于海边的齐、吴、越等国往往利用自己的海上优势，相互进行海战。位于钱塘江口的越国“以舟为车，以楫为马，往各飘然，去则难从”。《禹贡》成书于战国末期，它记载了我国远古时代最早的海上航路。这条航路从北方的河水入海口和济水入海口，环绕今山东半岛向南，以达淮水入海口和江水入海口，从而构成了一条相当完整的海上交通线。向北可以航海通向东北方面今辽东半岛一带；向南可以航海通向今浙江、福建一带，这是我国航海史上最早的一页。
从战国末年即公元前3世纪的《礼记》和《吕氏春秋》中所记风的分类来看，在公元前3世纪以前我国航海者已能利用季风来进行海上航行。这比西方传说中的希巴洛斯和公元前1世纪的埃及商船认识季风都要早两个多世纪。
早在商末周初，曾封箕子于朝鲜。随后迁徙去朝鲜的人员日益增多。早期与朝鲜半岛的交往，主要是从山东半岛沿着渤海海峡中的庙岛群岛与辽宁南岸航行到达朝鲜。再顺着朝鲜半岛沿岸便可驶达朝鲜半岛的南部与东南部了。到战国时，《山海经》中记：“东海之内，北海之隅，有国名曰朝鲜。”可见当时对朝鲜已颇为了解，并把朝鲜、日本视作属于燕的势力范围。近年在朝鲜半岛南部多次发现具有我国战国时期文物特色的铜剑等实物出土，正是说明当时相互交往的密切。
至于与日本的交往，最早是从朝鲜半岛南岸，靠对马暖流与间宫寒流在日本海南部交汇而成的左旋海流为动力，这种自然漂流的航路只是单向的，很少有人从日本冒险逆向来中国。当时的航路可能是从朝鲜半岛南端越海，中经对马、远瀛（今冲之岛）、中瀛（今大岛），到达筑前胸形（今北九州宗像）的横渡朝鲜海峡的航路，在《日本书纪》中称之为“北海道中”或“道中”航路。在日本备后国三原町附近发现有我国战国时期的铜剑和燕国的明刀钱、安阳布等；在日本本州岛西岸的山阴、北陆地区发现不少与我国先秦时期古钟相类似的祭祀器具；在北九州沿海地区发现具有中国特色的铜剑等遗物。这些文物的出土，正是当时中日交往的实物见证，中国移民到了日本，带去了先进的金属文化与水稻栽培技术，使日本开始从原始的渔猎生活的绳文文化向使用金属工具和进行水稻种植的弥生文化飞跃发展。
通过对海船和出土陶器，以及有肩有段石器、铜鼓和铜钺的分布区域的研究得知，先秦时期的岭南先民已经穿梭于南中国海乃至南太平洋沿岸及其岛屿，其文化间接影响到印度洋沿岸及其岛屿。
对出土遗物的研究表明，南越国已能制造25—30吨的木楼船，并与海外有了一定的交往。
南越国的输出品主要包括：漆器、丝织品、陶器和青铜器。南越国的输入品包括古文献所列举的“珠玑、犀（牛）、玳瑁、果、布之凑”。主要的贸易港口有番禺（今广州）和徐闻。
（二）秦汉时期海上丝绸之路的萌芽
秦汉时期，我国政治统一、经济发展，为海外贸易奠定了基础。秦始皇统一六国后，发兵经略岭南，就是为了得到越之犀角、象牙、翡翠、珠玑，只是当时南海贸易及航线的详情还不太清楚。但是那时已经有秦始皇为寻找长生不老之药，派方士徐福出海寻药的故事。
我国古代文献中关于南海、印度洋上的航路第一个较为完整的记录见于《汉书·地理志》。这是因为在西汉武帝时，国力强盛，经济富庶，曾两次派张骞出使西域，将我国的丝绸带到了西方，远达地中海东部一带，开辟了横跨欧洲大陆的陆上丝绸之路，扩大了汉王朝的声威和影响。由于陆路交通易受匈奴等部族的阻碍，汉武帝开拓了南海的对外交通与贸易活动，从而开辟了海上丝绸之路。
《汉书·地理志》记载，汉武帝派遣译长（属黄门的中官）率载货的船舶从日南（今越南顺化灵江口）、合浦郡的徐闻县（今广东湛江徐闻县）出发，航行五个月即可到达都元国（今马来半岛东南部或苏门答腊岛西北部的八昔河附近），再继续航行四个月，可先后抵达邑卢没国（今缅甸南部锡唐河入海口附近的勃固一带），又行二十余日，到谌离国（今缅甸伊洛瓦底江沿岸），然后弃舟步行十余日可到达夫甘都卢国（今缅甸伊洛瓦底江中游东岸蒲甘城附近），从此处再乘船航行二月余，最后到达黄支国（今印度半岛东岸马德拉斯附近）。回程从黄支国起始，利用季风，先到南边的已程不国（今斯里兰卡），继续航行可抵达中途的皮宗（今马来半岛克拉地峡的帕克强河口），过皮宗后，转向东北航行回国。沿途用带去的黄金、杂缯（即各种丝绸织物）等，向那些国家交换明珠和其他珍奇异物，一路受到沿途各国的热情接待，有时还有当地海船护送。由此可见这条航线，是我国开辟最早的一条远洋航线，已经到达了印度洋孟加拉湾附近，主要以商品贸易为主。这标志着我国古代对外贸易的海上“丝绸之路”的开辟，一直沿续到南朝未有改变。南朝著名高僧法显就乘船走这条航线由斯里兰卡和印度回国，在他的著作《佛国记》中曾有记载。
就在西汉王朝统一中国时，西方罗马人也统一了意大利半岛，建立了强大的罗马帝国（汉时称大秦，又称犂靬）。东西方两大帝国间，在中亚地区有大月氏和安息两大国相隔，所以中国丝绸虽已从陆上丝绸之路远销到罗马，但两国间无法直销，其间由安息商人进行转销，牟取暴利。汉武帝开辟海上丝绸之路的主要目的就是为了从海上经由印度沟通与罗马的贸易往来。由于当时航海技术和条件所限，中国西汉船队到了印度东海岸和斯里兰卡等地就折返回航，印度和斯里兰卡便成了海上丝绸之路上欧亚贸易的中转港。至于印度以西的航路则由西方航海者开拓。
到了东汉时期，罗马方面的西方航海者也在积极了解东方“丝国”，1世纪末，有一位居住在埃及亚历山大港的商人撰写了《红海回航记》，记述了西方商船经常往来于红海、波斯湾、印度次大陆东西两岸，特别记载了中国，称作“秦”国，这里“出产丝、丝线和名为丝绸的布”，所以又称为“丝国”。在中国古籍中也不乏对这条航线的记载，成书比《后汉书》还早一个多世纪的《魏略》中就记述了当时大秦直通中国的两条主要航道，一条是直接通往我国古代南方大港，在今越南北部及雷州半岛的徐闻、合浦，一条是以今缅甸南部的海口为航行终点，然后经伊洛瓦底江等河谷北上，进入我国西南部，通过云南的永昌郡与内地沟通。《后汉书·西域传》记载：“桓帝延熹九年，大秦王安敦遣使自日南徼外献象牙、犀角、玳瑁，始乃一通焉。”这是中国同罗马帝国之间直接进行友好交往的最早记录，突破了以往通过斯里兰卡的中转，第一次疏通了东西方海上运输大动脉，连接欧亚大陆的海上丝绸之路真正建立起来了。
随着汉代种桑养蚕的普及和纺织业的发展，丝织品成为这一时期的主要输出品。乳香（薰炉）和家内奴仆（托灯俑）在以往输入品中尚未见到。
由于两汉版图扩张到今东南亚的部分地区，政府加强了海上丝绸之路沿海港市的管理，例如在今徐闻“置左右候官，在县南七里，积货物于此，备其所求，与交易”。也出现了一些比较重要的商业城市，例如番禺、徐闻、合浦（今合浦附近）、龙编（今越南河内）、广信（今梧州）、布山（今贵港）和桂林等。
（三）魏晋时期海上丝绸之路的发展
魏晋南北朝时期，先后有东吴、东晋、宋、齐、梁、陈等六朝政权立足江南，使江南经济得到深度开发。与此同时，六朝政府实行积极发展海外关系的政策，因而海上丝绸之路也得以迅速发展。
六朝时期，占统治地位的是一批拥有无上政治、经济特权的世袭大族。而自汉末以来的社会大动荡，又使他们深感世事无常，他们中的大多数人缺乏政治上的进取性，苟且偷安，放纵其物质贪欲，奢侈无度，海外舶来品——各种奇珍异宝成了他们竞相追逐的对象，由此产生了对海外贸易的较大需求。而六朝政府要扩大其政治威望，也必须发展对外关系。传统的对外贸易通道——陆上丝绸之路受阻于北国，因而只有致力于海上拓展。
孙权黄武五年（226年），孙权派出以从事朱应、中郎将康泰为首的外交使团出访东南亚各国，历时十余年，“其所经及传闻则由百数十国”，由此了解了南海各国政治、经济特别是贸易及物产情况。回国后，朱应、康泰分别撰写了《扶南异物志》及《吴时外国传》。朱应、康泰分别出使东南亚，不但增强了中国人对东南亚的了解，而且直接推动了双方的贸易往来。史称自朱应、康泰出使后“扶南、林邑、堂明诸王，各遣使奉贡”。东晋南朝时，遣使出访之事不绝于书。
六朝时期的外交活动都具有经济色彩，为获得南方短缺的物资，同时也为了增加更多的财政收入，六朝政府多次派遣大规模船队出海开展贸易活动。232年，孙权遣将军周贺、校尉裴潜率领船队“多持货物”，沿东海、黄海北上辽东地区，与辽东沿海百姓“贸迁有无”，而割据辽东地区的公孙渊也以辽东名马与东吴易货；233年，吴遣使节至朝鲜，高句丽王“贡貂皮千枚，鹖鸡皮十具”；235年，孙权派谢宏出使高句丽“赐衣物珍宝”，高句丽回赠名马，谢宏“载马八十匹而还”。
六朝政府为了适应水路交通及航海业的需要，都非常重视造船业。在造船及航海水平提高的基础上，在六朝政府积极发展海外关系的政策推动下，海上丝绸之路得到进一步发展，主要体现在南海丝路的扩展以及东海丝路的延伸两个方面。
这一时期，南海丝绸之路的发展主要体现在两方面：一是广州港的兴起，从而取代徐闻与合浦成为中国主要的对外贸易港；二是海上丝绸之路在汉代的基础上继续向西方延伸。西汉时海上丝绸之路的起点在徐闻、合浦。三国时吴在岭南设广州以后，珠江流域经济得到迅速发展，加上造船、航海业的进步，广州很快以其特有的区位优势取代徐闻、合浦的地位。广州与徐闻、合浦相比，其优势在于：徐闻、合浦无内河与内地联系，通往内地的交通也较困难，缺乏大量吞吐货物的条件。而广州不但是岭南的经济中心，且与内地联系更为便利，通过珠江水系可达湘、赣、闽等地。汉代时徐闻、合浦之所以作为对外贸易港口，主要是受当时船舶规模及航海技术的限制，海船尚不能远离海岸，而从岭南的经济中心番禹出发，难以渡过海南东部的七洋洲等危险水域，因而出海便利的徐闻、合浦充当了汉代对外贸易港口的角色。到六朝初年，随着船舶体积的增大及航海技术的提高，海船可以远离海岸航行。因此，从广州出发，不必经琼州海峡，而可经海南东部海面和西沙群岛海域，直航东南亚、南亚各地，从而使广州成为我国海外贸易中心，海上丝绸之路的起点也因此移至广州。