1990年，一个名字叫做Alan Emtage的学生在加拿大蒙特利尔大学的宿舍里，发明了Archie程序，使人们可以在初具雏形的电脑网络上找到自己所需要的文件，这就是现代意义上搜索引擎的先驱。由于Archie深受用户欢迎，受其启发，一些程序编写者不断改进传统的蜘蛛程序，于是各种新的搜索工具、搜索引擎纷纷涌现。
至于现代意义上的搜索引擎，最早出现在1994年7月20日。当时美国卡内基·梅隆大学的Michael Mauldin将蜘蛛程序接入到其索引程序中，创建了如今人们熟知的Lycos。除了相关性排序外，Lycos还提供了前缀匹配和字符相近限制，第一个在搜索结果中使用了网页自动摘要，而其最大的优势是数据量达到了54000。Infoseek是另一个重要的搜索引擎，其友善的用户界面、大量的附加服务使它声望日隆，受到人们的称赞。值得一提的是，后来创立百度的李彦宏当初就是Infoseek公司的一名工程师。
同年4月，美国斯坦福大学电机工程系的两名年轻博士生大卫·费罗（David Filo）和美籍华人杨致远（Gerry Yang）相会了，开始在校园里编排网址目录，他们想让所有的互联网用户能更好地找到相关信息。于是，他们共同创办了超级目录索引Yahoo，这个单词的本意是神话故事中的怪兽，中文名字叫“雅虎”。雅虎此后陆续向Altavista、Inktomi等网站提供搜索引擎服务，逐渐完善了搜索引擎的全部内容，成功地使搜索引擎的概念深入人心。从此搜索引擎进入了高速发展时期。
初期，搜索引擎市场一片混战，大家都不知道如何获得利润。直到1997年标志性时刻的到来，搜索引擎开始从技术之争转向了商业模式之争，顷刻间，人们似乎意识到了搜索引擎是网络媒体的邻居，且仅仅一墙之隔。而推倒这面墙的，就是门户概念的出台。而最初意识到搜索引擎是新媒体冰山一角的就是杨致远。
杨致远认为，要让用户光临，品牌宣传是第一位的，而他本人，对品牌宣传到达狂热的地步，一开始就斥资500万美元做电视广告，成为那个时期公司开出来的最大的一张支票。股票报价、地图、聊天室、新闻、天气预报、体育新闻、黄页等，让用户目不暇接。
1997年年底，雅虎的日均访问量比所有对手之和还多。雅虎公司有一套完整的营销策略，有不少令人景仰的管理人才，还有1亿多美元的现金。年底的时候，对于杨致远来说，还有一个非常好的消息，就是雅虎的市值首次超过浏览器大王网景，而雅虎的股价，也如同坐上了火箭一般。
一直有人说，互联网1年的历史相当于传统产业7年。在雅虎和后起之秀Google神话的带动下，全球资本市场对搜索引擎公司表现出非同一般的热衷。时间到了2004年，各方力量似乎都看到了搜索的潜能：竞价排名可以带来真金白银的收入，搜索与电子商务未来的结合，会创造出更强大的生意机会。