詹天佑等人出国前，容闳已经先行赴美，以便安置赴美留学的学生。他到达美国康涅狄格州的新海文（N ew H aven）以后，就去找当时的耶鲁大学校长波特先生，和容闳当年的老师海德列。他们向容闳提议，让他去找康涅狄格州教育署长罗索布商量。罗索布建议容闳，将赴美学生分成二三个人一组，寄居在美国人家庭之中，在这种环境里，可以迅速学好英文。容闳接受了这个建议，并且做了周密的安排。最后，有122户美国家庭，愿意接待中国留学幼童。
詹天佑等人所乘的海轮，到达美国旧金山，再改乘火车经华盛顿到纽约，然后由纽约到达斯普林费尔德（Spri ng Fi el d）。孩子们被分别安置在美国人家庭里，而陈兰彬、容闳等人管理留学生的机构，3年后设在康涅狄格州首府，哈特福特城克林斯街的一座豪华的办公大楼里。大楼共3层，可以容纳委员、教习、学生75人。楼内还有一个大课堂，是专供教习给学生讲授中文和四书、五经的地方。
1873年（清同治十二年），詹天佑进入康涅狄格州西海文（W est H aven），专为中国人和南美洲来美国的学生设立的“海滨男生学校”补习，主要课程是学习英语和了解美国的风俗习惯。校长夫人玛莎·诺索普是詹天佑十分尊敬的一位美国教师，在詹天佑回国许多年之后，仍经常与她通信。玛莎·诺索普对詹天佑的影响是很大的，詹天佑学习成绩很好，她经常鼓励詹天佑，建议詹天佑进入耶鲁大学读理工科。后来詹天佑听从了她的劝告，进入耶鲁大学攻读理工科，为他一生的事业奠定了坚实的基础。
1875年（清光绪元年），詹天佑考入新海文“山房高级中学”。他学习成绩优秀，次年为全班第二名；1878年（清光绪四年），期末考试成绩是全校第一，最后他以全班第一、全校第二的优异成绩结束了高中的学业。詹天佑不仅学习好，而且特别喜爱体育运动，游泳、滑冰、钓鱼、打球无所不好，特别是棒球，球技高超。这些，为他将来担负辛苦、繁重的修建铁路工作，铸造了健康的体魄。
同年，詹天佑通过极其严格的考试，考入了耶鲁大学的雪非尔理工学院土木工程系铁路专科学习。在耶鲁大学学习期间，詹天佑成绩依然是名列前茅，特别是数学课程，在大学一、二年级，曾两度获得数学课奖学金。
詹天佑留学美国期间，正值美国在电机、通讯工业等方面取得了重大的突破。例如1876年贝尔发明了电话；1878年爱迪生发明了留声机；1879年爱迪生又发明了电灯。1876年，为了庆祝美国建国100周年，在费城举办了百年博览会，全部展出面积达二百八十四英亩（约合115公顷），主要展出蒸汽机、电话、电梯、印刷机、枪炮等。场内还修筑了3英里长的铁路，上面跑着火车，供参观者乘坐。1876年8月，容闳带着中国留美学生参观了这个庞大的百年博览会。面对着西方高度的物质文明，詹天佑的心被强烈地震撼着，他更感到自己肩上承受着国家和民族的重大期望，更坚定了他学好西方先进的科学技术，振兴中华的信念和决心。
1881年（清光绪七年）5月，刚满20周岁的詹天佑，完成了耶鲁大学本科的学业，获得学士学位。他用半年多时间写出来的毕业论文《码头起重机的研究》是一篇很有价值的论文。在耶鲁期间，詹天佑除了努力学习专业知识，还利用课余时间阅读了大量的文艺作品，他对具有民主思想的作品，尤为喜爱，例如卜伽丘的《十日谈》、英国伟大戏剧大师莎士比亚的作品、美国民主主义作家马克吐温的作品等等。这些作品对他的思想有着一定的影响。
正当詹天佑在耶鲁大学取得学位的时候，由于“驻洋”正委员人选的屡次更迭，始终以高压手段对待留学生，而容闳在调停中，经常袒护学生，加剧了正、副委员之间的矛盾冲突。清政府内部反对洋务运动的顽固分子相互勾结，沉瀣一气，共同破坏洋务派的留学计划。他们暗中给清政府中的顽固派打报告，大肆造谣、攻击留学生：私自剪掉辫子、不尊师重教、改信“番教’等等。并给朝廷上奏本，要求撤回所有留学人员。
于此同时，美国国内出现了反对华工的舆论，并相继在洛杉矾和科罗拉多州的丹佛城发生残害华人的暴动。对于按约派出留美的学生，进入美国西点军校和海军学院学习的要求也被无理拒绝。在这种情况下，清政府接受顽固派的建议，下令撤回全部留美学生。
1881年（清光绪七年）8月，120名留美学生，除在美病逝3人，先期归国若干人，其余105名学生全部启程返回祖国，其中只有詹天佑和欧阳庚两人获得了学位。