17世纪初的一天，荷兰小镇的一家眼镜店的主人利伯希，为检查磨制出来的透镜质量，把一块凸透镜和一块凹镜排成一条线，通过透镜看过去，发现远处的教堂塔尖好像变大拉近了，于是在无意中发现了望远镜的秘密。1608年他为自己制作的望远镜申请专利，并遵从当局的要求，造了一个双筒望远镜。
1609年天文学家伽利略受到这个发明的启发，制作了一架口径为4．2厘米、长1．2米的折射式望远镜，这是第一架具有实用性的望远镜。1609年10月他作出了能放大30倍的望远镜。伽里略用自制的望远镜观察夜空，第一次发现了月球表面高低不平，覆盖着山脉并有火山口的裂痕。此后又发现了木星的4个卫星、太阳的黑子运动，并作出了太阳在转动的结论。
到了1668年，牛顿发明反射望远镜，相对于折射望远镜更容易制作。1733年英国人哈尔制成第一台消色差折射望远镜。1758年伦敦的宝兰德也制成同样的望远镜，他采用了折射率不同的玻璃分别制造凸透镜和凹透镜，把各自形成的有色边缘相互抵消。但是要制造很大透镜不容易，目前世界上最大的一台折射式望远镜直径为102厘米，安装在雅弟斯天文台。1917年，胡克望远镜在美国加利福尼亚的威尔逊山天文台建成。它的主反射镜口径为100英寸。正是使用这座望远镜，哈勃发现了宇宙正在膨胀的惊人事实。1930年，德国人施密特将折射望远镜和反射望远镜的优点（折射望远镜像差小但有色差而且尺寸越大越昂贵，反射望远镜没有色差、造价低廉且反射镜可以造得很大，但存在像差）结合起来，制成了第一台折反射望远镜。
1937年美国工程师雷伯发明了第一座对宇宙电波进行检测的射电望远镜。射电望远镜利用定向天线和灵敏度很高的微波接收装置来接收天体发出的无线电波来观测天体。它比光学望远镜观测距离更远，且不受时间、天气和气候的影响。
望远镜是天文和地面观测中不可缺少的工具。在现代天文学中，天文望远镜包括了射电望远镜，红外望远镜，X射线和伽吗射线望远镜。近年来天文望远镜的概念又进一步地延伸到了引力波，宇宙射线和暗物质的领域。