严光从小就聪明好学，精通《诗》、《书》，在家乡一带颇有名气。他与人论辩，逻辑缜密而奇诡多怪，不同凡响。乡里人认为他将来一定会出将入相，会给家乡带来无限荣耀，因而对他总是另眼相看。稍长之后，严光希望自己成为一名学富五车的饱学之士，便不顾长途跋涉，来到人才荟萃的京师长安太学学习。
太学里也来了一个南阳豪门子弟刘秀。他英姿焕发，思想敏锐，善于交游。他见严光意气豪迈，也乐于与之交往，不久，两人便成了意气相投的朋友。
他俩都喜欢海阔天空地聊天，谈论起诗文来，神采飞扬；有时他俩也谈论人生，思考生命的奥妙和人生的真正价值。但谈论得最多的还是王莽篡权夺位的事。他们剥茧抽丝地分析王莽篡权夺位的必然后果，设想着推翻王莽政权的办法。此时此刻，智慧、激情、胆略在谈笑中竞相飞跃，宏图在胸臆中哗哗作响。特别是刘秀，自认是汉室宗亲之后，有着责无旁贷的责任去恢复汉室的宗庙。于是，刘秀到处联络起义军，为推翻王莽政权，开始了艰难曲折的斗争。严光也认为刘秀是“帝胄之英”，是名正言顺的继承人，所以也常“激发其志”，起着吹火助燃的作用。后来，刘秀从农民起义军的手中攫取到了胜利的果实，成了东汉的开国皇帝——汉光武帝。而只想成为大学问家的严光适逢乱世，无法在长安久待，便辞别南归。然而混战的烽火，已阻隔了归途。再说，自己是带着家乡父老的殷切希望离开的，如今落魄而归，脸上无光。于是，严光便决定先到人杰地灵的齐鲁去寻师问友，以待时局的变化。他走进了山东北部的一个小山庄，过起了极其简朴的隐居生活。
在政权稳定以后，素有儒者之风的刘秀，知道打天下要靠武功，治天下则要文治。于是，便广泛地收罗知识分子，想利用他们的名望和智慧、才能，来巩固自己的政权。此时，他最先想到的人，便是在太学里结识的、帮助他点燃希望之炬的严光。严光在哪里？一通通招贤榜发出之后，怎么也得不到他一点儿消息。光武帝刘秀便派人到严光家乡去寻找，但谁也没有看见过他的人影。刘秀也了解严光才高学富、自命不凡和不甘屈就的性格，便根据自己的记忆描绘严光相貌的特征，命画工绘制成一幅幅肖像，到处张贴，命人寻找。
其实，经过严酷战争洗礼后的严光，思想也产生了巨大的变化，他爱上了寂静无为的生活。什么功名利禄、理想抱负，全都抛到了脑后。于是，严光摘下了破旧不堪的儒巾，换上葛衣短衫，抛开功名的诱惑，就在青山之麓、清溪之滨，搭起了一间栖身的小棚，过起了与世无争的生活。沂蒙山绵延起伏，气势磅礴，荡涤着他心中的郁闷；沂河水清澈见底，洗尽了他的凡夫俗气。美丽的鱼儿在水中悠忽游弋，是多么的自由快乐，而人世间又是多么的污秽不堪、尔虞我诈。他早已安于现状了。清晨，他迎着薄雾，沐着朝霞，走向山冈，去舒展筋骨，吐故纳新，或走向河边，静静垂钓，寄思幽情；傍晚，红日西沉，他伴随归鸟走入窝棚，做着人世间最香甜的梦。山中才数日，世上已千年。严光在“钓翁”的梦中打发着日子，几乎不知道世上发生了多少变化。
皇帝的诏令一下，严光的确扬名了，各地官员四处打听严光的下落。不久，齐国（封国，今山东泰山以北）的官员来报告说：“沂河边有个男子，独居于山谷中，身披羊皮，经常坐在河边钓鱼，有几分像画像上描绘的人，只是不敢肯定。”刘秀一听，精神大振，认为此人八成是严光。于是，立即派出使者，备上专门聘请贤人的车辆，带上表示尊贵的玄色丝帛，前去迎接那位垂钓的男子。使者见了“钓翁”，奉上礼物，可“钓翁”连眼皮也不抬一下，更不通姓名，只说是“山野之人，志在江湖”，拒绝应召。无奈光武帝决心已下，一连三次派使者去请，非要把严光请来不可。出于无奈，严光最后只好跟随使者来到了长安。
光武帝见严光终于来了，甚是高兴，一见面，又是拉手，又是拥抱，显得十分亲热。而严光推说旅途劳顿，亟须休息，不愿与光武帝多说话。光武帝没法，只好先把他安排在皇家的馆舍中居住，一切生活用品及膳食全部由皇宫提供。
侯霸也是严光在太学里结识的朋友。听说严光来了，首先派人去拜访他。谁料严光对来人说了一串难听的话，令侯霸气急败坏，便跑到光武帝那里去告状。
光武帝十分了解严光的性格和用意，便亲自去驿馆看望严光。严光知道皇帝要来了，便躺在床上睡觉。
他呼吸平稳、悠长，好像真是在白日做梦。等了许久，光武帝弄不清他是真睡还是假睡，便走过去拍拍他的肚子说：“老同学，醒醒吧，你能屈尊帮我治理一下天下多好啊。”严光没有回答，只是翻了翻身，又过了好久，才微睁双眼，有气无力地说：“士各有志，何必苦苦相逼。”光武帝没法，只得叹息着走了。
过了几天，光武帝又把严光接到宫里。两人同吃同住，一起回忆当年在太学里的往事，细数同窗的变故，感叹世事的变化，从容谈吐，十分投机。谈笑一直延续到晚上，光武帝便留严光在宫中过夜，并与自己同床共寝。睡到半夜，光武帝迷迷糊糊地感到有个东西压在自己的肚子上，还有一股淡淡的泥土味。用手一摸，原来是严光的一只脚。光武帝本想把这只脚推开，但又担心是严光对自己能否真正礼贤下士、与人同甘共苦的考验，只得忍着肚皮上的酸痛，度过了这难熬的一夜。
不久，光武帝面授严光为谏议大夫。严光并不谢恩，也不履行职责，只是对光武帝说：“你让我走，咱们还是昔日的朋友。你让我留在这里做什么谏议大夫，反倒伤了和气。”光武帝见严光说得如此坦诚，知道即使留下了人，也留不住心，只好派人送他回桐庐故里，去过那林泉生活。