由于约翰逊是高举拥护罗斯福“新政”旗帜当选的，这自然使他受到了罗斯福总统的垂青。据说，罗斯福在得克萨斯州旅行期间，还专门邀请年轻的约翰逊到他的专车上叙谈，并对约翰逊鼓励和表扬一番。
不仅有罗斯福总统这个靠山，当时的众议院议长雷伯恩也曾经是约翰逊父亲的朋友，所以他也成为了约翰逊的政治靠山。有了总统、议长这两大靠山，年轻的约翰逊在众议院里开始有了一定的影响，并很快地进了海军军事委员会。
在任众议员期间，约翰逊曾经以海军少校的身份参加了“二战”。一次在新几内亚上空执行观察任务，他因为成功地避开了日军的袭击而幸存了下来，他也因此被授予了一枚银质奖章。
约翰逊对服役似乎充满了兴趣，因为他情愿放弃每年10000美元的议员薪水，而去领取每年3000美元的海军少校薪金，随海军转战太平洋和大西洋，并多次涉险。
直到1942年，罗斯福总统下令，凡在军中服役的议员一律返回华盛顿复职，约翰逊才又回到了众议院。
从1937年到1948年，约翰逊已经在众议院干了近12年，这个时候他决定竞选参议员。但约翰逊参选的时机似乎不佳，因为他面对的对手非常强大，他就是前得克萨斯州州长科克·史蒂文森。
史蒂文森比约翰逊大20岁，在当地声望很高，而且又得到劳工组织的支持。所以竞选前，大家都不看好约翰逊。
但这一次约翰逊再一次成为黑马，他以领先85票的微弱优势击败了史蒂文森，他也因此被大家称为“石破天惊的林登”。其实，仔细分析一下，并没有多少值得石破天惊的。史蒂文森虽然做过得克萨斯州州长，威望很高，但他年龄很大。年龄大的一个缺点就是容易守旧，对罗斯福的“新政”难免有所怀疑，甚至反对。史蒂文森的保守倾向，让他失去了部分选票的支持。
而约翰逊则是一贯支持“新政”的，而且他做了十多年的众议员，影响也开始增加了。加之又是年富力强，胜利也就在所难免了。
约翰逊任参议员的时间也非常长，而这段时期正是美国，甚至整个世界的多事之秋，“冷战”、朝鲜战争等事件，都是发生在这一时期。
在这个多事之秋的时期里，约翰逊参议员生涯中有两件事值得一提。一件事和麦卡锡有关。当麦卡锡主义兴起，麦卡锡等人以共产主义为名迫害其他人的时候，约翰逊在公开场合对麦卡锡进行强烈批判。
在举行关于麦卡锡的听证会时，约翰逊强烈要求电视台对听证会进行报道，以促使威斯康星州的共和党下台。
另一件事是1960年通过的《公民权利法案》。这个法案带有一定的局限性，所以并没有多少值得说的。值得说的是这部法案的通过，约翰逊功不可没，是他说服南方参议员，才让法案最终获得通过的。
这件事不仅使约翰逊具有了一定的民权优势，而且还具有很大的象征意义，因为此前约翰逊的影响可能更多地局限在得克萨斯州，但通过这件事，人们认识到约翰逊已经实现了从地方政治精英向国家政治领导人物的改变。
1960年大选时，翅膀已经硬朗起来的约翰逊打算参加总统选举。但他自己也明白，自己作为一个南部的民主党候选人，很难赢得东北部代表的支持，所以也就很难赢得总统提名，所以约翰逊迟迟没有宣布参加总统竞选。
直到民主党全国代表大会召开前的一个星期，约翰逊才在顾问们的劝说下，匆匆宣布参加这次竞选。接下来的结果和当初预料的差不多，约翰逊以巨大的差距败给了年轻英俊的肯尼迪。
总统提名失败之后，约翰逊面临一个抉择。当时，肯尼迪为了争取南方的选票，就拉约翰逊作竞选伙伴。但要做副总统，就要放弃参议员这个有权力的位置。
当时几乎没有人相信，约翰逊会放弃他在参议院中那个有权力的位置，而约翰逊的那些亲密朋友也劝说约翰逊不要离开参议院。但令很多人感到吃惊的是，约翰逊居然接受了肯尼迪的建议。
此后的事情就非常顺利了，肯尼迪赢得了大选，约翰逊也跟着成为了副总统。两年后的1963年11月22日，肯尼迪遇刺身亡，约翰逊晋升为总统。