然而许多人都看不到家康的努力，将他的成功都归功于运气。谣言就在这时出现：“家康运气好，要不是因为信长遇害、秀吉早逝，他哪能当得了‘将军’？”“这一当上‘将军’，一定会据天下为己有，丰臣家眼看就要没落了！”
家康一直很关心秀赖母子，他把秀赖的监护人片桐且元召来，一见面家康就说：“且元，这些年来担任秀赖的监护人，辛苦你了！”且元是秀吉在世时的“贱岳七枪”之一，与家康私交甚笃，已逾知命之年。
二人简单聊了几句，然后家康说道：“今天请你来，是因为我奉命出任将军之后，有人谣传说我会不把秀赖公放在眼里，你听说过吗？”
实际上且元在城里早有所闻，只不过他知道秀赖并无与家康竞争之意，所以回答道：“根本不会有人这样说的。”家康听说后，便提议把自己刚满七岁的孙女嫁给秀赖，想借此和丰臣家结成亲家。且元听了很高兴，说：“这真是再好不过了，他母亲淀君更不晓得会有多高兴哪！”
德川家和丰臣家如今已经结了好几门亲事了，家康的儿子秀康是秀吉的义子；秀吉的妹妹旭姬又嫁给了家康；而秀忠的妻子又是淀君的妹妹。家康给出了自己这样做的理由：“这样做，既能平息外人的猜疑，又能巩固我们两家的感情，你说对吗？”且元兴匆匆地回去，不久就来信表示秀赖母子同意。就在当年的7月28日，家康将孙女千姬由江户嫁到大阪。
千姬是家康非常疼爱的孙女，家康把她都送到了丰臣家，外界的议论却并未就此平息。有些人一口咬定家康想篡夺丰臣家的权势，并私下商议有机会就要消灭家康。这些人包括淀君的宠臣大野治长、治房、道犬三兄弟，木村重成、薄田兼相、织田有乐斋和真田幸村、长曾我部盛亲、后藤基次、塙直之，还有增田长盛之子盛次等等。家康命令部下严密侦察这帮人的动静。
与安南国的贸易顺利开展已经两年了，吕宋太守又前来要求通商。家康高兴地回信说：“日本现已十分安定，若有意来此，请即派船至浦贺或江户均可。”紧接着柬埔寨的船也来到了日本，献上象牙及鹿皮等厚礼，想要正式开始贸易。家康回送他们华美的头盔和宝剑，送他们离开了。
秋末的一天，家康忙里偷闲来到江户神田山（位于千代田区骏河台）的山丘上。那里海风送爽，景致宜人，右面是皑皑白雪装点的富士山，海的那一边，是朦胧可见的房总山峰。家康将江户城里急速增加的民房和熙来攘往的人群尽收眼底，心中无比舒畅，不禁对身旁的伊奈忠次和板仓胜重说：“日比谷的海填平之后，民家增加了不少啊。”
忠次也跟着感叹道：“是啊，各国人民都相继来到江户。”
家康问起这里的人口总数，胜重想了一下说：“大约15万人。”
家康的双眼闪出自豪的光来：“来到江户还不到10年，能有这样的成绩，已经很不简单了。”然后他得意地看着本多正信说：“正信，想想当初我决定从小田原迁居此地时，还有那么多人反对，是我力排众议来到这里，才有了今天的崭新局面。”
正信依然有些不服气，说现在谈这些未免言之过早，谁也不能预料将来的事，他还是喜欢骏河和三河。家康自信地打断了他的话，让正信拭目以待。正信、忠次、胜重都感染了家康的愉快，笑容洋溢在每个人的脸上。
家康又指着忠次拿来的江户地图，说道：“把这一段海填起来，就用这神田山的土吧。暂时填16平方公里好了。这样一来，神田被夷为平地，浅草村就不再是离岛了。”
当时的浅草是一个小小的离岛，有一座观音寺很出名，寺四周是村庄。家康计划把浅草和品川连接成一片广阔的平原。这将是一项很浩大的工程，他下令各国诸侯根据俸禄派出工人。当时家康的命令没有人敢违背，接到命令的附庸诸侯如上杉景胜、前田利长、加藤清正、细川忠兴、伊达政宗等人，都纷纷派出了工人。
那一年的雨非常多，填海工程进行得非常缓慢，填好的部分还不时被雨水冲回海里。就在这样艰难的条件下，填成了后来位于东京中央区的滨町、八丁堀、银座、新桥等处。工程期间，每逢晴天家康就亲自到工地去鼓舞士气，工人们感动不已，可是工程总是受到天气的影响，进行得十分不理想。而当时亚当斯正在制造第一艘船，正是频频受挫的时候，家康感到沮丧极了。正在郁闷的时候，突然出现了一帖“兴奋剂”——黑田长政送来一部完整的《东鉴》。过去，祖洞和尚所赠的部分，家康早就看完了，如今终于看到了完整版的，家康便迫不及待，如饥如渴地研读起来。
创业的艰辛
年过60的家康还有许多大事等着处理，偏偏又有很多事进行得不太顺利，也开始感到创业艰难了。家康想要理一理头绪，把自己要去做的事都写在一张纸上：
一、派船出海，考察墨西哥。
二、继续填海工程，以扩大江户的规模。
三、在京都建二条城，修建江户城及各国城池。
四、继续拓展对外贸易，与荷兰、英国、中国（明朝）、朝鲜、暹逻通商。
五、加强对各国诸侯的联络，开发5条干道。
六、鼓励开采石见（位于今岛根县）的银矿和佐渡（位于今新潟县）的金矿和铁矿。
写到这里，家康沉吟片刻，突然又想起了一件很重要的事，于是又提笔加了一条：
七、讨伐反抗我的大阪浪人。
这一桩桩事没完没了地困扰着家康，还好，每当他气馁时就会想起母亲的话：“忍耐以克服难关，成功的一日终必来临。”想起母亲的音容笑貌，他总能重新振作起来。
自获得“征夷大将军”的头衔后，各国诸侯皆臣服在这最高荣誉下，不过大阪还有许多人围绕在秀赖母子周围，随时想要打倒他。就在前不久，家康在神田山丘视察填海工程时被人偷袭，可能就是大阪那些人幕后操纵的。每遇这类事件，家康总是若无其事地继续推行工作，并暗下决心：“总有一天我要以牙还牙。”
填海工程快要完成了，江户城四周已完全成为平地。家康非常得意，他宣布这片广大的平原是免费送给人民的。浅草村和品川之间的大海被填成了陆地，人们听到消息都纷纷赶来，很快就将这里变成了一个繁荣的大市镇。
考虑到行船的方便，家康又下令在各地挖运河、造桥梁。江户的发展前途一片光明，人们纷纷赞叹家康的眼光。也就是在那个时代，修建了现在的日本桥，虽然只是在两岸构筑石堤，架上桥身而已，但桥身长达70米、宽7米，集全国诸侯的人力和物力，所以桥被命名为“日本桥”，作为纪念。
家康对其他地方的建设也同样热心。著名的大堰川的工程，就是有名的保津川，也是在家康的支持下完成的。当时有一位到过安南和吕宋的工程师角仓了以，要求家康让他承包京都大堰川的工程，立刻得到了家康的首肯。这个工程完成后，家康又命他修建天龙川（位于今静冈县）。家康还命神原康政修5条公路。经过两人认真的研究，决定修建以下5条以江户为中心的大路：
东海道——从江户到京都，全长520公里，由第一个驿站品川起，共有53个驿站。
中山道——全长536公里，由第一个驿站板桥（板桥区）到东海道的草津（滋贺县），共设67个驿站。
甲州街道——到甲府（山梨县），全长276公里，首站设在高井户（杉并区）。
奥州街道——由第一个驿站千住（足立区）到青森，共69站，全长800公里。
日光街道——从千住经宇都宫到日光，共156公里，共设21站。
从日本桥起，这些道路的两旁每隔一里就种上桧树，作为旅客辨识方向的标志。道路两旁还种有许多松树或和杉树，炎夏遮阳，寒冬防雪，为行人提供方便。现在东海道、日光、箱根的松树，就是那个时候种植的。
这期间，井伊直政去世了，家康每次召集家臣商议事情都若有所失，十分怀念直政。井伊直政、酒井忠次、神原康政、本多忠胜四人从三河时代就追随家康，被人们称为德川的“四大天王”，而如今，四大天王已去了一半，这当然使家康有无限的感慨。
这一天，家康找来了秀忠、正信和忠胜等重要家臣，说出了一个让众人吃惊的决定：“今天要你们来，是想和各位商量我要辞去将军职务的事。”由于事出突然，大家都愣住了。家康声音洪亮，看起来活力十足，大家不明白他为什么要辞去职务。
而家康显然已经下定了决心：“也难怪你们会惊讶，我还有那么多工作要做，怎么会忽然辞职。正因为我想尽量多做点事，所以现在把将军职务让给秀忠。我并不是退休，只是需要更多的时间，大家放心好了。”
做了这么多的事，家康的声望如日中天，可他毕竟已经年迈了，人们的赞扬让家康更加肯定自己推动的工作是有意义的，他希望用剩余的时间做更多有意义的事，也希望儿子能早日继承衣钵。
秀忠听了忙谦逊地说道：“我才27岁，怎么能胜任将军职？”
家康打断他的话，说：“别担心，我这是为德川家族着想，有事的话我会在背后支持你的。”
家康要尽早使秀忠习惯将军的身份，也只有真正成为将军，才能更好地学习施政经验，明白怎样才能把德川家的威望继续发扬光大。
至于人选问题，家康向来说一不二，所以也就没有人提出异议。虽然秀康是更为年长的儿子，但他早年毕竟是丰臣秀吉的义子，按照当时习惯，须让位给秀忠。庆长十年（1605年）四月十六日，27岁的秀忠成了内大臣。
虽然征夷大将军的头衔是个很高的荣誉，可是辞职后的家康，精神反而显得特别好，在他看来，真正的工作从现在才开始。秀忠于次年4月在京都顺利完成就任将军职的仪式。家康抽空去拜访秀吉的妻子北政所，当时的北政所已过着尼庵生活，被称为“高台院夫人”。
高台院夫人热情接待了家康，客套一番之后，家康说出了来意：“秀忠现在担任将军了，很希望能宴请秀赖公一次。但大阪城里有关我的风言风语相当多，不知能不能请夫人代为邀请。”高台院夫人考虑了一下就答应了，而且还劝说家康不要太在意别人的闲言闲语，要为国家的安宁考虑，凡事和平渐进。
家康回答说：“我也是这么打算的，可是万一有人反抗我，那又另当别论。近年来观察外国的情势，发现国家如果不能统一，会受外人轻视的。”高台院夫人还想继续劝说，被家康不耐烦地打断了。
这次秀赖如果肯来，就表示他的身份低于秀忠，家康想要借此向全国诸侯夸耀德川家的威望。而且从亲缘关系上讲，秀忠可说是秀赖的姨丈，所以秀赖来访也说得过去。但是淀君听了高台院夫人的话却悲愤交集，坚决不同意，她说：“身为太合之子，怎能拜访秀忠之辈？秀赖的身份在他之上，这要求太无礼了！如果他们坚持，我就杀了秀赖然后自杀。”此外，淀君周围的大野治长等家臣的反应也相当激烈。如此一来，战事将起的谣言又纷纷四散开来。
形势突然变得紧张起来，家康冷静地考虑良久，终于决定凡事以忍耐为上，因而未采取任何行动。