永乐十八年（1420），正逢乡试大比之年。这一年于谦以第六名的成绩成为举人。第二年，于谦照例到北京去参加会试。
新年刚过，于谦乘船从京杭大运河离乡北上。与前次到山东不同，于谦更加成熟，而且已经是一位举人了。永乐十九年（1421）明朝已经正式迁都北京，正是万象维新之时。于谦置身这全国政治中心，更加意气昂扬。他感到自己即将肩负国家重任。
三场过去，于谦列榜第一名。于谦可以肯定成为进士了，但还必须经过廷试，由皇帝裁定最后的名次。这年廷试制策的题目是：“帝王之治天下，必有要道，粤自尧、舜，至于文、武，圣圣相传，曰执中，曰建中，曰建极。千万世，帝王莫不守此以为天下治。朕自莅祚以来，夙夜祗承，亦惟取法于唐虞三代，然而治效未臻其极者，何欤？”于谦认为这是受知于皇上，报效国家的极好机会，便倾其心胸，直言不讳。三月十九日，明成祖朱棣在奉天殿圈点试卷，殿内外传唱中试者的名次，声彻内外，响遏行云。但直到第三甲九十二名才唱到于谦。于谦只得到个赐同进士出身。于谦不明白为什么会有如此的结果，很久以后，才知道是由于他的试卷“策语伤时”所致。以于谦之饱学，他不会不知道当政者之所好，以于谦之年纪也不至于不懂得打顺风旗会有利于仕途。但是他的正直，他以天下为己任的壮志，都不容他不直言政见。虽然于谦没有得到好的名次，但他为自己敢于言所欲言而宽慰，同时，他也明白了等待他的道路并不平坦。
于谦被任命为山西监察御史。监察御史隶属于都察院，虽仅为正七品官，但权力很大，专职察纠百司，凡政事得失，军民利病，都有责任直言。御史外出可以代天子巡狩，大事奏裁，小事立断。
永乐末年，广西柳州府洛容、柳城、宜山、天河诸县少数民族曾发生叛乱。叛乱虽然平息，但南方和西南地区的民族问题一直为明廷所关注。永乐二十一年（1423），于谦奉朝命到湖广地方考察官军功过，并赴川贵等地安抚瑶民、壮民。为接近百姓，于谦脱去官服，到瑶民中去查访，了解一些官军滥杀无辜的情况。对于这位办事认真的朝中大员，驻守当地的军官们很是敬畏。于谦秉公办事，当面斥责了他们的为非作歹，而且向皇帝报告了湖广、川、贵官军贪功妄杀的罪行。朝廷下令各地官军不许邀功妄杀。瑶、壮民的情况因此多少有些改善。于谦的干练，受到朝廷内外的一致称赞。
成祖死后，由太子朱高炽继承皇位，改元洪熙，是为明仁宗。不料仁宗朱高炽即位不到一年就死了，由皇太子朱瞻基继承皇位，改元宣德，是为明宣宗。
在宣德朝，于谦处事明敏，而且因材貌英伟而引人注目。在奏对时，他声音洪亮，条理清楚，受到宣宗皇帝的眷顾。