在康有为、梁启超等人的带动之下，北京城内兴起了反对清廷正式批准《马关条约》的浪潮，康有为见群情激动，士气可用，决定利用这一有利的形势，扩大反签约斗争，为维新变法运动制造舆论。他让梁启超、麦孟华等人进一步联络18省在京举人，策划发动大规模的公车（公车即举人）上书。中日两国原约定于5月8日在烟台交换条约，因而康有为决定要赶在清廷正式批准条约之前，联合众举人向皇帝上书，决定于5月1日-3日在宣武门外达智桥松筠庵谏草堂召集各省举人集会，共商拒约上书问题。
松筠庵原是明朝大臣杨椒山的故宅，谏草堂是当年杨椒山冒死起草上皇帝书，弹劾奸臣严嵩的地方。康有为选择这里作为集会场所即是喻意大家要学习当年的忠臣杨椒山的爱国精神和冒死直谏的品德。
康有为安排好诸事后，心情不能平静，他感到热血在沸腾，再也坐不住，于是提笔为举人起草上皇帝书。他一边思索，一边奋笔疾书，梁启超等弟子则分头将上书缮抄多份。连续一日两夜，康有为没有休息，一篇长达18000余字的《上清帝书》终于完成。
在上书中，康有为针对清政府批准对日和约提出了一些可以借以继续作战的实际措施，同时针对如何振兴中国、救亡图存提出了一个以加强中国国力和提高中国国际地位为目的的包括政治、经济、军事、文化等广泛内容的资产阶级性质的改革纲领。
康有为首先尖锐地批评了清政府对日本的妥协态度，指出：“数日换约期迫矣，犹未闻明诏赫然峻拒日夷之求，严正议臣之罪，甘忍大辱，委弃其民，以列圣艰难缔构而得之，一旦从容误听而弃之，如列祖列宗何，如天下臣民何？”接着康有为驳斥了那种认为只要对日本妥协，接受日本的苛刻条件，放弃边地，就可以保全清廷，使之苟延残喘的卖国主张，他认为“弃台民之事小，散天下民心之事大，割地之事小，亡国之事大，社稷安危在此一举。”因为“天下以为吾戴朝廷，而朝廷可弃台民。民心先离，将有见土崩瓦解之患……自弃其民，同于亡也。”
康有为对那种认为只要签订了和约就可使清朝数十年无事的观点也进行了批驳，他正确地指出，日本割占台湾后，其他帝国主义列强必不甘心，也思瓜分中国，法人将要求割占滇、桂，英人将要求得到藏、粤，俄国人则将问鼎新疆，德、奥、意、葡、荷等国皆狡焉思逞，无不有所要求，一旦不能满足，则皆如日本一样对中国发动战争，这样都畿必惊，清廷的统治又会遇到危险；若皆应所求，则自啖其肉，手足腹心，应时尽矣。由于民心已散，外患内讧，祸在旦夕，而欲苟借和款，求安目前，亡国无日矣。
在反对议和的同时康有为提出了四项建议，作为继续与日作战，加强国力的紧急措施：
一、下诏鼓天下之气。
康有为认为中日战争中国战败，皇上负有不善用民之气责任。中国人民都怀有忠义之心，是大可利用的。战争之所以失败，除将吏贪懦，兵士怯弱，闻风哗溃外，皇上未能鼓其人心也是一个重要原因。因此，康有为要求光绪皇帝速下三诏，以鼓天下之气。
第一诏为罪己之诏，他希望光绪皇帝下诏“责躬罪己，深痛切至”，因为这样可以激励天下，感动人民，从而使忠义之士读之而流涕奋发，骄将懦卒读之而感愧悔悟，人人皆慷慨激昂，同仇敌忾，无不奔走驰驱，可以像报私仇一样为国赴汤蹈火，慷慨效死，那种闻风而溃的现象也就不会再出现。
第二诏为明罚之诏，即严惩那些辅佐失职、主和辱国的枢臣，战阵不力、闻风溃逃、丧师弃地的将帅，擅许割地、辱国通款的使臣，调度非人、守御无备的疆臣，或明正刑典，以寒其胆，或革其职，将其罪状诏告天下，从而使朝政振兴，士气受到鼓舞。
第三诏为求才之诏，即悬赏功之格，破格提拔人才，诏举天下之才，下至山林隐逸、佐贰杂职，凡有高才皆可破格提拔，引见擢用。天下之士既怀国耻，又感知遇之恩，必致死力以报效皇上。
二、迁都定天下之本。
康有为认为由于日军已占领旅顺、威海卫，海防线已失守，北京已无险阻可凭借，陷于孤立状态，和约一旦签订，外国人就可以从各处畅通无阻地直入京师。故今日大计必在迁都内地。清政府迁都即明确表示不接受日本的议和条件和主战的决心，也就不必赔偿日本的2亿两白银，而可将这笔巨款改充军费。迁都后，就可以力战，虽沿边糜烂，而朝廷深固，不为震慑，日本和列强对中国也就无可挟制，即使攻占北京也无足轻重。这样主和者也就无所容其身，而主战者得以激其气。日本最终也将寻求一种和平解决的办法，中国也将不必割地就可以议和。
三、练兵强天下之势。
康有为对清朝军制和军队予以严厉批评：“老将富贵已足，无所愿望，或声色销铄，精气衰竭，暮气已深，万不能战，即或效忠，一死而已，丧师辱国，不可救矣。”因此，他在上书中力主改革中国军制和改造中国军队，选拔优秀将领，购置新式武器，建立一支具有强大战斗力的新式军队。
针对中国军队存在的问题，康有为提出选将的原则为“贵新不贵陈，用贱不用贵。”即应大力提拔年轻忠勇、出身平民的将领，不拘资格选拔任用，让他们建立一支5万人的京畿部队。康有为还建议广置外国的枪炮，但对购买外国军械中所常发生的贪污中饱必须加以整顿，同时中国应该迅速建立能生产最新式武器的军工企业。
康有为还特别提到居住在马来西亚、暹罗、爪哇、印尼、苏门答腊等南洋诸岛的侨民，充分肯定了他们的爱国热情，认为他们虽久居异域，但仍心向中国，以丧师割地为外邦讪笑，其怀愤怒过于内地之民，若能充分利用其人才和经济实力，建立一支部队，令联通外国，助攻日本，或建奇功。
四、变法成天下之治。
康有为指出以上三项只是为抵抗日本所应采取的临时性的应敌措施，而不是立国自强之策。要立国自强就必须变法改革，于是康有为提出了一个具有资产阶级性质的政治、经济、文化改革纲领。
康有为阐述了变法的必要性和必然性。他指出清朝的各种制度沿用明朝以来已数百年，器久则坏，法久则弊，封建的政治、经济、文化制度已对中国的社会进步和经济发展起了严重的阻碍作用。他写道：“官制则冗，散漫数甚，且鬻及监司，数之无本，选之无择，故营私交贿，欺饰成风，而少忠信之吏；学校则教及词章诗字，寡能讲求圣道，用非所学，学非所用，故空疏愚陋，谬种相传，而少才智之人；兵则绿营，而老弱募勇，皆乌合之徒；农则利未开，而工商无制造之业，其他凡百积弊，维以遍举。”字里行间充满了对封建制度的激愤。
康有为强调变法的必要性还在于中国目前面临4000年之大变局，处于数十个先进发达国家侵略包围之中，中国要生存，就必须改去那些不适应时代需要的制度和管理国家的方法及一些生活习惯等。
康有为引用了《易经》中的“穷则变，变则通”等语句来广泛论证变法的必要性，同时批驳顽固守旧派关于祖宗之法不可变的荒谬说法。
关于变法重点，康有为认为应主要在富国、养民和教民三方面。
有关富国方面，康有为提出了六项措施：
一、设立国家银行，发行纸币，扩充商务。
二、修筑铁路，发展交通，收回利权。
三、制造机器、轮船，保护和发展民营工业和水上运输业。
四、动用机器勘测、开采矿藏，开设矿学，培养矿业人才。
五、在各省设立铸银局，增铸银元，作为辅币，以抵制洋元在中国的流通。
六、在全国建立邮政系统。
康有为的富国之法反映了年轻的中国资产阶级迫切希望在中国发展资本主义的要求。康有为极力维护资产阶级在国内兴办工厂、企业，建设造船厂和修铁路、开采矿山的权利，反对外国资本主义对中国的经济侵略和掠夺。
有关养民，康有为提出了四项措施：
一、务农。设立农会和丝茶学会等，引进外国的先进农业技术，帮助农民和地主运用新的农艺方法，奖励农业改良和发明，改良养蚕业、畜牧业等农副业。
二、劝工。在各州县设立考工院，翻译外国制造之书，选青年学生进入工厂实习数年，对能生产新的、优质产品的企业家要给予鼓励，对发明创造要给以专利保护。
三、惠商。建议在各省普遍设立商会，提倡国货，由国家给予奖助；撤销厘金，减低出口税。
四、恤穷。具体办法有：移民垦荒；设立警惰院收纳无业游民教以工艺制造；对老弱病残则以救济。
富民之外还需要教民，教育不仅有及于士，还须普及于民，使其明理广智，从而强国富民。于是康有为提出了一个以普及教育为中心的国民教育大纲。
上书建议在各州县广泛开设学校，教授中国历史和天文、光电、数学、化学等现代科技知识，奖励著述新书，普遍设立图书馆，出版杂志和开设报馆等。在康有为所提出的教育大纲中，孔教被置于一个特殊的地位，在全国加以普遍推广，宣传孔教者除表彰外，还将授予一定职务，以确保康有为及其门徒在国内的地位和登上政治舞台。
康有为在上书的最后对清王朝的政治组织和行政机构的腐败无能予以有力的批评，并提出了改革的意见。康有为援引外国的经验指出，中国贫弱的最大的根源，国家遭受一切灾难的主要原因，就在于管理制度的非民主性，在于上下情不通，皇帝与臣隔绝，臣与民隔绝，大臣小臣又相隔绝。因此康有为主张广泛吸引人民、士人参加国家管理，从而反映了年轻的中国资产阶级和开明士绅要求参与国家政权的呼声。
最后康有为在上书中预言，如果光绪皇帝采纳了他的建议，实行了上述的改革措施，那么中国很快就会由弱变强，甚至成为世界之最强国，其时就可以收复琉球，扫荡日本，大雪国耻。相反，如果不采纳其建议，只知“徘徊游疑，苟且度日，因循守旧，坐失事机，则诸夷环伺，间不容发，迟之期月，事变必来，后欲悔而改作，大势既坏，不可收拾，虽有圣者，无可善其后矣。”
康有为在第一次上皇帝书中对慈禧太后和光绪皇帝予以尖锐的批评。而在这次上书中，虽然他认为光绪对战争失败负不可推卸的责任，但口气十分缓和，矛头主要指向那些主张求和的大臣。与第一次上书重点阐述变法的必要相比，这次上书提出了比较系统的具体的变法纲领和措施，反映了正在成长的年轻的中国资产阶级要求发展资本主义和参与国家政权管理的呼声。这表明了他的维新变法思想已经比较成熟。
5月1日这一天，北京城风和日丽，阳光明媚，1300余名十省举人和北京的部分京官名流都聚集到松筠庵，景色秀丽环境幽雅的松筠庵一下变得十分热闹，庭园、回廊、大小厅堂里都挤满了来往的人群，摩肩擦踵，水泄不通，至于京官名流和各省著名举人则集中在谏草堂。每一个人都显得十分激动，情绪昂扬。康有为看到来人如此之多，完全超出自己的意料，心中十分高兴。他见人已基本到齐，就示意梁启超。梁启超站了起来，清了清嗓子，宣布集会开始，并首请康有为讲话。
早在数年前，康有为上皇帝第一书时，即已开始出名，其后因著《新学伪经考》被诽谤，又成为天下士人议论的新闻人物，但许多人只听其名，而未见其人。这时只见一个年约三十七八岁的中年男子站了起来，他个子不高，面皮白白，高额浓发，双目炯炯有神，举止不俗，颇有学者风度。于是人们才知道他就是康有为。
康有为用洪亮的广东腔的京话发表了慷慨激昂的演说，痛陈《马关条约》的危害，力言时势艰危，非变法无以自存。谏草堂内外的人们开始还聚精会神地听着康有为的演说，但听着听着，这些热血青年再也不能控制自己，情绪变得激昂沸腾。康有为的话还未说完，下面即议论纷纷，有时高喊要杀死卖国贼李鸿章，以谢天下，有的则主张与倭寇血战到底。康有为见如此不是办法，即大声喊道：“各位！静一静。”其声震屋瓦，于是大家又逐渐安静。康有为高声地说：“当前最重要的事情是应该赶在两国交换和约之前，阻止皇上用宝（即盖御玺），因此大家应齐心协力，共上一书，让皇上知道民心可用。”这一建议得到大家一致赞成。于是康有为让梁启超将早已写好的上清帝书取出来，由梁启超大声朗读给众人听，以征求意见。原本喧闹不已的人们顿时安静下来，变得鸦雀无声。只听见梁启超大声地读道：
“为安危大计，乞下明诏，行在赏罚，迁都、练兵、变通新法，以塞和款，而拒外夷，保疆土而延国命，呈请代奏……”
念完上书，在场的举人们一下沸腾起来。大家都觉得康有为所讲深刻，讲了大家不敢讲的话，无不对康有为表示钦佩，肃然起敬，纷纷在上皇帝书上签名，士气为之一壮，国耻为之一伸。当时正在北京的英国传教士李太提摩记述道：“在这时候一部分翰林（应是举人）受了中国被日本战败的刺激，并觉悟到除了变法以外，没有别的法子救中国了。他们集合起来讨论要采取什么法子，才能使中国站起来，他们深刻地受到了一位天才的广东学者进士康有为的影响。”
举国上下所掀起的反对签订卖国的《马关条约》运动，使当时的军机大臣孙毓汶等人急得如热锅上的蚂蚁。他们是李鸿章的死党，一贯压制中国人民的反侵略斗争，力主签署屈辱的《马关条约》。在各省举人联名上书时，孙毓汶已十分忌讳害怕，如今千余人的大集会，准备共同联名上书，为中国历史上史无前例，更使孙毓汶胆颤心惊，他决定要破坏上书活动，在众举人集会于松筠庵的当晚，他即指使亲信前往举人们住的各省会馆去散布各种谣言蜚语，并对举人们加以恫吓，诸士多有所震惊；同时又指使人在大街小巷遍贴飞书，对上书举人诬蔑攻击，无所不至，不少举人因此害怕，不敢再参加上书活动，甚至有请求除名，退出上书活动。
第二天，康有为等举人在松筠庵聚会，策划如何到都察院上书，并联络朝中大臣呼应。午后，忽然天气霎变，阴云大作，风狂雨骤，雷电交加，逾刻而止。其时正是四大臣逼迫光绪皇帝批约用宝之时。康有为等百余举人并不知和议木已成舟，大局已定，但觉气象愁惨，相对欷嘘，愤悒不得语。当晚散归，则闻和约已批，大局不可改变，于是群议涣散。康有为痛心已亟，但他仍主张力争以图万一。但响应者较少，各省举人中收回知单者又有数百人。次日到松筠庵的举人则寥寥无几，在这种情形下，康有为感到人心思散，于是决定取消5月4日19省举人联名上书的活动。
条约批准后，各省举人对在批约过程中扮演了极不光彩角色的孙毓汶十分痛恨，扬言要抬着棺材到孙家去示威，请人处死这个卖国贼。孙毓汶吓得不敢出门，其后被迫辞职。
各省举人联名上书，是一次具有重要历史意义的群众性爱国运动，通过这次运动，酝酿多年的资产阶级维新思潮转变成为具有实际政治意义的维新运动。虽然由于妥协投降派的阻挠，上书未能上达光绪皇帝手里，但是却冲破了清朝200余年禁止士人干政的禁令，这份洋洋万言的上皇帝书也传遍京城，美国公使田贝也派人来索稿，各省举人争相传抄，并带回家乡。不久上海出版《公车上书记》，介绍、宣传这次请愿运动。康有为的政治声望与日俱升，初步奠定了他的其后维新变法运动中的地位。
康有为踌躇满志，挥毫写诗描写这一伟大的历史事件：
海东龙泣舰沉波，
上相轩出议和，
辽台朊朊割山河，
抗章伏阙公车多，
连名三千毂相摩，
联轸五里塞巷过。
台人号泣秦桧歌，
九城谣谍遍网罗。
杠棺摩拳，击鼓三挝。
桧避不朝，辞位畏呵。
美使田贝，惊士气则那！
索稿传抄，
天下墨争磨。
呜呼！
椎奏不成奈若何！
康有为的上书活动
按照清朝科举考试的规定，举人在经过由礼部主持的会议后，凡中贡士者，还要再参加殿试和朝考。“公车上书”后不久，公试发榜，康有为中第5名贡士。康有为随即又参加了殿试和朝考。但这两次考试的结果不令人满意，康有为殿试为第46名，赐进士出身，朝考二等。而梁启超则名落孙山。
其实，康有为的试卷在三次考试（会议、殿试及朝考）中都名列前茅，然而会考总裁徐桐，副总裁启秀、李文田等都是极端保守的官僚，在他们看来，康有为是一个有叛逆思想不受欢迎的人，因而他们告诫阅卷大臣们：广东试卷中有才气者，必是康有为无疑，千万不要录取，同时又规定：“相阅经义，谨守御纂，及牵引古义者，皆摈黜不录。”
中国古代科举考试为了防止作弊，规定所有的试卷都一律将考试人的姓名闭封，因而使阅卷人不知所阅卷为何人所作，能够比较公正的评卷。因而徐桐等人要阻止康有为中试，只能从试卷内容猜测。