1896年11月，在对日外交舞台上的表现深获清政府认可的伍廷芳受命充任驻美、西、秘国公使。伍廷芳此行任务非常明确，那就是“使命所重，首在保护华工”。
今日以自由人权的守护神自居的美国，当时对华工问题的处理，真可称得上是其人权史上最黑暗的一面。华工成为美国历史的一个问题，还得从华侨迁居美国的历史说起。有据可查的记录显示，华人最早进入美国大约是在18世纪80年代。到了19世纪中期，由于美国加州发现金矿，以及美国内战以后劳动力短缺，需要廉价劳工，大批华人开始进入美国，为美国矿业开发以及修建横贯美国东西海岸的大铁路作出了贡献。起初，由于华工吃苦耐劳、温顺和善，美国人对中国人的印象相当好，但随着欧美各族裔纷纷涌入美国淘金，美国这片新大陆的劳工数量日益饱和，这时，温顺的华工便开始成为美国白人排斥的主要对象。
美国许多州的白人种族主义者以洗劫财物、焚烧房屋，甚至屠戮华人的方式掀起了一波波排华浪潮。由于清政府的软弱无能，华人在美国的悲惨命运更是雪上加霜。我们可以从1870年，内华达州州长佛里得崔克的一段涉及白人暴徒殴打华工案件的表态中看出当时在美华人的景况：“不能在警察法庭由被选的法官将殴打中国人的暴徒定罪，因为暴徒及其亲友握有选票，而中国人没有，也不能投票。”官方的态度尚且如此，美国迫害、排斥华工的浪潮自然是一波接着一波，而且从规模到伤害程度是愈演愈烈。
清政府从19世纪80年代开始关注在美华工的悲惨命运。1880年10月，美国科罗拉多州发生一起1000多名白人围攻、劫掠华人的暴行，并打死1名华人。当时清政府驻美官员陈兰彬下令旧金山领事调查真相，并向美国国务院提出控告。结果直到年底，美国政府方面居然表示，政府从不对地方政府和个人的行动负责。这种赤裸裸地纵容迫害在美华人的政策在1882年达到了顶峰，这一年，美国国会通过了令世界人权史蒙羞的第一部排华法案《1882年限制法案》。该法案以法律的方式禁止华人移民美国，并为美国以国家动员的方式迫害华人大开绿灯。1892年5月，美国国会再次通过基利提出的《禁止华人来美法案》。该法案明确规定：“现存任何禁止、限制华人或华裔入境的法律在未来十年继续有效。任何华人或华裔被法律认定其居留美国为非法者，即被认为是非法居留。华人非法居留将被判一年以内的劳役，事后解送出美国国境。拒绝任何没有居留权的华人申请人身保护。”该法案还要求，此法施行后一年内，一切准许居留的华工应向所在区申请居留证，无证华工将被视为非法居留。
中国是美国的邦交国，但美国国会居然会通过这种特定的歧视性法案，严重违背了国际公约的精神。清政府不得不进行交涉，然而结果相当不理想。
伍廷芳就是在这种困难的情况下出使美国，继续与美国方面交涉华工保护的问题。伍廷芳刚到美国不久，1897年新泽西州发生华人遭白人暴徒凌辱事件，但当地政府照例不予理睬。伍廷芳得知后，当即照会美国外交部。他在照会中指出：“地方官有意纵容匪徒殃害华民，殊与条约（指1894年中美双方签订的同意节制中国劳工进入美国的条约，俗称‘华工条约’）之旨有悖，即于贵国律例亦不相符。”伍廷芳真正指出了要害——该事件违反了美国自身的法律。在伍廷芳的干预下，这件事最终得到了解决。这类成功的例子实属罕见，但是伍廷芳一直没有放弃，他为了中国人的利益继续努力着。
排华浪潮并没有因任廷芳的努力被遏止。不仅华工的人身安全得不到保障，连清政府的驻美官员都受到白人种族主义者的羞辱，伍廷芳自己就两次遭遇这个问题，但警察并不制止。伍廷芳对此十分气愤。1898年9月，他照会美国外交部，指出纽约作为美国第一大都会，发生这种不文明事情，真是“贻笑大方”，有损“文明之国”之名声。他要求美国不得纵容其公民肆意骚扰华人。美方阳奉阴违，放任美国暴徒羞辱中方官员的事态仍在继续发展。
不仅华工、中方驻美官员遭到暴徒侵犯，就是“华工条约”许可保护的中方学生、商人也一样遭到美方的滋扰和欺凌。美国官方一方面对“学生”一词严加限定；另一方面，在执行过程中，美国移民局官员设置种种障碍，阻止敢于到美国求学的中国人入境或居留。举一个可笑的例子：在1901年，一名叫叶华（音译）的中国学生在旧金山被拒绝入境，理由是他的英语不好（一说是嫌他太年轻）。伍廷芳为此照会美国总统和外交部，但事情拖了3个月，最终没能得到解决，叶华被遣返。就是后来在中国声名显赫的孔祥熙也一度遭到这种对待。1901年9月，孔祥熙在美国教会办的华北大学堂教习迈拿的陪同下抵达旧金山，也被以护照不合格为由，拒绝入境。伍廷芳再次与美国当局反复交涉，最后，直到驻旧金山总领事馆具结担保，中国政府补发所谓“合格护照”后，孔祥熙才最终得以入境。而华商在美国的处境也不比学生好到哪去。华商谭金培、黄信全在墨西哥经商多年。1899年2月他们持美国领事馆签发的护照进入美国，结果被拒绝。理由十分荒唐，竟然是他们的手太粗糙，不像经商的人！不仅如此，美方还将二人拘押监禁直到同年8月才释放，递解出境。
在美国从官方到民间歧视迫害华人的浪潮中，上述荒唐的事情数不胜数。作为中方驻美使节的伍廷芳对此忍无可忍。他认为，作为主权国签订的条约，应该具有庄严的约束力、合法性，双方应对等执行，不得单方面肆意扭曲，乃至公然违反条约规定。1901年12月，他照会美国外交部，指出两国立约通商是照约进行的。官员、学生、商务人员，按条约应该受到切实保护。可是美国方面百般刁难，乃至公然违约，实在是“既背约章，又乖公议，殊非交际之道”。他愤怒地指出“以素号文明之国，而此损碍声名之事，窃为贵国不取！”
伍廷芳的照会义正词严，而事实证明，帝国主义为了自己的利益，实际上并不在乎自己的脸面，既不要道义，也不会讲什么人权，伍廷芳的努力收效甚微。根据中美签订的条约，美国限制华人入境、居留的条款只限于美国本土，而不涉及其属地，但随着美国逐步摆脱孤立主义政策，而迈向帝国主义之时，便开始公然违约。夏威夷从18世纪初开始一直是华人登陆美洲的重要地点，而且华人和土著相处无碍，从来没有什么签证纠纷。1898年夏天，美国吞并了夏威夷，同年7月，美国国会即通过《排华法案》，不允许华人通过夏威夷进入美国。即便早就定居夏威夷的华人也必须在限期之内重新领取证件。而且，这一法令只针对华人，而不针对其他亚洲国家的移民。
这种公然的歧视，极大地伤害了伍廷芳的民族自尊心。他向当时的美国国务卿海约翰发出照会表示抗议：“在夏威夷岛只排斥华人，是在全世界人心目中贬低整个中华民族。在并无歧视任何其他亚洲民族的立法的情况下，尤其如此。”但一贯我行我素的美国政府对此不予理睬，海约翰还公然告知伍廷芳，这就是美国的立场！虽然木已成舟，但伍廷芳没有放弃，他又知会美国总统，请求他组织一个委员会调查《排华法案》对中美关系的影响，但美国政府根本不予理睬。
中国人移居包括菲律宾在内的东南亚各国的历史，远比美国自己的历史更悠久。但随着1898年美西战争结束，美国托管了菲律宾后，美军统帅奥蒂斯竟然发布命令不许华人进入菲律宾。且不说美国在菲律宾排华的行为多么可笑，单就奥蒂斯的行为而言，也显然不符合国际惯例。
伍廷芳当然义愤填膺。1899年2月，他知会美国政府表示抗议，但得到的答复居然是“美国政府并不知情”这样的蒙起眼睛哄鼻子的搪塞之词。直到同年8月，中国驻菲律宾总领事向美国政府通报排华法在菲律宾的实施是违法的，美国才勉强承认事实。既然如此，伍廷芳随即于9月12日向美国政府提出强烈抗议。他依据美国政府历史上颁布的法令，指出了美国在托管地实施排华法违反美国法律；而且作为一个军人，奥蒂斯擅自推行违背美国法令的行为是可质疑的。
这一次，伍廷芳以其精湛的法学知识，以子之矛，攻子之盾，驳得美国哑口无言。美政府被迫于12月通知伍廷芳：美国已经指示奥蒂斯，不许违反条约精神；奥蒂斯也注意到了中方的质疑。菲律宾华人的处境由此得到保障，而这显然和伍廷芳的执着与努力有关。1901年底，美国议员卡恩再次提出新的排华法案，伍廷芳也再次提出抗议进行交涉。他逐一批驳了该法案罗列的排华理由。遗憾的是，1902年4月，美国政府再次通过了该法案。这次交涉的失败，深深地刺激了伍廷芳，他最终知道，依靠法律保护华人将是不可能的，而必须寻求新的办法。今天我们都知道，根本的办法当然是中国能强大起来。
虽然伍廷芳保护华工和华人的努力大多以失败告终，但也并不是全无成果。在充任驻美公使期间，他处理了不计其数的涉华案件，每一件他都“无不抗辞力辩，笔舌并争，其间因驳论而挽回者，殊不乏人，因其口供不符，原船拨回者，亦所恒有”。伍廷芳坚持不懈地抗争，特别是他在媒体上的持续呼吁，打动了不少美国有良知者。美国的排华浪潮逐步遭到正义舆论的压力，这种压力最终传递到了华盛顿，促使中美侨务问题逐步朝好的方向发展。而这在很大程度上和伍廷芳的努力有关系。“正是他像牛虻一样，以抗议叮住不放，”柯立芝评论道，“伍廷芳公使的卓越人格加速了一个新的反排斥运动。中国有些有学问、有价值的人在华盛顿，但是从没有一个能够以他自己的理由硬碰西方的外交官和用他自己的武器打击他们。罗斯福总统和海约翰国务卿首次答应伍廷芳公使进行讨论——为了相互的国际利益，而不是局部的和阶级的激动。”
这一评论再生动不过地显示了伍廷芳在中国孱弱的背景下，在奉行丛林法则的国际外交舞台上展示出了多么独特的魅力。他在很大程度上维护了在美华人的权益，为他们在美地位的逐步提升作出了巨大的贡献！