豫园，是江南园林艺术的瑰宝之一，原是明代官僚地主潘恩、潘允端的私人花园，始建于嘉靖三十八年（1559），至万历五年（1577）潘允端解职回乡后加速建造，屈指算来，豫园建园已有400余年。
取名豫园，是因为“豫”与“愉”两字相通。据潘允端说，建造此园，是为了“愉悦老亲”，供其父享用。他因而博得了一个大孝子的美名。其实，潘恩于万历十年已去世，供潘恩享用的乐寿堂尚未造好，潘恩自然也没有福气“愉悦”了。
豫园的主要建筑有乐寿堂、玉华堂等，堂馆轩榭，亭台楼阁，多达30余所，建造都十分讲究。园林布局虚实相映，曲折有法，奇峰异石，参差其间。与仰山堂隔池相望的大假山，用武康黄石叠成，堆砌得犹如天造地设，巧夺天工，系出自江南著名叠山家上海人张南阳之手。明中叶后，江南修建园林的风气很盛，豫园是其中的佼佼者。明清之际的叶梦珠称之为“建第规模甲于海上”，范濂赞之为江南土木的一大奇迹，确实名不虚传。
玉华堂前的石峰——玉玲珑，是豫园古迹中的古迹。与潘允端同时代的明代著名文学家王世贞在其撰写的颂扬豫园的文中指出，此石系移自乌泥泾朱尚书园，为隋唐时代之物。据清人记载，玉玲珑后移到浦东三林塘储昱的南园，因储女嫁给潘允端胞弟潘允亮，便将此石归赠潘家。潘允端认为，它是宋徽宗时搜罗的花石纲遗物，特别加以珍视。
民间传说，潘允端造豫园时，他母亲曾说，很想看看北京的皇宫是什么样子，于是潘允端便将豫园造得像皇宫里的御花园一样，还筑了龙墙，有人向皇帝告发，潘允端得讯后，一夜间在园内大厅里塑起城隍像，撤去后墙，与城隍庙沟通。当朝廷派人来查询时，以庙墙为对，始免于难。人们往往将这段传说当作信史。其实此说并无历史依据。潘允端的母亲曹氏，在万历初年建造豫园时已去世。更重要的是，龙是封建帝王的象征，民间擅自在建筑物上装饰是要冒灭族之祸的。退一步说，即使是被视若神明的上海城隍爷，也没有资格享用，潘允端也决不会去冒这个风险，豫园的龙墙迟至清末以后才建造，并非明代建筑。
豫园建成后，潘允端常在园内设宴演戏，宾客满堂，甚至食客、僧道、相士以至妓女无所不有。