清同治七年(1868年)建成的英美租界公共花园(今
黄浦公园)，是
上海市的第一个公园。租界公园纯粹是为外国人服务的，拒华人于园门外长达半个多世纪。直至民国17年(1928年)6月1日才向中国人开放。至民国32年汪伪政府“接管”两处租界时止，租界当局先后共辟建过公园22个，其中极司非而(今中山)、顾家宅(今复兴)、
虹口区(今
鲁迅)等各具特色的大型公园至今尚存。
宣统三年(1911年)，
青浦区将曲水园改为公园，宝山县在此前后亦将原有几座相邻的小宅园改为城西公园，是为中国地方政府所建的首批公园。至民国25年，
上海市及各县政府先后辟建过市区公园6个，郊区及郊县公园8个。八一三
中国抗日战争爆发后，华界大部分公园被毁，幸存者亦面目皆非。
上海战役时，市区共有公园14个，面积为65.88万平方米。当时公园分布不均、园容不整、类型单一，劳动人民聚居地区少有公园。
解放后，市人民政府提出“为生产服务，为劳动人民服务，首先是为工人阶级服务”的城市建设方针，修复、改建、新建一批公园，其中影响最大的有跑马厅北半部改建的人民公园，原
高尔夫球场改建成
上海动物园(今上海动物园),还利用低洼地、废弃的军事用地等兴建长风、
上海市杨浦区人民政府、和平等综合性大型公园。至1958年底，公园已增至50个。
60年代初国家经济困难，政府对园林绿化拨款骤减，公园建设停顿。“文化大革命”期间，公园横遭破坏，大量园地被占、被毁，亭廊破损，花木凋零，在建中的
上海佘山国家森林公园植物园被迫撤销。
1978年后公园建设进入持续稳定发展的新阶段。1981～1985年，在整修原有公园的基础上，市区新建东安、彭浦、
内江市等公园，郊县新建古钟、
崇明岛、
川沙镇等公园，使一些没有公园的地区有了绿色的游憩场所。从1986年起，公园建设实行统一规划，分级负责，结合城市环境综合治理，建设速度加快，特别是居住区配套公园数量激增。同时，按照“城乡一体化”和“大园林”的思路，公园建设由市区向郊县扩展，辟建了仿古园林
上海大观园、具有自然景观的
上海东平国家森林公园和体现田园风光的浏河岛游览村等。
90年代，按照《上海城市总体规划方案》和开发浦东的要求，适应深入改革、扩大开放的形势，市政府与国家林业部联合建设规模较大的
上海野生动物园，同时进一步开发佘山国家旅游度假区。至1995年，全市开放各类公园105个，面积为1457.32万平方米。公园类型增多，规模扩大，功能多样，社会效益明显。