秦朝，秦始皇派兵攻取南越，在岭南设置南海、桂林、象郡，今开平地（以下简称开平）隶属南海郡番禺县。
汉武帝元封五年（前106），天下分为13州，开平隶属交州合浦郡临允县。
三国吴黄武五年（226），从交州分出南海、苍梧、郁林、高凉4郡设立广州，开平分属广州苍梧郡临允县、南海郡平夷县。
晋武帝太康元年（280），天下分为19州，开平分属广州新宁郡临允、新兴、新夷县，南海郡盆允、封平县。南朝宋，设22州，开平分属广州新宁郡临允、新兴县，新会郡新夷、盆允、封平、封乐、义宁、初宾、始康县。南朝梁，割广州新宁一郡立新州，开平分属新州新宁郡新兴县，广州新会郡新夷、盆允、封平、封乐、义宁、初宾、始康县。南朝陈，开平行政隶属与南朝梁相同。
隋开皇三年（583）将诸郡改为州。大业三年（607）又改州为郡，开平分属信安郡新兴县，南海郡新会、义宁县。
唐贞观元年（627）设10道。开元二十一年（733）又分为15道，道下设州，开平分属岭南道新州新兴县，冈州新会、义宁县。五代（南汉），开平分属新州新兴县，兴王府新会、义宁县。 宋太宗至道三年（997），设15道，开平分属广南东路新新州兴县、广州新会县。
明洪武九年（1376），改行中书省为布政司，开平分属广东布政司肇庆府新兴县、恩平县，广州府新会县。
南明永历三年/清顺治六年（1649），开平立县，隶属肇庆府。民国初期，开平县仍按清制隶属肇庆府。
民国3年（1914），隶属粤海道。民国9年（1920），撤销道制，只留省县级行政建制。民国17年（1928），隶属西江善后委员公署。民国25年（1936）10月，隶属广东省第一行政督察区。民国38年（1949）4月，改属广东省第十行政区。
共和国成立后1949年10月，隶属粤中专区。1952年5月，划入粤西行政区。1956年1月，撤销粤西行政区，开平县划归佛山专区。1958年12月，改属江门专区。1961年2月，属肇庆专区。1963年9月，再次划归佛山专区（1968年1月改专区为地区）。
1983年5月，改属江门市。1993年1月5日，撤销开平县，设立开平市。1999年6月21日，将开平市人民政府驻地由三埠街道长沙沿江东路135号迁至长沙街道长沙光华路1号。
2000-2002年，开平市辖3个街道（三埠、长沙、沙冈）、15个镇（水井、月山、水口、赤水、东山、金鸡、蚬冈、百合、赤坎、塘口、大沙、马冈、龙胜、苍城、沙塘）。2004年，水井镇并入月山镇，东山镇并入赤水镇。2005年5月，开平市辖3个街道（长沙、三埠、沙冈）、13个镇（月山、水口、赤水、金鸡、蚬冈、百合、赤坎、塘口、大沙、马冈、龙胜、苍城、沙塘）。2005年7月28日，撤销沙冈街道办事处，并入水口镇。新水口镇全镇总面积为80.5平方千米，总人口8.4万人，另有外来人口2万多人。
