北宋时期，北方由游牧民族契丹人建立的辽政权与宋朝同时存在。辽的州县制度主要仿自唐朝，州设刺史，县设县令，京城所在地称府。在州之上以五京为中心，分成五道，亦称五京道。
其境内设有上京临潢府、中京大定府、东京辽阳府、南京析津府、西京大同府五个中心，然后分为五个道：上京道、中京道、东京道、南京道、西京道。道以下设置府（州、军、城），再往下一级为县（城）。
辽亡以后，金国的行政区划制度比较杂糅，一部分沿袭自辽，一部分仿自宋。
金朝初期也设置有五京，分别是：上京会宁府、北京临潢府、东京辽阳府、西京大同府、中京大定府。在灭掉北宋以后，五京变七京，增加燕京析津府、汴京开封府。不过金朝的这些中心城市也是屡有变化，此后至金晚期，一会是五京，一会是六京，此处不再赘述。
与北宋行政划分相仿，金也将全境分路而治，路的机构设置都管府、转运使司、提刑使司、统军使司四使，亦是分权而立。到金章宗时期，划分为十九路：中都路、上京路、咸平路、东京路、北京路、西京路、南京路、河北西路、河北东路、山东东路、山东西路、大名府路、河东南路、河东北路、京兆府路、
自元代开始，地方行政区划进入省制时代，行省作为地方最高一级行政单位，之下的行政区划非常复杂。
元初，行省区域还不太稳定。《元史》卷二中记载，元太宗三年（1231年）“始立中书省，改侍从官名，以耶律楚材为中书令。”而地方路、府、州之上的行中省，是从元宪宗初年立燕京等行尚书省开始的。到元世祖忽必烈中统初年，改置为行中书省，作为朝廷中书省在外地的办事代理机构，职责也从最初只管军事演变为“凡钱粮、兵甲、屯种、漕运、军国重事，无不领之”。 到元英宗至治年间（1321年—1323年），全国设中书省 一个，为中央机构中书省的直辖地区，又称都省、腹里。另设行省 十一个，长官为平章政事、参知政事等，统领一省之军政事务。
元朝的地方行政区划普遍实行的是省、府（州）、县三级制或省、路、府（州）、县四级制。
当然也有特例，如最复杂的中书省，行政区划层级可达到五级之多，即省－路－府－州－县。
这是因为元朝的府、州有的直隶于行省，和路地位相同，即直隶府、直隶州，相当于二级行政区；也有隶属于路的，即散府、散州，相当于三级行政区。府之下领州、县，而州领有县。县有隶属于州的，也有直接隶属于府和路的；也有路、府、州都是不领辖县的。
《元史》地理志中记载，省以下“有路府州县四等，大率以路领州、领县，而腹里或有以路领府、府领州、州领县者，其府与州又有不隶路而直隶省者”。
据《元史》地理志记载可知：
“立中书省一，行中书省十有一：曰岭北，曰辽阳，曰河南，曰陕西，曰四川，曰甘肃，曰云南，曰江浙，曰江西，曰湖广，曰征东，分镇藩服，路一百八十五，府三十三，州三百五十九，军四，安抚司十五，县一千一百二十七。”
元朝的诸路设总管府，设置有达鲁花赤一名，以蒙古人担任；总管一名，担任助理，多为汉人担任，另设其他职官若干。
另外，元朝还有两种道，一种是监察道，一种是宣慰司道。
为了加强对较远地区诸路的管辖，元廷还分道设立宣慰司，计有十一宣慰司道，包括：山东东西道（治
而监察道即肃政廉访使司，本名提刑按察使司。这些监察道与宣慰司道无关，元成宗大德年间共设有二十二道，除了岭北行省未设，其他各省均有。其中，内八道直接隶属于御史台；江南十道隶属于江南行御史台；陕西四道隶属于陕西行御史台。
明朝建立之初，其地方行政区划仍采取省制。在中央设中书省，在地方设立行中书省。在洪武九年（1376年），朱元璋改行中书省为承宣布政使司，又于洪武十四年（1381年）罢去中书省，废除丞相，分权于六部。
至宣德三年（1428年），明朝的二直隶、十三布政使司成为常制。即
同两直隶和十三布政使司相行的还有奴儿干、朵甘和乌斯藏三都司。
除了承宣布政使司掌管行政以外，明朝还设置有提刑按察使司负责司法，都指挥使司掌管军事，合称“三司”。“三司”鼎立，互相平等，互相牵制，共商一省政务。
为了克服事权不一，政令不畅的弊端，明廷还派遣大员任总督、巡抚协调地方，多因事而设。到了明中叶以后，受总督、巡抚的遍设，布政使司受其节制，地位趋于下降。有明一代先后设有十二个总督，二十九个巡抚。
在省区以下，还划出若干“道”，作为省的派出机构，来分管若干府。现如今，学界也普遍认为“道”不是明朝的一级正式行政区划单位。
明初，承袭元制，将道作为地方监察区。其中，由布政使司派出负责钱粮的称“分守道”，由按察使司派出负责司法的称“分巡道”。当时，明朝共设五十三个分守道，四十一个分巡道，每个省分守道、分巡道其辖区或重叠或交错，共同对省内各州府县事务的管理与监察，相互补充制约。
明中后期，守、巡两道的监察职能逐渐削弱，所担负的行政职能却不断增多，开始向行政实体化转变。但道的官员始终是布政使和按察使的佐官在管事。
此外，还有弘治年间开始于各省重要地方设整饬兵备的道员，即整饬兵备道。
在行政区划上，明朝是一种复式政区层级关系，即实行省、府、州、县四级制和省、府、县三级制。
明初，朱元璋就废除了元代的路，改为府。这样布政使司以下只设府、州、县三级。根据《中国行政区划通史明代卷》数字认为，截至崇祯十三年（1640年），明朝共有一百六十二府（包括军民府）、二百五十五州（包括直隶州、属州、土州）、一千一百七十三县。
这其中，府作为布政使司以下的行政区。其下辖州或县，或者州、县并辖。
另外明朝的州分两种，一种是直隶于布政使司的直隶州，与府同为二级行政区，其下辖县或者不辖县。此外，还有散州，即府属州，其地位大体与县相同，但多数属州也领有县，实际上是介于府县之间，相当于三级行政区。
第四级行政区就是县，隶属于府、领县的直隶州或者属州。
清朝入关之初，仍沿袭了明朝布政使司的行政制度，但是把南直隶改为了江南省。其政区划分以实行省、府 （直隶厅、直隶州）、县（散州、散厅）三级行政区划系统为主
康熙年间，恢复了行省制度，又将原十五省拆分为十八省，至清末共设置二十三省。
这里的省即：
直隶（北直隶，治
山东（治
山西（治
河南（治
四川（治
江西（治
浙江（治
福建（治
广东（治
广西（治
云南（治
贵州（治
另原江南拆分为江苏（治
原陕西拆分为陕西（治
原湖广拆分为湖南（治
这些行省划分，多承明代之旧，各省设有蕃（布政使）、臬（按察使）二司。而且明朝临时设置的总督、巡抚也逐渐发展成为常设，在各行省设置专职巡抚。
到乾隆时期，共设置了直隶、两江、闽浙、湖广、陕甘、两广、云贵、四川八位总督（光绪年间又增置东三省总督），而巡抚除直隶、四川两省以总督兼任，甘肃以陕甘总督兼任以外，其余各省均置巡抚一人。也就是从这一时期开始，总督辖数省，巡抚辖一省成为定制。
清代督抚的权力是一个逐渐加强的过程，清朝中期之后藩、臬二司已慢慢沦为督抚的属吏，到太平天国以后，督抚的权力更是得以加强，成为执掌一省军民财政和监察大权的大吏。
清朝的省以下还设置有“道”。不过这里的“道”是省与府之间虚设的一级行政区划单位，实际上是省的派出机构，“司风宪，综核官吏，为督抚布教令，以率所属”，道员职责“不过分巡转核，或专司盐粮。”乾隆时期，道改为专设的“守道”和“巡道”，前者有固定辖区，主管钱谷、政务，后者分巡某一区域，主管刑狱，道员从而成为实官，还多加兵备衔，节制辖区内都司以下的武职官员。
此外，还有一些负责专门领域业务而特设的道员，尤其是清朝初期，这些“道”是名目繁杂，如粮储道、盐法道、提学道、屯田道、驿传道、河道、海关道等等。
清朝的道的设置不是一成不变的。康熙六年（1667年），设置有守道、巡道一百零八个。乾隆年间设置有七十九道。至宣统年间共有守道、巡道八十四个。
再说省以下的行政区，省以下分为道、府（州、厅）、县等。其中，府和直隶州是二级行政区，三级行政区是县或散州。
清代省辖直隶州才领县，而府辖散州则与明朝不同，不再领有属县。
与明朝不同，清朝还有直隶厅的设置，是在新开垦的地区设置的区划单位，有直隶厅与散厅之分。直隶厅与府、直隶州平行，直隶于省，一般不领县，当然也有个例，如乾隆时期四川省叙永直隶厅辖永宁县，光绪时期百色直隶厅辖恩隆县、上林土县等；而散厅则隶属于府，与散州、县相平行，成为地方最基层的行政区划单位。
另外，在边境少数民族地区还设盟、旗等行政单位，盟相当于内地的府，旗相当于内地的县。
所以说，清朝的地方行政区划实际上只有省－府（厅、州）－县三级。
到清末，原伊犁将军辖区改为新疆省，福建省台湾道升为台湾省，东北三将军辖区改为奉天、吉林和黑龙江三个省。这样清朝由十八省变成了二十三省。
据《光绪大清会典》卷四数据显示，当时其下属一百八十五府，三十四直隶厅、八十七散厅、七十三直隶州、一百四十五普通州、一千三百一十四县（不含台湾三府一州十一县）。从而为现代省级政区的划分奠定了基础。
辛亥革命后，省制继续延用。在1913年，地方行政区划制度发生了重大变革，先是废除府制，改州、厅为县，县直隶于省。而“道”得以继续保留，作为介于省、县之间的一级行政单位，以弥补因省域过大，辖县过多，不易治理的困难。
至1914年，共设有九十二道，后续有增置。这一时期，省的长官称督军，道的长官称道尹，县的长官称县知事，地方行政区划成为省－道－县三级制。
不过，北洋政府设置道制也遇到了来自不同派系的阻力和反对，后来浙江、广东、湖南先后裁撤道。1924年时，北洋政府曾通令各省裁撤道尹，因故未能执行下去，但绝大多数省区于1928年前后陆续废除道制。
直到1930年2月，南京国民政府会议正式通过废除道尹的决定，至此，北洋政府道制实际仅存十余年后，各省诸道被废，再度恢复了省、县二级制。从此，中国行政区划系统中“道”制再没有出现。