我国有很多地方的地名都带一个“州”字，如扬州、杭州、广州、福州等，这是从古代的行政区划沿袭下来的。
州的名称出现在西汉时，但当时的州，还不是行政区划。据史书记载，汉武帝为了有效地管理地方，将全国划分成13个监察区，称为“州”。每州都由中央派遣一名长官，负责监察郡、县的官吏。这一长官，便被称为刺史。
到了东汉后期，州慢慢演变成为一种地方行政区划。州辖郡、县，刺史又称州牧，就是州的行政长官，拥有行政军事权。
隋朝时，郡的建制被取消，只保留州、县。唐朝继承隋朝的制度，将地方分成州、县两级。当时州的行政长官仍称为刺史。
宋朝开始把州的行政长官叫做“权知某军州事”，简称“知州”，“权知”意为暂时主管，“军”指该地厢军，“州”指民政。知州下属的官员有同知、通判，分别掌管财政、刑法、治安等。《宋史·苏轼传》说苏轼“知徐州”、“知湖州”、“知杭州”，就是说派苏轼去管理徐州、湖州、杭州的政务，也就是担任这些州的知州。
元朝沿袭宋朝的制度，称州的长官为知州，但是路、府、州均置达鲁花赤，专由蒙古人、色目人担任，地位在知州之上。
明清两朝，州有两个级别：直隶州和散州。直隶州直属于省，级别与府相同；散州隶属于府，级别与县相同。直隶州与散州长官均称“知州”。