滕州历史悠久，古为“三国五邑”之地，素有“滕小国”之称，是古代东夷炎族后裔——滕、蕃、邾、薛等氏族的摇篮和商代始祖的发祥地。这些氏族，是本地区“北辛文化”、“大汶口文化”、“龙山文化”时期的居民，当时属于东夷族部落。东夷族的文化领先于其他各族，而在东夷族文化中又以古滕地位最高，所以被誉为“东方君子之国”。炎、黄之战后，炎帝兵败，皇帝率族东来，封其第十子于滕，并用黄族的人取代本地各族首领。皇帝所封的滕国，传至商末灭亡。

滕州市的名称虽有国、县、郡、州、市的变化，但“滕”字除汉、晋时期之外却基本未变，一直沿用至今。明、清年间的《滕县志》解释“滕”是因为本地泉水“腾涌”，且黄帝封其子于此地，以“滕”为姓而得名。以“滕”字的来历及其演变不难看出，远古时期这里的农业生产就很发达，是一片泉水腾涌美丽富饶的地方。

周灭商之后，武王封其弟错叔秀于滕（故城在今姜屯镇懂滕城村），以屏藩王室和监视东夷族居民，滕国由此跃居其他诸侯国之上。滕国共传31世，于周赧王二十九年（公元前286年）被宋国所灭。滕亡之前，其邻邦薛国、小邾国已被齐、鲁等国吞并。

秦始皇统一六国后，废分封置郡县，在滕国、薛国分别设置了滕县和薛郡（薛县）。汉初，高祖刘邦析小邾置蕃县。汉武帝时，改滕县为公丘县。北魏撤销公丘县，设立平阳县。北齐把阳平、薛、合乡、昌虑、永兴、永福六县并入蕃县，并将沛、高平、南武阳等县的部分地区划归蕃县，县境面积剧增，成为全国著名的大县。

隋开皇六年（公元586年）蕃县改名为滕县。开皇十六年（596年），升滕县为滕郡。不久，又将滕郡改为滕县。唐元和年间，县城东移二里修筑新城（今老城区）。宋南迁之后，金于滕县兼置滕阳军。金大定二十二年（1182年），升滕阳军为滕阳州。大定二十四年，改滕阳州为滕州（州治滕县），辖滕、沛、邹三县和陶阳镇。明洪武二年（1369年），撤销滕州。清乾隆年间，将湖陵县部分地区划入滕县。

民国时期，滕县政区虽没有很大变化，但因日军入侵，曾出现国民党、共产党及日伪顽并存的局面。日军侵占滕县七年多，曾利用汉奸建伪滕县公署，派其顾问加以控制。中国共产党领导滕县人民，开辟抗日根据地，建立抗日民主政权，先后或同时在县内及邻县间建立了县级政权。由于战争不断，各行政区的名称、区域变动也较为频繁。1939年2月，中共滕县委员会在大赵庄成立；8月，以津浦铁路为界分为滕东、滕西两县，各有县委领导。1940年7月，滕西县委解体。1941年7月，滕东县委改为滕峄边工委。1944年5月，滕县县委、县政府在东庄里成立；7月在滕县南部设临城县，8月在滕县西部设凫山县。1946年1月，为纪念王麓水师长，把滕县改名为麓水县；4月又恢复滕县，将双山县改名为麓水县，撤销凫山县；10月又恢复凫山县。1948年7月，中国人民解放军第二次解放滕县城，国民党县政府溃散，中共滕县县委、滕县人民政府进驻县城。

1949年10月1日，中华人民共和国成立。1950年，尼山专区和台枣专区合并为滕县专区（驻滕县），辖滕县、薛城县（原临城县）、凫山县等13个县和两个市。1953年9月，滕县专区和湖西专区合并为济宁专区（驻济宁），滕县隶属于济宁专区；同时撤销白彦县，将其所辖原属滕县的5个区划归滕县；建立微山县，将滕县所辖湖区划归微山县。1956年3月，撤销薛城县和凫山县，把其所辖部分地区划归滕县。同年12月，山东省调整县的等级，滕县由甲等县升为特等县。1960年3月，把滕县临城公社的164个自然村划归枣庄市。1979年1月1日，滕县改属枣庄市。1983年11月，枣庄市齐村区撤销，设立山亭区，将滕县东部的山亭等8个公社划入山亭区。1988年3月7日，经国务院批准撤销滕县，设立滕州市。