据州境内文物考古发掘的大量文物证明，早在原始社会早期，就有人类在文山这块土地上活动。西畴县西洒镇东郊仙人洞先后出土5枚古人类牙齿化石，距今约4-7万年，属旧石器时代晚期智人遗存，印证了数万年前文山境内便有古人类在此生息繁衍，同时这也是滇东南地区目前发现年代最早的古人类遗存。

春秋战国时期（公元前770—前221），州境分属句町、进桑两大部族势力范围。进桑部族控盘龙河中游、红河上游。句町部族以今广南、富宁为中心，其势力范围涵盖滇东南、桂西部分地区。到了战国晚期，句町部族聚合结成部落联盟，进而形成方国。

公元前214年，秦朝统一岭南地区，设南海、桂林、象郡三郡，今富宁县东部纳入秦王朝行政版图归象郡管辖。

西汉元鼎六年（公元前111），汉武帝征服西南边疆后，置牂牁等郡。自此，文山境内各部辖地纳入西汉王朝版图，始行郡县建制。其时，文山州境分属益州刺史部牂牁（zāngkē）郡、益州郡的句町县地、都梦县地、镡（xín）封县地、宛温县地、进桑县地、毋棳（wúzhuō）县地、贲（bēn）古县地。

三国蜀国建兴三年（225），诸葛亮南征平定南中，设云南、永昌、兴古、牂牁等七郡，隶属益州，由庲（lái）降都督统辖，今文山州全境均属兴古郡。

两晋时期，兴古郡实体长期存续，仅上级管辖机构在庲降都督、益州、宁州之间更迭，西晋永嘉五年（311），调整郡县，将宁州下辖兴古郡分为兴古、梁水、西平3郡，境内全域归属此3郡。东晋咸康五年（339），爨氏势力崛起并掌控南中（今云南、川南、黔西南及桂西北区域）全域，3郡属地尽数纳入其势力范围，其以地域分划为东爨、西爨两部，今州境隶属西爨辖地。

自东晋永和年间始，下迄南北朝北周大定元年（581），二百余年间南中战乱连绵，割据势力随意析置州郡，建置重叠混乱、改隶无常，区划体系崩坏。建制上，各王朝保有名义统辖权，但实际军政事务仍由西爨世守割据，世袭统领。

隋朝建立后，开皇三年（583）文帝“罢天下郡，以州领县。”全国改州、郡、县制为州、县制，以州直接领县。开皇四年（584），在南中废郡建州，废兴古郡等旧郡，置昆州、恭州、协州，均隶属于南宁州总管府（治今陆良），今文山州境内各县皆属昆州地域；开皇十八年（598），朝廷南征，大破爨氏，爨氏对文山的割据终结。此后文山地域不再由单一强权掌控，转为南宁州总管府羁縻统领、当地部落夷帅自治的松散共管状态。爨氏对兴古郡一地的管控，自东晋永和三年（347）起，至隋开皇十七年（597）史万岁南征结束，历时250年。

唐朝唐武德四年（621），朝廷施行羁縻制度，委任土著首领世袭统辖，境内相继置严州、汤望州等七羁縻州，统隶南宁州都督府；唐中后期，调露元年（679）改交州都督府为安南都护府，广南、富宁归唐朝岭南西道安南都护府；其余6县地域脱离南宁州都督府七羁縻州体系，名义上由剑南道戎州都督府遥领，实则为当地部族自治的弱控区域。天宝七年（748），南诏国攻占爨氏故地，6县归入南诏拓东节度；咸通年间南诏国改隶拓东节度通海都督府僚子部，直至南诏灭亡（902）。

北宋至道三年（997），广南、富宁境设特磨道羁縻区，隶广南西路邕州，是北宋疆域与大理国接壤的前沿羁縻区域。其余6县域归属大理国最宁府。

1254年蒙古汗国攻克大理国，大理国覆灭，文山属地随之归附蒙古汗国。元朝至元十二年（1275）特磨道福州（今广南县）团练使、特磨道知事侬士贵率三十七州县、十万户民众归附元朝云南行省，特磨道正式脱离南宋广南西路统属。至元十四年（1277）废特磨道，设广南西路宣抚司。至元末，境内区划定型为两大板块并存格局。文山等6县地隶属云南行省临安路，广南、富宁区域设广南西路宣抚司。

明朝洪武十五年（1382），明军平云南，设云南布政使司，改路为府，今文山境域分属广南府、广西府、临安府，三府同级，该区划至明末整体趋于稳定。

清初建制沿袭明制。康熙六年（1667)推行改土归流，土司制改为流官制，把教化、安南、王弄三长官司辖地并置开化府，原广南府辖今广南、富宁，丘北仍隶属广西府维摩州。康熙八年(1669)裁维摩州，属地析入开化、广南、广西府。雍正八年（1730)，开化府增设文山县，府县同城。乾隆二年（1737)，广南府增置附郭宝宁县，府县同城。光绪二十三年(1897)设麻栗坡交涉副督办署及河口交涉副督办署。

开化府舆图（清・道光九年）

民国2年（1913），云南裁撤府、厅建制，推行道县体制。开化县（今文山市）、丘北县、广南县、富州县（今富宁县）、安平县（今马关县），及从开化县析出设立的靖边行政区（今屏边县），一并隶属蒙自道。同年，麻栗坡交涉副督办公署、河口对汛副督办划为云南省直辖。民国18年（1929），云南省废除道制，实行省县二级管理，原蒙自道所辖各县、行政区全部直隶云南省。麻栗坡、河口两处对汛督办始终为省直辖。民国31年（1942），云南省设立第二行政督察区（驻地文山县），辖文山、砚山、西畴、马关、屏边、丘北、广南、富宁8县；麻栗坡对汛特别区、河口对汛督办仍为省直属。民国35年（1946），第二行政督察区改称第四行政督察区（驻地砚山），辖区、治所及隶属关系均保持不变。民国36年（1947）全省区划调整，由7区扩为11区，文山片区拆分，屏边县划属第五行政督察区（驻地建水），丘北县划属第三行政督察区（驻地弥勒），第四行政督察区实辖文山、砚山、西畴、马关、广南、富宁6县，麻栗坡、河口两处对汛督办依旧由云南省直辖。

1949年，中国共产党领导的人民武装先后解放了文山地区，建立人民民主政权。

1949年2月至6月，各县先后建立县人民民主政府。

1950年1月7日，文山县城解放，滇桂黔边区滇东南行政专员公署由西洒迁入文山县城。3月，改称文山专区专员公署。

1955年，麻栗坡市改为麻栗坡县，文山专区辖文山、砚山、西畴、麻栗坡、马关、丘北、广南、富宁8县，文山专区首次固定为8县。

1957年5月24日，国务院全体会议第49次会议决定：设置文山僮族苗族自治州，撤销文山专员公署（文山专区）。

1958年4月1日，召开首届人民代表大会，文山僮族苗族自治州正式成立，实行民族区域自治，州府驻文山县城。

1958年10月，行政区划调整：撤销砚山县并入文山县，撤销麻栗坡县并入西畴县，全州辖6县。

1961年8—10月，恢复砚山县、麻栗坡县建制，全州恢复为8县。

1965年10月12日：国务院批准改“僮族”为“壮族”，更名为文山壮族苗族自治州。

1967年“文化大革命”期间实行军事管制，州军事管制委员会取代州人民委员会。

1968年9月，州、县军事管制委员会改称州、县革命委员会。

1975年5月，恢复文山壮族苗族自治州人民政府。

1980年各县先后恢复县人民政府建制至今。

2010年文山县撤县设市。