据对下永兴、下双井、大沟、瓦磁地，福连坊等地的古遗址考证，繁峙远在新石器时代，就有人类定居，繁衍生息。 至唐元和年间（806~826）全县总户数为1590户（唐·《元和志》）。 宋元丰年间（1078～1085）总户数为782户（宋·《元丰志》）。 明洪武初年共2346户，16540人。嘉靖初年，人口上升，总户数为2432户，总人口20480人。三十二年(1553)发生兵荒，之后户数减为450余户。万历十五年(1587)户数仍为469户，7970人。 清代初年，由于实施了一系列发展农业生产的政策，出现了经济繁荣的景象。人口也随之上升。乾隆年间编户9378户，人口为78001人。道光十三年(1833)总户数9381户，人口为82450人。清末人口下降，光绪十二年(1886)总户数9384户，总人口69760人。 民国年间全县人口呈波浪状起伏的趋势。民国元年(1912)至民国七年(1918)全县人口一直徘徊在7万～9万之间。民国八年(1919)至民国十六年(1927)，人口逐年增长，总人口达到124359人。民国十七年(1928)至民国二十五年(1936)人口停留在11万左右。民国二十六年(1937)七七事变后，日军侵入，县境沦陷，战乱频仍，百姓外逃，再加天灾，疫病，溺婴等诸多原因，全县人口急剧下降。民国二十八年(1939)全县总人口减为69495人，直至民国三十年(1941)才恢复到11万左右。 1949年新中国建立后，由于社会制度的改变，人民物质生活和医疗卫生条件的改善，人口流动减少，死亡率降低，出生率和自然增长率相应地迅速提高，人口得到很快发展。1949年全县总户数为33049户，总人口为123488人。至1985年总户数增至55570户，总人口增至206380人。人口的不断增长，人口和经济、社会发展计划不相适应的矛盾越来越明显，自实行计划生育以来，人口自然增长基本得到控制，从1970年起出生率开始下降，至1985年已控制到12.15‰。 据2020年第七次全国人口普查统计，全县常住人口为250409人，与2010年第六次全国人口普查的266800人相比，十年间减少了16391人，减少6.14%，年平均增长率－0.63%。