荷蘭、鄭氏、清領時期
在外來勢力還未來臺之前，嘉義市最早為平埔族諸羅山社（Tirosen）活動的區域，因此嘉義古名「諸羅山」的緣由即為荷蘭人將此社「番語」音譯為「Tirosen」，漢人再書寫為「諸羅山」。
1621年，閩漳人顏思齊率民自笨港登陸，逐步拓墾雲嘉地區。1624年，荷蘭人占據臺灣，對嘉義地區的平埔族諸羅山社民進行招撫，並對此地加以經營，從紅毛埤（今之蘭潭水庫）、紅毛井及王田里等遺跡可看出端倪。
明永曆15年（1661）鄭成功來臺驅逐荷蘭人，在此建立了漢人政權，設一府二縣，即承天府與天興、萬年兩縣，當時嘉義隸屬天興縣。
清康熙22年（1683），鄭氏為施琅所敗，隔年（1684）清國領有臺灣，設臺灣府統三縣，即臺灣、鳳山、諸羅等縣，諸羅縣署設於佳里興（今之臺南市佳里區）。
康熙43年（1704），知縣宋永清奉文歸治，文武官員移歸諸羅山，以木柵築城，設東西南北四門，是當時一府三縣中最早建築的一座城柵，由於古城形如桃狀，因此諸羅城亦名「桃城」。這是嘉義建城之始。
乾隆51年（1786），林爽文反清之役，圍攻諸羅城，城內人民協助清軍有功，清國乃本「嘉其死守城池之忠義」之旨，翌年11月初三日下詔，易稱「諸羅」為「嘉義」。
光緒11年（1885），臺灣正式建省，全台為三府一直隸州十一縣三廳，嘉義縣屬於臺南府，縣治仍設於嘉義。
光緒21年（1895），清日甲午戰役後，清國與日本訂立馬關條約，將臺灣割給日本，也結束清國對臺灣長達二百年的統治。
日治時期
日本治台後，設總督府統治全台，正式施政。明治30年（1897），日本將台灣行政區劃改為六縣三廳，嘉義、雲林兩支廳合併為嘉義縣，縣治設於嘉義。
明治31年（1898），日人再將台灣行政區劃調整為臺北、臺中、臺南三縣及宜蘭、臺東、澎湖三廳。嘉義地區全境被劃入臺南縣，下轄嘉義、打貓、樸仔腳三個辨務署。
明治34年（1901），日人將全台行政區劃整並為二十個廳，嘉義地區的三個辨務署合併為嘉義廳，下轄有七個支廳。
明治39年（1906）嘉義發生大地震，城垣幾乎全毀，僅存東門；隔年日本開始制訂都市計畫並實施市區改正，重建後的嘉義市，成為當時臺灣最為現代化的街市，工商業及交通設施也在此時開始逐步發展，而聞名於世的阿里山森林鐵道也是在此時期開始建設。嘉義的林業開始真正發展，也帶動了嘉義的經濟繁榮。
大正9年（1920），嘉義改隸屬於臺南州嘉義郡之下，並開始實施地方自治，嘉義正式成為自治團體嘉義街。昭和5年（1930）嘉義街改陞為市，嘉義市自此正式誕生，為臺南州直轄。
1945年二次世界大戰後，日本成為戰敗國，臺灣也結束了日本人統治的時期，改歸中華民國。
西元1945年二戰後
終戰後，嘉義市隨即升格為省轄市，直隸臺灣省政府；到了民國39年（1950）調整行政區域，將全臺劃分為十六縣五省轄市一管理局，嘉義市於此時被改為縣轄市，屬嘉義縣所轄，這也造成嘉義市各項經費短絀，影響諸多建設，民怨高漲，政府遂在1951年撤銷新東、新西、新南、新北四鎮建制，合併為嘉義市，成為嘉義縣內唯一的縣轄市。
在地方人士多年奔走下，嘉義市直到民國71年（1982）才再恢復為省轄市。現今嘉義市政府市徽圖樣中的數字71，即為紀念民國71年7月1日恢復改制的日期。