胡志明市位于湄公河三角洲地区。起初只是个称“普利安哥”的小渔村，周围都是沼泽。高棉人在此居住多个世纪，此地逐渐发展成真腊的港口贸易重镇。因水网密布，这一带被称为“水真腊”。

1623年Chey Chettha国王准许越族难民进入普利安哥，躲避越南南北朝时期北郑朝、南阮朝的内战，同时增建房屋供难民居住。但衰弱的柬埔寨王国无法抵挡逐渐增多的难民潮，渐渐地普利安哥变成越南的一部分；亦开始被称为西贡。

1698年阮朝领导者送一位越南贵族来此统治，正式纳入越南的版图。这位贵族常因发展西贡的功劳被赞赏。

1859年法军入侵，殖民时期法国人在西贡留下一些著名的建筑物。

1954年北越军队在中华人民共和国的援助下取得奠边府之役大胜之后，宣告独立。法国政府将政权移交给阮朝的末代皇帝保大帝，西贡定为南越首都。越南共和国成立后仍将此地作为首都。

1975年越南战争结束、两越统一。西贡纳入北越的军队保护之下，在美国此事件被称为西贡陷落，在越南被称为西贡解放。

1976年越南社会主义共和国成立，战胜的北越为纪念其政权建立者胡志明，将此地更名为胡志明市。

胡志明市原名西贡、西贡—嘉定市，1976年正式改称现名。胡志明市位于湄公河三角洲东北侧、西贡河右岸，东南距海口80公里，涨潮时两万吨级轮船可直驶市内。

战争结束后，南北越于1976年7月2日完全统一，河内正式成为了这个统一的国家的首都。

根据越南国会1976年7月2日的决定，胡志明市包括解放前的西贡市、嘉定省以及平阳、厚义两省的一部分。市区有12个郡，郊区有6个县。

2006年，胡志明市城区设12个郡，郊区辖6个县。

2014年，胡志明市城区设19个郡、5个县。