1895年，台湾因马关条约被割让给日本。

1900年起，日本人逐步拆除台北府城城墙及西门，以原台北城范围内的区域（日本人称为“城内”）作为官方厅舍集中地以及来台日人的商业活动地带。并利用拆除后的城墙原址辟筑4条3线道路，兴建自来水及下水道系统，并分阶段进行“市街改正”计划，街道的建筑风貌略为西化；另外也新设公园绿地及新建其他公共建筑，台北市逐渐具有现代都市的形态。日本殖民统治初期，仍以原有的两座衙门作为台湾总督府，成为日本统治台湾的政治中心，直到1919年台湾总督府新厅舍落成为止。

1920年行政区域改革，以艋舺、大稻埕、城内三市街为基础，设立台北市，隶属于台北州。

1938年，进一步将松山并入台北市。台北一名始见于清蓝鼎元所撰“纪竹堑埔”，略曰：“竹堑埔宽长百里，行竟日无人烟。野番出没，行人过此，视为畏途。然郡城、淡水上下必经之地，其地平坦，极膏腴，辟田畴，可得良田数千顷。台北民生之大利，又无以加于此。”此文所指之台北，系指竹堑以北之台湾北部地区而言。

日本于第二次世界大战战败后，中华民国政府在当时的台北公会堂举行受降仪式，日本殖民时代划下句点，为台湾的城市。

1945年国民政府接收台湾后，台北市成为省辖市，隶属于台湾省。台北市政府于1945年11月1日正式成立，市政府设于建成区长安西路。管辖区域：东为台北市松山区中坡，位于东经121°35′16″；西为双园区加蚊子（西园町），位于东经121°28′43″；南为大安区六张犁，位于北纬25°0′19″；北为中山区大直；位于北纬25°5′25″。本市四境均为台北县的各乡镇毗邻。东与内湖乡接壤，西以淡水河为界，与鹭洲乡相隔，东南与深坑乡为邻，西南隔新店溪与中和乡板桥镇相望，北隔大直山与士林镇相接。面积为66.9872平方千米，人口328591人。管辖大同、延平、中山、建成、古亭、龙山、松山、城中、双园、大安等10区。

1949年随着国民党政府撤退到台湾的200万军民，以及1960年代众多中南部民众北上求学、工作的风潮，都使得台北市的人口快速增加。过去在美援的挹注下，道路、住宅社区、学校等公共设施的新建工程也开始逐步进行；城市的已开发区域原先集中于旧市区西侧，自1960年代末期起，也开始向东边的大片田野地拓展。

1950年台湾省调整各县市行政区域，台北市行政区域照旧。台北市管辖松山、大安、古亭、双园、龙山、城中、建成、延平、大同、中山等10区，人口155133人，面积为66.9872平方千米。管辖区域：东为台北市松山区中坡，位于东经121°35′17″；西为双园区路二段底，位于东经121°29′5″；南为古亭区罗斯福路四段底，位于北纬25°0′46″；北为中山区大直；位于北纬25°5′46″。中心位置为城中区台湾省政府大厦，位于东经121°31′，北纬25°3′。本市东与台北县内湖乡、南港镇接壤，西以淡水河为界与三重镇相隔，东南与景美镇、木栅乡为邻，西南隔新店溪与永和镇、中和乡及板桥镇相望，北隔大直山与士林镇相接。市政府设于建成区长安西路39号。

1970年代与1980年代为台北市的高度发展期，城市的商业重心也从此时开始逐渐向东移至东区，西区相对显现出发展衰退的态势；伴随高度发展而来的是交通量的激增，最终造成严重的交通问题。

1967年7月1日，台北市升格为台湾地区的直辖市。次年，依地形自然形势及水源需要，以淡水河、新店溪为界，将台北市原有辖区及台北县的南港镇、内湖乡、木栅乡、景美镇，以及阳明山管理局所辖的士林、北投两镇一并划归台北市，分别改制为南港区、内湖区、木栅区、景美区、士林区、北投区。（注：1968年7月1日至1974年1月1日，台北市除了直辖其他十四区外，士林北投两区是透过阳明山管理局管辖的。北高两市的区一样是属于乡镇级，但阳明山管理局是属于县级，且非派出机构，真正算派出机构的是市区。）
1990年，台北市行政区重划，将原来16区调整为12区。

1990年代之后，市区铁路地下化、快速道路、捷运、公车专用道等交通建设陆续完成，相当程度地缓解了交通上的压力；信义计划区开始快速发展，市政府与市议会亦迁至该地；原本渐趋没落的西区，西门町、大稻埕等地带也开始进行局部改造、更新计划。