本署之前身，初為日治時期之「台北地方法院檢察局」，台灣光復後，奉派為第一任首席檢察官蔣慰祖先生，於民國34年11月01日到職接收該局業務，並更名為「臺灣臺北地方法院檢察處」。嗣於78年12月24日配合法院組織法之修正，再更名為「臺灣臺北地方法院檢察署」，機關首長首席檢察官亦同時改稱檢察長。

由於大臺北地區人口急遽增加、案件逐年增多之趨勢，先於70年成立板橋分院檢察處（79年4月獨立為臺灣板橋地方法院檢察署，102年1月1日起更名為臺灣新北地方法院檢察署），再於73年成立士林分院檢察處（84年7月獨立為臺灣士林地方法院檢察署）。106年總統召開全國司法改革國是會議，第3分組第5次會議建議檢察署去「法院」化，107年2月8日全國同步揭牌，機關門首銜牌更換為「臺灣臺北地方檢察署」，立法院於同年5月8日三讀通過增訂法院組織法第114條之2條文，並經總統於同年月23日公布，同年月25日正式更名為「臺灣臺北地方檢察署」。

本署目前管轄區域為臺北市之中山、大安、松山、信義、中正、萬華、文山及新北市之新店、烏來、坪林、深坑、石碇等12個行政區。轄內設籍人口數截至110年12月底止，為1,840,541人。本署位於全國政經中心，轄內政府機關及重要組織林立，案件量大質重，民國85年度之全年新收案件總計113,673件，110年度全年新收案件總計之189,907件，25年來平均年增率為2.1%。85年度之全署員額為401人（其中檢察官91人）、110年度之預算全署員額為648人（其中檢察官157人）。

回溯政府接收臺北地方法院檢察局，更名之初，辦公處所係原日治時期之台北州文武町三丁目，即現在之司法大廈一、二樓部分廳舍。其後，由於政府勵精圖治，百廢俱興，台北都會區經濟繁榮，民生富裕，社會轉趨多元化，訴訟案件因而遞增，原有員額編制亦逐步擴充，致辦公廳舍擁擠不堪。法務部有鑑於此，乃毅然於司法大廈旁籌建司法新廈，本署獲配新廈西側廳舍約1,938坪，於74年完工啟用後，同年5月遷至新廈辦公以迄於今。

由於案件量及編制員額仍不斷增加，辦公空間不敷使用，本署遂於民國88年05月租用貴陽街2段26號共三個樓層作為第二辦公室，由執行科及觀護人室遷入辦公，於98年1月經財政部國有財產署移撥臺北市辛亥路2段185號1至2樓供本署作為第三辦公室，由檢察事務官室遷入進駐，於98年6月再向國防部無償借用博愛路164號5樓作為本署第四辦公室，將部分行政科室、法醫室、圖書室、電腦教室及修復式司法會談室遷入。

因辦公廳舍分散，造成同仁間協調連絡不易及安全管理困難等問題，經法務部與國防部協調，將國防部「博愛大樓」1、2樓及「採購大樓」（均位於博愛路）移撥本署使用，羅前部長瑩雪並指示會計處協助爭取經費，在法務部各級長官及檢察長督導同仁共同努力下，「採購大樓」辦公室於106年間順利完工，現為本署第二辦公室，公訴組檢察官、公訴組書記官、法醫室及檢察事務官室等科室進駐辦公；「博愛大樓」辦公室於108年間順利完工，現為本署第三辦公室，執行科、觀護人室、人事室、會計室等科室進駐辦公，至此本署辦公處所已由散居各處，集中至博愛路，加強各科室間之橫向聯繫，並避免當事人洽公時往返奔波各辦公處所，並加強便民等各項軟硬體設備，期能提供更完善的服務，提升工作與服務之效能。