本館前身臺北市文獻委員會成立於民國41年6月，最早時期任務乃職司臺北市市志之編纂，組織採委員會制，初期直屬臺北市政府，首任主任委員由吳三連市長兼任，副主任委員由當時議長黃啟瑞兼任，後因市政經緯萬端，市長難以親為兼任，層級修正為市府二級機關，民國62年7月改隸民政局，88年11月改隸文化局，主任委員依時序先後由民政局長及文化局長兼任，副主任委員則自59年起改由市長遴聘專家學者兼任。103年2月配合文化局組織修編，著手進臺北市立文獻館之組織規程修編，由委員會制修正為首長制，並進行更名作業，104年12月4日臺北市政府明令頒布「臺北市立文獻館組織規程」，105年2月2日舉行揭牌典禮，正式更名為臺北市立文獻館。