臺灣現代司法制度與各級法院之起源肇始於日治時代。明治 28年（西元1895 年）臺灣總督府公布「臺灣總督府法院職制」，除在總督府所在地設置總督法院外，另在宜蘭、新竹、苗栗、彰化、雲林、埔里社、嘉義、台南、鳳山、恆春、澎湖島等地設置法院支部（分院），性質上屬於軍事法庭，採一審終審制，為現代臺灣法院組織奠定根基。
明治 29 年明治29年（西元 1896 年）5月，總督府廢除軍政推行民政，公布律令第一號「台灣總督府法院條例」，將原來的一審終審制改為三級三審制，設立總督府法院，係專職行使國家司法審判權的一般法院，自1896 年7月15日開始運作。其設有地方法院、覆審法院、高等法院，分掌第一審民刑事裁判、作為第二審的「覆審」、以及依第三審上訴所為的最終審。高等及覆審法院位於台灣總督府所在地台北，地方法院起初有13所，即由上述11個支部改制而來，加上台北、台中兩地方法院。後來又修正為二級二審及二級三審制。
日治初期，臺南地方法院原借用原「安平縣」文廟作為院址，後因院務需要，於市區南部原「馬兵營」遺址籌建新院舍，此處是明鄭時的軍營，也是名史家連雅堂先生故居。至大正元年（西元 1912年）落成啟用，相對於其他法院時期較晚，但結構宏偉，具巴洛克式繁複豪華的風格，並採非對稱手法的空間處理，氣象萬千，具豐富多樣的建築美學。與「總統府」、「國立台灣博物館」(前省立博物館)並列為日治時期臺灣三大經典建築。
民國 34年（西元1945年）臺灣光復後更名為「臺灣臺南地方法院」，依法院組織法及地方法院處務規程改組，其行政監督直屬於臺灣高等法院，嗣後臺灣嘉義地方法院於民國 36年成立（轄區含雲林，先設雲林庭，於民國53年成立臺灣雲林地方法院），自臺灣高雄、臺灣嘉義地方法院成立後，臺灣臺南地方法院轄區因而縮小為臺南市及臺南縣。嗣為配合社會秩序維護法制定及民、刑訴訟法修正等國家重大政策之施行，於民國 80年成立臺南、新營、新市三處簡易庭，並同時受理簡易訴訟案件。
臺灣臺南地方法院舊址自落成後雖歷數次修繕，然而年代久遠，且過於狹窄，不敷公務使用，原擬拆除重建，嗣於民國 80年4月2日經內政部列為國家 2 級古蹟，乃覓得臺南市 5 期重劃區土地興建法院大樓，民國 90 年臺灣臺南地方法院正式搬遷至新舍。自民國98年起開始執行修復工程，修復工程設計書圖於99年12月依古蹟修復及再利用辦法之規定，送行政院文化建設委員會文化資產總管理處審核。相關修復原則於100年2月24日經該處邀集學者、專家審議後，均強調須依原貌保存之原則予以修復，亦即：外觀上「臺灣臺南地方法院」之大型刻字必須保存，內部法庭、拘留室等法院專有相關空間、設備等亦須妥適保留。因此，本件國家古蹟宜由法院妥為保存並善加再利用。又鑑於90年間之臺南地院遷建當時員工僅400餘人，惟目前已近700人，原設計之辦公室、法庭數已不敷使用。又少年法庭及少年觀護業務專業化，須輔導保護之少年，其部分家庭經濟資源為弱勢，本古蹟因地處臺南市中心，交通方便，故本古蹟之再利用，部分將規劃少年法庭及少年觀護業務之用，部分則作為司法文物展示，家長可就近陪同少年進行輔導，於閒暇之際順並接受文化薰陶。是以，除賦予古蹟建築新生命外，於文化資產的保存、司法薪火之傳承，更具深義。