在日治時期後期，台灣有七大銀行體系，包括：台灣銀行、台灣商工銀行、彰化銀行、華南銀行、台灣貯蓄銀行、三和銀行在台分行、日本勸業銀行在台分行，其中勸業銀行成立時間較晚，在1923年1月才在台成立台北分行開始營業，扮演中長期投資銀行的角色，以挹注農漁業與各種生產事業，「勸業」兩字，日文就是「提倡實業，獎勵產業」之意。

光復後政府接收上述銀行，三和銀行在台分行併入台灣銀行，台灣商工銀行與台灣貯蓄銀行合併後成為第一銀行，而日本勸業銀行在台5個分行則改組成為台灣土地銀行。改組後的台灣土地銀行繼續肩負調整農業金融之責，扮演全國農、漁會信用部業務的上層銀行，直至94年5月農業合作金庫成立為止。

1998年精省後，台灣土銀由省營行庫轉為財政部所管的國營事業，至此昔日省屬5大銀行已消失，一銀、彰銀、華銀民營化，而台銀、土銀升格為國營。在二次金融改革階段，土銀一度出現消滅的危機，政府曾規劃由台灣銀行、中國輸出入銀行與土地銀行組成「台灣金控」，但是隨著二次金改的正當性褪色後，此議題也就事過境遷。
 

日本勸業銀行台北分行於1933年興建，是一座宏偉的洋風建築物，精壯的列柱、厚實的牆體，給人堅實穩重的感覺，現為台北市定古蹟。相同地，日本勸業銀行亦在台南建造行舍(原日本勸業銀行台南支店現為台南市定古蹟)，二者建築風格頗為相近，皆採用厚重的西洋樣式，但有趣的是不採希臘與羅馬樣式，反而從古埃及或中美洲古馬雅方面尋求形式的泉源。 
 

至於日本勸業銀行曾於1958年重回台北設分行，目前在台有三個分行，但是已不稱勸業銀行了，在2002年整併第一勸業銀行、富士銀行及日本興業銀行而成立瑞穗實業銀行(Mizuho Corporate Bank)，至此勸業銀行已成為昨日黃花。
 

今日在台灣的歷史上，勸業銀行已為金融界所淡忘了，但是曾經在台灣走過的歷史及興辦的行舍，記憶卻未曾遠颺，一個舊銀行的走入歷史，卻因為老建築物而流芳千古，這是當初蓋房子的人始料未及的事，銀行不死，因為還有古蹟。