「總爺藝文中心」原為日本明治製糖株式會社的「總爺工廠」及「本社」，1998年進行拆除廠房工程時，麻豆鎮文史工作者與當地居民希望保留與麻豆人生活息息相關的生活記憶，因此總爺紅樓辦公室、廠長宿舍、招待所、紅磚員工餐廳、日式庭園，以及百年樟樹群，昔日載運甘蔗的老火車頭、糖廍榨石等得以被保留下來。 隨著「古蹟活化再生」、「閒置空間再利用」政策，這個舊糖廠因而被改設為「南瀛總爺藝文中心」