建築概念以傳統水墨畫之濃墨、飛白及渲染三種筆法為發想，發展出虛、實量體交織的流線形體。實量體，名墨韻樓，為展廳及文物庫房；虛量體，名飛白館，設有教育空間及紀念品商店。中央走道自南端景觀橋開始，穿入虛、實量體中間的中庭，即為渲染。三道曲線同時也象徵中華、印度及波斯三個古文明。建築本身兼顧生態工法和防震設施，已取得鑽石級綠建築標章及鑽石級智慧建築標章。內部共分四層及一閣樓，館內有五個常設展廳、一個多媒體展廳、一個專題展廳、一個借展廳及兒童創意中心。常設展包括嘉義發展史、亞洲佛教藝術、亞洲茶文化、亞洲織品、新媒體藝術等五大主題，並不定期推出特別展覽和國際借展。