初建於南朝宋孝武帝大明年間（457—464年）而得名。1500餘年來，寺名多有變化，如隋代稱“棲靈寺”、“西寺”，唐末稱“秤平”等。清代，因諱“大明”二字，一度沿稱“棲靈寺”，乾隆三十年皇帝親筆題書“敕題法淨寺”。1980年，大明寺恢復原名。隋朝仁壽元年（601年），皇帝楊堅為慶賀其生日，下詔於全國建塔30座，以供養佛骨，該寺建“棲靈塔”，塔高九層，宏偉壯觀，被譽為“中國之尤峻特者”，故寺又稱“棲靈寺”。唐朝鑒真法師任大明寺住持，使大明寺成為中日佛教文物關係史上的重要古刹。