相傳百多年前，在上坪溪溪谷的山洞中住著一群小矮人，與賽夏族人交流頻繁，教導賽夏族人農耕漁獵與治病方法，賽夏族人心存感激。然而矮人卻輕薄賽夏婦女，賽夏青年設計陷阱報復矮人，造成矮人重大傷亡。事後2名倖存的矮人離去前傳授祭歌及祭儀給賽夏人，告誡須每年祭拜矮人靈魂，否則必有災禍。矮人離開後，賽夏族人開始災禍連連，農作欠收、獵獲減少、飢荒與瘟疫等。賽夏人便在農曆10月中旬之夜起，舉行儀式祭祀矮人的靈魂，連續3個夜晚跳舞祈禱，直至次日太陽出來。矮靈祭兩年一小祭、十年一大祭，多在農曆10月間舉行6天。