传说很久以前，有一群大约身高1米的矮人住在苗栗县上坪溪上游右岸山的山腰洞窟中，常常往来赛夏族部落。由于这些矮人会巫术，教导赛夏族人耕作农事，而使得农作物年年丰收。后来又教赛夏族人唱歌、舞蹈，还教给豆姓家族祭典仪式和方法。
　　但是矮人却性好女色。经常侵犯赛夏族妇女，甚至使用威胁或暴力行为。因此使得赛夏族入对矮人由原先的感激转为憎恨，决心报复。暗中定计邀矮人参加祭典。当矮人从洞中出来经过独木桥要到赛夏族这边时，使矮入都掉入深渊而死。但仍有2个矮人幸免遇难向东方逃去，一边跑一边向赛夏族人诅咒：“以后你们的农田永远会有雀鸟和老鼠危害你们的收成，以后你们出草猎头时，会被其他土人杀死你们。”
　　从此以后，赛夏族人又伯活着的那两个矮人报复，又怕死去的矮人灵魂作怪，所以便在众多祭典中加入了祭矮灵的仪式，届时都是向东方呼祭矮灵。平时其他祭典只是同姓聚落在一起举行。但举行祭矮灵时，是全族的部落同盟一起举行。祭矮灵每两年一次，每十年则有二次大祭，以化解这段矮人间又恨又怕的恩怨。这便是闻名的矮人祭，也是赛夏族人最特殊的祭典。每次祭典，传统上都是朱姓家族担任总祭司。据说以前的祭典都是由豆姓家族司祭，但自从矮人们施虐以后，将司祭职务转移给朱姓，后来杀害矮人的计谋也是朱姓所主谋，所以总祭司一直由朱姓家族所担任。  
　　赛夏族是最早与平地汉族文化接触的土著族之一，尤其是氏族姓氏的汉化，诸如豆、高、朱、丝、夏、樟、日、根、蟹、芎、狮、风、藩、钱、胡、詹等姓，与汉族一模一样。
　　赛夏族共4600多人，是台湾高山族中人数最少的一族，也是分布范围最狭窄的一族。主要分布于新竹县五峰乡的五指山区、苗栗县狮潭乡和南庄乡的加里山区。居住的高度约在海拔500—1500米之间。
　　赛夏族古称“狮设族”，分为南北两方言群。北赛夏群又称大隘群，大致分布于鹅公吉山北麓一带；南赛夏群又称东河群，则分布于鹅公吉山南麓附近。历来受东北泰雅族强大势力威胁，西部又受平地汉人的影响，所以大部分赛夏族人不是和泰雅族人混居，就是因接近平地，而被编入普通行政区域中，故而其文化习俗受此影响较大。
　　赛夏族人是以地域和亲属关系的图腾氏族为社会组织的基本构成单位。三五同姓(同图腾)家族聚居为一个聚落并形成一个基本地域团体，也是与氏族祭团一致的单元。若干个毗邻的聚落联合成一个村落，村落中的同姓家族则组成各姓氏的氏族祭团，是各姓共有耕地、渔区及互助的单位。再次则若干个毗邻的村落联合成一个部落，
    是共有猎区及祭典单位。最后，若干个同区域的部落联合成一个部落同盟，也就是现在所称的南赛夏群或北赛夏群。
　　在经济生产活动方面，赛夏族早期也是从事游耕、山地烧垦和山区狩猎。后来渐渐受到周围强势力民族的压迫，土地利用范围逐渐狭窄，而转变为定耕农业和林业的形态。
　　赛夏族与泰雅族、布农族等一样，也有黥面的风俗。据说这代表着青少年男女已成年的标志，同时也是为了增加外表美丽的装饰，来引起异性的注意力。另外，他们住家房屋竣工的祭祀也很有意思。每逢住家房屋建筑完成时，要召集亲族及建屋者，举行建筑祭祀。宴会在黄昏举行，大家聚集在室内，由屋主站在家的中央，以少量的酒、米饭及猪肉，向主梁告祭，呼请祖灵来饷用。仪式完毕，亲族即可饮宴，酒宴方酣又歌又舞，至深夜才散席。若被招待的客人很多，则分成几次举行，而祭告的仪式也要举行好几次。