很多时候，祖先直接被称为鬼。《周礼·春官·大宗伯》载：“大仲伯之职，掌建邦之天神、人鬼、地只之礼。”人鬼主要是各姓的祖先。《礼记·祭法》中也载：“大凡生于天地之间者皆曰命。其万物死皆曰折。人死曰鬼。”这里说人死了之后都称为鬼。称之为鬼，源于人死后必有归宿。《说文解字》载：“鬼之为言归也……古者谓死人为归人。”《礼记·祭义》载：“众生必死，死必归土，此之谓鬼。”人死若有归处，才不会作乱害人。子产曰：“鬼有所归，乃不为厉。”
人死后统称为鬼，但不包括那些有资格进入宗庙的祖先。《礼记·祭法》中载：“王立七庙、一坛、一墠。曰考庙，曰王考庙，曰皇考庙，曰显考庙，曰祖考庙，皆月祭之。远庙为祧，有二祧，享尝乃止。去祧为坛，去坛为墠。坛、墠，有祷焉祭之，无祷乃止。去墠曰鬼。”意思是说王有七庙，分别祭祀他的父亲、祖父、曾祖父、高祖父和始祖，这些人每个月都要祭祀。另外，高祖的父亲和祖父，每季度祭祀一次即可。高祖的曾祖和高祖无庙，有坛和墠，有所祈祷时进行祭祀，没有祈祷就不祭祀。比坛墠受祭祖先更远的祖先，就叫做鬼了。按照古代礼制，在王以下，诸侯、大夫、适士、官师所能祭祀的祖先数量依次递减，直至“庶人庶士无庙，死曰鬼”，庶人庶士的祖先全部都是鬼。
称呼祖先为“祖先鬼”，有时是为了凸显对祖先的敬畏。海南黎族是一个信仰鬼的民族，他们认为人死后会变成鬼，其中“祖先鬼”是最大的鬼，会主宰子孙的生活和命运，子孙稍有不敬，得罪了它，它就可能作祟于人，让子孙遭殃，这时必须请“道公”、“娘母”或老人来“做鬼”祈求“祖先鬼”原谅，并保佑后代平安。在日常生活中，每逢祭祀性节日，对“祖先鬼”的祭祀也要特别隆重。“祖先鬼”包括三种，一种是“大祖先”，指始祖、二世祖和三世祖，祭祀时要用牛祭祀，故称“吃牛祖先”。二是“中祖先”，通常指家族祖先，祭祀时用猪，故称“吃猪祖先”。三是“小祖先”，指个体家庭的祖先，称“公爷”，是已故的祖父、父亲，祭祀时用狗或者鸡，称“吃狗祖先”、“吃鸡祖先”。同时，由于“祖先鬼”爱作祟害人，使人生病，平日生活中严禁说出祖先的名字。一旦说了祖先名字，就会把“祖先鬼”招引出来作祟害人。鉴于这种情况，在黎族生活中，一年四季都忌讳说出祖先的名字。如果故意说出别人祖先的名字，就是一种蓄意陷害，严重时可能引起群殴、械斗。