古代豪族鴨氏の氏神社として、崇神[すじん]天皇のころに祀られたとされる。高鴨神社の上鴨社に対して、下鴨社とも呼ばれている。毎年7月16日と体育の日の前々日に行われる献灯行列は、奈良県南部の提灯奉納行事の中で最も規模が大きく、三段の「ススキ提灯」を奉納する。付近の鴨都波遺跡は、弥生時代の大規模な集落跡。
祭神は三十六歌仙の一人、柿本人麻呂。付近が生誕地と伝えられ、石見[いわみ]国で没した人麻呂を宝亀元年(770)に改葬して、かたわらに社殿を建てたのが始まりという。拝殿南側には「柿本大夫人麻呂之墓」と刻まれた石碑がある。境内続きの影現寺[ようげんじ]は柿本寺とも呼ばれ、人麻呂の木像を安置。はめ込み式の首は、夜中に月の出る方角を向くという。