人吉・球磨地方の宗社として信仰されてきた。阿蘇神社の分霊を勧請、大同元年(806)創建と伝わる。寄棟造の茅葺き屋根をのせた、重厚な楼門(国宝)は球磨民謡にも歌われている。社殿の彫刻には桃山建築の特徴もうかがわれる。
人吉城跡には例年3月下旬に満開となる約230本のソメイヨシノが植えられている。人吉城は相良氏700年の居城。繊月城と呼ばれる。現在は石垣を残すのみだが、石垣の上に長兵、角櫓、多門路を復元。高台に立つ城跡からは、球磨川や人吉の町並みを一望。日本百名城のひとつ。
創業から続く天然もろみは、大豆・塩・小麦のみを1年以上熟成させて作られる、地元で唯一の自家製造。約100m続く蔵は、醤油やもろみの室や圧力釜、味噌を寝かす石造りの室などで構成され、見学することもできる(要予約)。売店を兼ねた休憩処の建物は大正時代の創建当時のもの。