石上神社は、御霊神社の境内社。御霊神社本殿の右横にあります。石上神社のご神体は巨大な石。現在は石上神社のすぐ後ろに置かれています。
かつて、御霊神社の前に広がる沖には岩礁があり、海難事故が絶えませんでした。そのため岩礁の一部を引き上げ、事故がなくなるよう祀ったのが石上神社とされています。

石上神社の例祭は、海の日に行われます。海と遭難した人の霊を鎮め、海上の安全を願う神事です。神輿が海まで運ばれ、船で沖へと運ばれます。御供（赤飯）を海に流すので、「御供流し」とも呼ばれています。