「富来町史」によれば、往時は高瀬大明神と呼ばれる石神さまとして信仰されたが、社殿を設けることを忌み嫌う神で、石場をこしらえても一夜のうちに崩れていた、とか、社殿を何度建てても一夜で壊れてしまった、とかいう言い伝えが残っている。当社は近くの藤懸（ふじかけ）神社の末社になっていて毎年8月には祭祀行事が行われるという。

なお、言い伝えは他にもあって、「この石神さまには、ケライ筋にあたる石が四十八個ある」というが、その一つを石神さまとして崇めた伝承があるものの、それらの行方は定かではないとされている。
社殿がないためかどうかは分からないが、高瀬宮は祭祀遺跡とされている。だが、現在に至っても祭祀行事が行われていれば、それは「遺跡」とは云えないのではないか。
鳥居が二つ立っているだけで社殿がない質素な��瀬宮・・・・・。広場から眺める三つの巨岩の景観は、社殿がない方が相応しい。