起源については、これを詳かにつかめられないが、お能の宝物「能事始め」「神楽始め」の巻物、その他の文献資料や、伝えられるところによれば３つの説（文献によると２つともいわれている）があることが分かります。

一．

清和天皇の貞観年間中に天下泰平、国土安全の因縁から高貴な方が諸国ご巡歴遊ばされ、今の鶴岡市櫛引地域の黒川に多くの供奉の方がお出でなされし折、その一人堪能な人五十嵐兵右エ門氏なるものが、いかなる故か五十川谷沿いに入り実俣村、今の山五十川集落に参られ、永く居住して土地の農民に能楽たる「謡」と「仕舞」「切れ能」「恋慕の舞」を教えしめたのが縁起と伝えられる。

二．

長享元年、後小松天皇の第三皇子が諸国巡歴の旅に出られ、小名部に足を止め、後に黒川村に居住された。その供奉の一人が温海岳に籠り、天龍上人と称して河内大権現に参詣し、実俣村に住むようになり、部落民に謡・仕舞・恋慕の舞・金丹囃子を伝えたと言われている。

三、

寛永年間に豊臣の勇将石田三成が関ヶ原の一戦で徳川の勢に敗れ去り、涙をのんで主君秀頼公の身を安じつつ刑場の露と消え去ったが、その寸前子孫は四方に離散、洛陽の姓を「井波」と改め「石田治郎部少輔」なるものが徳川の追手をのがれ隠れ「天龍上人」と称して東北に旅せしに、いかなるゆえんかこの地「温海岳山」に籠り、たまたま村里に降りて河内大権現の祭を見てより岳山籠りを思いとどめて現在の一の鳥居上天龍屋敷の地に住居し、時折実俣村の若連中の能囃子を見て、山家には珍しき能楽なりと讃美し給いて、われも日頃たしなみし囃子方を教えんと「道行囃子」と「金丹囃子（座揃囃子）」を教え、これまた携えて来た、よこ鳩の小袖一枚と縫いちらしの小袖一枚それに鳴物笛、太鼓、小鼓を授け賜ったと文献（巻物）に記されている。

　天龍上人の住居したところを天龍屋敷と呼びささやかな塚がありますが、以前は一本の大杉ありて大岩にしめ縄を張って天龍の大神を崇拝してあったが、その遺跡の根拠をさぐること能わざるは遺憾である。現在も諏訪台門では天龍の大神を「日待」毎に掛物をかけ崇拝しており、また集落でも古い習しとして天龍上人が実俣村と蕨野村に、米二俵づつを下し給いて、これで酒をつくって６月１５日には牛頭天王様へご神酒を上げて拝むように言い伝えがあって、本歴の毎年７月１５日に公民館で「素神大神」「天龍上人」「観世大神」の掛物と宝物、能面を飾って「天龍上人祭」を行っている。これと関連し石田三成公の末孫である大山町石寺龍生氏宅の過去帳の改名や、姫路市の石寺雅蔵氏宅に残る家系図によっても、徳川の追手にのがれ東北地方に旅立ち、ひそかに天龍上人と称して現在の山五十川集落に隠れ住んだと記されている。