伝承によると、延暦年間（782～805）に空海（弘法大師）が紅峰に一寺を創建し、その後、幾度かの興亡変遷を経て、天正年間（1572～91）長宗我部の兵乱により堂宇は焼かれ、仏像（薬師如来像）は鰆の浜，虎の石あたりに投げ込まれたと言われている。
江戸時代中期、漁夫たちがこの浜に光明の輝くのを不思議に思って、その辺りを探したところ、砂の中から一体の仏像が現れ出た。これは、疎かにすべきではないと村人たちが相寄り、亀水川の西側（亀水町2092番地）に仏堂を造り安置したのが当寺の前身の薬師庵で亀水庵とも呼ばれた。この時、漁夫や村人たちと立ち働いたのが、僧蔵芸の先代だと伝えられている。
寛政の初め大暴風雨があり、多くの民家と共に薬師庵も倒壊したが、郷人たちの支援を得て蔵芸大禅師が、現在の寺地に堂宇を再建した後、潤道・荷潤・潤暁・正澄・正潤・潤生と法燈を守り、多くの門信徒の皆様と深い絆で結ばれて現在に至っている。