Celo ostrvo Hitagashima dobilo je naziv po čoveku koji se zvao Hitagashi. Po priči koja kruži ostvom on se u poznim godinama života povukao u hram koji je godinama gradio i veruje se da je tu i skončao. Neki ljudi veruju da u gluvo doba noći svakog punog meseca Hitagashijev duh ustane i ubije sve koje zatekne unutar hrama.
Hram je uklesan u ogromnoj planini koja se nalazi na samom severu ostrva. Do hrama preko velike provalije vodi drveni most povezan sa dva velika užeta.