平治元年（1159）、平治の乱の敗北により13歳の源頼朝は伊豆の蛭ヶ小島へ流罪となります。この間の頼朝については『源平闘諍録』や『曽我物語』に詳しく、伊東祐親の娘（八重姫とも）との悲恋や北条政子とのドラマチックな婚姻などが記されています。
【蛭ヶ小島】
『平家物語』諸本には、頼朝は伊豆国北条（現・伊豆の国市）にある蛭ヶ小島へ流されて20余年の歳月を送ったとありますが、『曽我物語』によると、はじめは伊東祐親館（伊東市）にいたようです。その時、八重姫との間に千鶴という男児が誕生しましたが、それを知った祐親が千鶴を殺害、頼朝は北条へ逃れたのです。
【毘沙門堂】
蛭ヶ小島の近くには、同じく京から配流されていた文覚上人がいました。文覚は奈古野寺の脇に庵を造り、そこに居住していましたが、度々頼朝に挙兵を勧めていました。『平家物語』によると、文覚は、頼朝に父・義朝の偽髑髏を見せたり、上京して後白河法皇から受け取った平家追討の院宣（福原院宣）を渡すなどして説得したそうです。
【安達藤九郎盛長警護の跡】
頼朝は三嶋神社に源氏再興の祈願をします。『源平闘諍録』は、頼朝が三嶋神社等に願書を奉納したと記しています。参詣の際、腹心の安達藤盛長が境内で頼朝を警護していたと伝わります。
『源平盛衰記』では、清盛の嫡男・重盛と妹尾太郎兼康が、三嶋大明神の門前に清盛の首が掛けられている夢を、二人同時に見たことになっています。
【頼朝・政子腰掛石】
三嶋大社の境内には、頼朝と政子が腰を掛けて休息したと伝わる石があります。
