प्राचीन कथा के अनुसार यहां के निवासी प्रभु टंडेल नामक व्यक्ति को करीब 300 वर्ष पूर्व एक स्वप्न आया था। उन्होंने स्वप्न में एक व्हेल मछली को समुद्र तट पर मरी हुई स्थिति में देखा। सुबह देखने पर सच में वहां वह मछली पड़ी थी। उसके विशाल आकार को देख गांव वाले हैरान हो गए। टंडेल ने स्वप्न में यह भी देखा कि देवी मां व्हेल मछली का स्वरुप धारण करके तैर कर तट पर पहुंचती है परंतु वहां आने पर उनकी मृत्यु हो जाती है। टंडेल ने जब यह बात लोगों को बताई तो उन्होंने उसे देवी का अवतार मान लिया अौर वहां एक मंदिर बनवाया।
टंडेल ने मंदिर निर्माण से पूर्व व्हेल मछली को समुद्र के किनारे ही दबा दिया था। जब मंदिर बन गया तो वहां से व्हेल की हड्डियों को निकालकर मंदिर में रख दिया गया। उसके बाद टंडेल अौर स्थानीय लोग नियमित उनकी पूजा करने लगे। कुछ लोग टंडेल की इस आस्था के विरुद्ध भी थे इसलिए उन्होंने मंदिर से संबंधित किसी भी कार्य में हिस्सा नहीं लिया। लोगों के इस प्रकार के व्यवहार के कारण उन ग्रामीणों जिनको उन पर विश्वास नहीं था उनको इसका नतीजा भुगतना पड़ा। कुछ दिनों के पश्चात गांव में भयंकर रोग फैल गया। टंडेल के कहे अनुसार लोगों ने मंदिर में जाकर दुआ मांगी कि मां उन्हें क्षमा कर बीमारी से छुटकारा दिलाएं। माता के चमत्कार स्वरुप रोगी ठीक हो गए। उसके पश्चात गांव वालों ने मंदिर में प्रतिदिन पूजा-अर्चना करनी अारंभ कर दी।
उस समय से आज तक यह प्रथा जारी है कि समुद्र में जाने से पूर्व प्रत्येक मछुआरा मंदिर में माथा टेकता है। माना जाता है कि जो व्यक्ति यहां दर्शन नहीं करता उसके साथ कोई दुर्घटना अवश्य होती है। आज भी टंडेल का परिवार इस मंदिर की देख-रेख कर रहा है। प्रत्येक साल नवरात्रि की अष्टमी पर यहां पर भव्य मेले का आयोजन होता है।