एक कथा के अनुसार कहा जाता है कि वर्षों पूर्व किराडू में तपस्वी साधु अपने शिष्यों के साथ वहां आए। एक दिन साधु अपने शिष्यों को स्थानीय लोगों के सहारे छोड़कर भ्रमण पर चले गए थे। उनके पीछे से शिष्यों का स्वास्थ्य बिगड़ गया। गांव में रहने वाले लोगों ने उन शिष्यों की कोई सहायता नहीं की। एक स्त्री ने उन शिष्यों की मदद की थी। साधु जब वापिस आए तो अपने शिष्यों की इस प्रकार की स्थिति देखकर उन्हें बहुत क्रोध आया अौर उन्होंने गांव वालों को श्राप दे दिया। उन्होंने कहा कि यहां के लोगों का दिल पत्थर का है, वह इंसान बने रहने के योग्य नहीं हैं इसलिए वे पत्थर के बन जाएं।
उस गांव में सिर्फ एक ही स्त्री थी जिसने शिष्यों की सहायता की थी। साधु ने उसे कहा कि आप इस गांव से कहीं दूर चले जाअों नहीं तो आप भी पत्थर की बन जाअोगी। साथ ही उन्होंने कहा कि जाते समय पीछे मुड़कर मत देखना। साधु की बात मान कर स्त्री वहां से चली गई लेकिन उसके मन में संदेह था कि साधु की बात सच है या झूठ। स्त्री इस बात का सत्य जानने के लिए स्त्री जाते समय पीछे मुड़कर देखने लगी अौर वह पत्थर की बन गई।
किराडू मंदिर से कुछ दूर बसे सिहणी गांव में उस महिला की प्रतिमा को आज भी देखा जा सकता है। इतिहासकारों का मानना है कि किराडू के मंदिरों का निर्माण 11वीं शताब्दी में हुआ था तथा इनका निर्माण परमार वंश के राजा दुलशालराज और उनके वंशजों ने किया था।