इस मंदिर को यमराज की कचहरी के नाम से भी जाना जाता है। इससे संबंधित मान्यता है कि मृत्यु के पश्चात यमराज आत्मा को यहां लाते हैं। यहां यमराज का दरबार लगता है अौर उनको उनके कर्मो के अनुसार फैसला सुनाया जाता है। आत्माअों को उनके कर्मों के हिसाब से नर्क या स्वर्ग में भेजा जाता है
कहा जाता है कि मंदिर में चारों दिशाअों में चार अदृश्य द्वार हैं। यमदूत लोगों की आत्मा को उनके कर्मों को अनुसार भिन्न-भिन्न द्वार से लेकर जाते हैं। गरुड़ पुराण में भी यमराज के दरबार में मौजूद इस प्रकार के चार द्वारों का वर्णन किया गया है। चारों द्वार सोने, चांदी, लोहे अौर तांबे से निर्मित हैं।
गरुड़ पुराण के मुताबिक महात्मा लोग सोने, चांदी के द्वार से जाते हैं। सामान्य कर्म करने वाले तांबे के द्वार से जाते हैं। यमराज पाप करने वालों की आत्मा को लोहे के द्वार से लेकर जाते हैं, जो नर्क की अोर जाता है।