কালাপাহাড় করমানী বংশের সুলতানদের আমলের রাজু নামে এক হিন্দু যোদ্ধা। নবাবের হয়ে যুদ্ধ করে গুরুতর আহত হলে নবাবনন্দিনী সেবা করে তাকে সুস্থ করে তোলেন। সেই কন্যাকে বিয়ে করার জন্যে সমাজপতি ব্রাহ্মণদের কাছে অনুমতি চাইলে তাঁরা রাজুকে সমাজচ্যুত করার হুমকি দেন। রাজু তখন ইসলাম ধর্ম গ্রহণ করে নবাবনন্দিনীকে বিয়ে করে। তারপর সমাজচ্যুত হবার আক্রোশে হিন্দুবিদ্বেষী হয়ে পড়ে বহু হিন্দুমন্দির আর দেবদেবীর মূর্তি ধ্বংস করে, যাদের মধ্যে রয়েছে পুরীর জগন্নাথের মন্দির, কাশীর বিশ্বনাথের মন্দির। হয়তো কৃষ্ণবর্ণ আর বিশাল বপুর সুবাদেই তার কালাপাহাড় নামকরণ। হিন্দুদের মধ্যে যারা ঠাকুরদেবতার কাছে মাথা নোয়ায় না, মন্দিরে যায় না বা পূজাপার্বণে যোগদান করে না, তাদেরই লোকে বলে কালাপাহাড়।