জনশ্রুতি রয়েছে, ১৪০০ খ্রিষ্টাব্দের গোড়ার দিকে সুলতান ফিরোজ শাহ তুঘলকের শাসনামলে সুদূর দিল্লির জৌনপুর থেকে ইসলাম প্রচারের উদ্দেশ্যে এই অঞ্চলে আসেন মহান সাধক হজরত খানজাহান আলী (রহ.)। তার হাত ধরেই বর্তমান বাগেরহাটের খলিফাতাবাদ এলাকায় গড়ে ওঠে সমৃদ্ধ জনপদ।