সঠিক পরিচর্যা ও রক্ষণাবেক্ষণের অভাবে ঐতিহ্য হারাতে বসেছে কানসাটের জমিদারবাড়ি। জানা যায়, কানসাটের তৎকালীন জমিদারদের আদিপুরুষ প্রথমে বগুড়া জেলার কড়ইঝাকৈর গ্রামে বসতি স্থাপন করে। কিন্তু দস্যু সরদার পণ্ডিতের অত্যাচারে তারা ময়মনসিংহ জেলার মুক্তাগাছাতে স্থানান্তরিত হন এবং পরে চাঁপাইনবাবগঞ্জের কানসাটে এসে স্থায়ী বসবাস শুরু করেন। শশীকান্ত, সূর্যকান্ত ও শীতাংশুকান্ত এই বংশের অধস্তন বংশক্রম। মুসলিমবিদ্বেষী জমিদার হিসেবে পরিচিতি লাভ করায় তারা প্রজাসাধারণের জন্য কিছু রেখে যেতে পারেননি। কিন্তু জমিদারি কার্য ছাড়াও এরা হাতির বেচাকেনা করতেন। এই জমিদার পরিবারের মুসলিম বিদ্বেষের অনেক দৃষ্টান্ত এ অঞ্চলে বিদ্যমান। উদাহরণস্বরূপ বলা যায়, ১৯৪০ সালে স্থানীয় কাগজী (কাজী) পাড়ায় মুসলিম সম্প্রদায়কে উচ্ছেদ করার ষড়যন্ত্রে লিপ্ত থাকার কারণে হিন্দু-মুসলমানদের মধ্যে দাঙ্গার সূত্রপাত হয়। ১৯৪০ সালের ১ ফেব্রুয়ারি স্থানীয় শ্যামপুর চৌধুরী পরিবারের নেতৃত্বে বাজিতপুর গ্রামের আম্রকাননে প্রায় ১২টি ইউনিয়নের মুসলমান সম্প্রদায় একত্রিত হয়ে জমিদারদের অত্যাচারী কার্যক্রমের তীব্র প্রতিবাদ জানায় এবং একটি মামলা দায়ের করে। এই মামলায় জমিদার শীতাংশু বাবু হেরে যাওয়ার আশঙ্কায় স্থানীয় মুসলিম সম্প্রদায়কে ডেকে তাদের কাছে ক্ষমা প্রার্থনা করে নিশ্চিত বিপদ হতে রক্ষা পান। বর্তমানে জমিদারি প্রথা না থাকলেও অক্ষত রয়েছে জমিদারবাড়িটি। তবে রক্ষণাবেক্ষণের অভাবে বিভিন্ন লতাপাতা গজিয়ে উঠেছে বাড়ির চারপাশে। বিভিন্ন তথ্য সূত্রে জানা যায়, প্রাচীনকালে এখানে কংসহাট্টা নামক রাজার বাড়ি ছিল বলে তার নামানুসারেই স্থানটির নাম হয় কানসাট এবং এই কানসাটের পার্শ্ববর্তী পুখুরিয়া গ্রামে বঙ্গ অধিকারী রানী স্বর্ণময়ীর রাজধানী ছিল। পুখুরিয়া বাগদীপাড়ায় এখনো এর ধ্বংসাবশেষ দেখা যায়। এই রানীর তোপকামানের শব্দে স্থানীয় লোকজনের কান বন্ধ করতে হতো। অনেকেই মনে করেন কান+সাট (বন্ধ)=কানসাট নামের উত্পত্তি হয়েছে। বর্তমানে কানসাটের পুখুরিয়া গ্রামে বিদ্যুৎ আন্দোলনের নেতা গোলাম রাব্বানীর বাসস্থান হওয়ায় অনেকেই সংগ্রাম ঐতিহ্যের সাথে নিজেদের তুলনা করে থাকেন।