অলস ও নিষ্কর্মা লোকজনের কোলাহলপূর্ণ আড্ডাকে লোকে বলে হরি ঘোষের গোয়াল। হরি ঘোষ অবশ্যই ঐতিহাসিক ব্যক্তি। তবে একজন নয়, দুজন। নদীয়ার গোপ হরি ঘোষের গোশালায় ছিল পণ্ডিত রঘুনাথ শিরোমণির চতুষ্পাঠী। সেখানে সমবেত বহুসংখ্যক ছাত্রের কোলাহল থেকে এই বাগধারার উৎপত্তি। মতান্তরে, কলকাতার শোভাবাজার অঞ্চলের হরি ঘোষের অতিথিশালায় আশ্রিত বহু নিষ্কর্মা ব্যক্তির কোলাহল থেকে বাগধারাটি এসেছে। এই হরি ঘোষের নামে কলকাতার ওই অঞ্চলে একটি রাস্তা বিদ্যমান।