داستان این فیلم در مورد روزنامه‌نگاری به نام چو مو-ون است که در سال ۱۹۶۲ به همراه همسرش به آپارتمانی در هنگ‌کنگ نقل مکان می‌کند. در همسایگی او سو لی‌-ژن، منشی یک شرکت صادرات نیز با همسرش زندگی می‌کند. هر دوی این شخصیت‌ها افرادی درون‌گرا هستند و بیشتر وقت خود را در تنهایی می‌گذارند، چرا که همسران آن‌ها همیشه مشغول کار خود هستند. ویژگی‌های مشترکی بین این دو شخصیت باعث ایجاد رابطه‌ای دوستانه بین آن‌ها می‌شود. یکی از این نکات مشترک، خیانت همسران آن‌ها به این دو است. چو و سو کمی بعد به این نکته پی می‌برند که همسران آن‌ها با هم رابطه عاشقانه دارند.

هنگ کنگ ۱۹۶۰٫ یودی پسر جوان و خوشتیپ توسط یک پیر فاحشه بزرگ شده است. زن که امیدوار است یودی را برای خود داشته باشد از فاش کردن اسم مادر واقعیش امتناع می کند. یودی در شهر به عنوان کسی که قلب دختران را ربوده و می شکند شناخته می شود. دو دختر به دام او می افتند که یودی با این دو ماجراهایی دارد...

در «خانه‌های گل» (فاحشه‌خانه‌های مجلل) شانگهای، داستان‌های در هم تنیده‌ای از عشق، وفاداری، و فریب به صورت زیرکانه پخش می‌شوند.