后来，家中老母，任性休妻，又命人来，打死个偏房，母子两命呜呼，于是闹得秦家上下，心生嫌隙。
后来几任，无论妻妾，都俱与老爷离心。
都说上天有好生之德，秦家富商，草菅人命，自断财路，后渐渐人心离散，家道中落，常言道，眼看他做宴席，眼看他楼塌了，皆因世间皆有因果轮回，报应不爽，人人应以此为戒，莫复做秦家败子。
不过坊间，又有些许流言蜚语，说那当年被打死的偏房，其实侥幸捡回一条命去，带着孩子，远走高飞。于是秦家落魄多时，后受人接济，渐渐复有起色，虽不复当年，却也足以安稳度日，也算不幸中的大幸。