祖父罢职,以蓄养声伎、周游山水为消遣