虞氏先是从身边婢女中挑选了两个相貌齐整些的，叫她们夜里服侍霍继业，却被霍继业拒绝了，说道：“霍家子嗣从来没有奴婢生养的，得是良家女子才成。”
这就是要正儿八经纳娶良妾，还得有文书那种。
虞氏暗恨，却也无可奈何，若让老太爷来张罗，定然也只会去找那高门庶女，等进了府来，光是比较娘家门庭势力，虞氏就会被人家低看几分，毕竟虞氏娘家原本是半商半农不成气候，霍继业袭爵后，大力扶持虞氏娘家，倒是有三两个年轻后生走了仕途，却都资质平平，至今没有什么出息。
因此，给霍继业纳妾，出身门庭绝不能高过她虞氏。
虞氏派了心腹婆子回娘家讨主意，一通商量过后，给抬来了一位二八年华俊俏姑娘，是与虞氏娘家同街坊的吴氏女，其父是读书人，家中原来略有薄产，奈何其父得了急病，为治病变卖所有家产仍治不得好，其父去世后，剩下寡母孤儿四人艰难度日，吴氏女自愿为妾，为母亲弟妹挣个活路。
虞氏见那吴氏女虽身形单薄，却如刚萌芽的兰草般清丽娇嫩，自有一种我见犹怜的柔弱之态，心中不喜，欲退回娘家，霍继业却正好进内院来瞧见了，当即定下此女。
次日，霍继业遣人往吴氏家送去些钱帛之物，立了纳妾书，便算是有了一房良妾，并与虞氏商量好，为早日得子，此后要常宿于吴氏房中，直至吴氏有孕。
虞氏表面上装得贤惠宽善，日常对吴氏更是嘘寒问暖、关怀备至，心里的苦楚酸痛只能自己知晓。
过得几日，霍继业将虞氏为自己纳妾求子之事告知霍二太爷，霍二太爷冷哼：“少壮不听劝，如今又何苦折腾？你也这般年纪了，仔细身体吃不消，好生将养着过日子罢，阿英已成家，再过个一两年我便能抱上曾侄孙，早就不巴望你了。”
霍继业被这番话连敲带打，羞臊无言，心中却愈发生出一股倔劲，着了魔般，发誓非要弄出个子嗣让众人瞧一瞧。
虞氏虽不算失宠，因白日里霍继业总要回正院与她见上一面，夫妻依然相谈甚欢，然每到夜晚霍继业便都宿在吴氏处，虞氏每每看着霍继业走去偏院，便心如刀割，被人抢走所爱的痛苦滋味折磨着她，偏偏这是她自找的，悲恨难言之下唯有以泪洗面。
虞婉本就因为被姑母传染了红疹，每日只能藏在深院不得见人，内心怨恼，又听说姑母竟然给姑父纳妾，真是又气又恨，走到正房来名为探望请安，却是忍不住责怪：
“姑母这般，何异于自断后路？一旦吴氏生下子嗣，岂不是有所倚仗？姑父会偏向她的。”
虞氏道：“不会，吴氏是你祖母与你父亲寻来的，她家没落困顿，毫无根基，拿什么与我争？我与你姑父夫妻情深，他舍不得我难过，亦答应过我，有了子嗣只记在我名下。”
虞婉道：“万一到时候姑父改主意了呢？姑母想想我父亲，当初他也答应我母亲只纳一妾，并去母留子，可后来他提都不再提此事，现如今有四位姨娘，哪怕我母亲后来也生了弟弟，父亲都只是最爱庶长子，连带着二姨娘都敢给我母亲脸色看。”