先是春姨娘和许老夫人这一关，许大人都难过。许老夫人和春姨娘都是知道琳知的，从前是绥远夫人身旁的得力助手。因此，她们不喜欢绥远夫人的用时，自然也不喜欢琳知。如今知道许大人的外室竟然是琳知这个小贱人，这让春姨娘和许老夫人如何同意，她们怎么能愿意让琳知进门。
  许老夫人更是夸张，在府里对着许大人破口大骂。那嗓门大的，生怕旁人不知道了一样。可如今许大人一意孤行，又怎么能听得进去早已经让他厌烦了的许老夫人和春姨娘的话呢？
  比起许珂的刁蛮任性，许蕊和许欣的乖巧懂事，让许大人对琳知的愧疚更深。许大人直接越过许老夫人和春姨娘，去通知绥远夫人让她准备这件事情。
  许大人以为，如今事情都闹得这么大了。外面的人人尽皆知，若是绥远夫人不同意琳知和那三个孩子进门，她自己也会被别人说成是妒妇。所以，这一次无论如何他都能顺顺利利的抬了琳知过门。
  可许大人实在是没想到，绥远夫人竟是个不顾及外界看法的人。许大人初次同绥远夫人讲的时候，绥远夫人就不乐意，后来事情越拖越久，许大人也没了耐心。直接让人把琳知和三个孩子带到了府上，召集众人在旁，逼迫绥远夫人喝了琳知的妾室茶。
  可绥远夫人也不是个好拿捏的，当即将琳知手中的茶水给打翻，意思也是很明显。而后就给许大人提出了分府，不等许大人同意直接就带着几个孩子搬了家。没有喝琳知的妾室茶，自然琳知也不算是许家的妾室，更别说是通房了。
  许大人原本不打算惯着绥远夫人的脾气，想着绥远夫人走了就走了。刚好自己能好好安排一下琳知和三个孩子的事情，可谁知到了祠堂，许大人竟被祠堂内的族老赶了回来。理由自然是绥远夫人没有承认琳知这个妾室，那琳知自然不是许家的人了。那这三个孩子自然也不能入许家的族谱，排上许家小姐少爷的位置了。许大人这下实在是傻了眼，没想到还有这样的规矩。
  彼时，许磊，许洋和许鹰都按照绥远夫人的吩咐，住进了别的府邸里。许洋和康安琪住进了郡主府，许磊和金氏则是住进了与郡主府一墙之隔的宅子，另立门户为许府。绥远夫人则是跟着许鹰，住进了她从前另外一套陪嫁的宅子，这宅子离郡主府和金氏许磊的府邸不远，离绥远夫人的娘家东方府那就更近了。
  许大人不知道入家祠的这种规矩，可绥远夫人却是清楚的很。她才不会承认她就是故意的，绥远夫人容不下让琳知的孩子同她的孩子一样，写在一个本子上。
  许大人拉不下脸求绥远夫人，也不想委屈了琳知。就在他以为绥远夫人会在外面过不下去的时候，绥远夫人竟然将宅子都给分好了，这让许大人气不打一处来。