与力仁杉家は９代目幸信（五郎左衛門）の時に断絶となるが、初代から９代までの当主は１０人いる。　これは５代目幸次と６代目幸光の間に代数に数えられない「当代勤」の勝安が仁杉家当主となり、与力職も相続しているからである。
　
　５代目幸次は病気のため与力を隠退したが子供が幼少だったため、弟勝安に一時与力職を預けた。そして間もなく病没してしまった。あの赤穂義士討ち入りの翌年、元禄１６年（１７０３）のことである。
　この幸次、勝安、幸光について「本朝」には次のように記述がある。

　これによれば幸次は元禄１６年（１７０３）、病弱のため与力職を引退したが、幸次の子孫太郎が幼少（わずか６，７才と推定）のため、孫太郎成長後に返還する約束で与力職を弟勝安に相続させた。　そしてその年の１２月、６４歳で病没する。
　成長した孫太郎は正徳２年（１７１２）、与力見習となり、享保２年（１７１７）勝安に代わって本勤の与力となり、同１９年（１７３４）には最高ポストである同心支配役に昇進している。
　仁杉家の過去帳でも幸次を５代目、幸勝を当代勤、幸光を６代目としており、この系譜でも過去帳でも勝安は兄との約束どうり約１０年前に預かった家督と与力職を幸次直系の幸光に返還している。
　しかし、仁杉圓一郎はこれが「でっちあげ」で家督争いがあったという。
　氏によれば幸次には男２人、女４人の子があったが、「幼少のため」一時弟の勝安に家督と与力職を預け、「領地であった」駿東郡に移住し、時節を待った。　しかし家督、与力職が返還されることなく、母子は駿東郡に定住せざるを得ず、長子は伊豆島田の「仁杉本家」の祖となり、現在の石巻の仁杉家に受け継がれているという。
　また氏の説では現在三島市議をつとめる仁杉秀夫氏の家系（下土狩の仁杉家）も幸次の男の子の弟の方の子孫だという。

　しかし、この説には疑問が多い。
　仁杉家過去帳にある幸次の妻は元文５年（１７４０）９月１０日没、法号「長壽院」となっている。何故か幸次や幸光が葬られている喜運寺でなく深川淨心寺に葬られている。
　また、幸光の母は松平右京大夫輝貞臣　師岡遐蔵則長女とされている。
　
　それでは駿河に移住した妻子とはどういう関係になるか？
　まず、駿河に移住した幸次の妻とされる人は正徳５年（１７１５）に駿河で没しており、号は「妙快禅定尼」。　前述の人とは明らかに異なる。
　また裾野仁杉家の初代源兵衛は享保１０年（１７２５）に５１歳で亡くなっているので逆算すると生年は延宝３年（１６７５）頃、幸次の与力引退の元禄１６年（１７０３）には２８歳か２９歳になっており、「幼いため相続できない」年齢ではない。
　また、与力を相続する子弟は１３歳くらいから与力見習となり、それ以前も幼い頃からそれなりの教育を受ける。　相続予定者が遠く駿河国に移住するはずがない。
　更に町方与力の仁杉家は禄高２００石でとても駿東郡全体を領有するような大身ではない。　
　もし、裾野仁杉家の祖となる源兵衛が本当に幸次の子とすると、幸次には次のように２人の妻がいたことになる。　　前妻と後妻ということか。

　推測になるが駿東郡に移住した妻（妙快禅定尼）は幸次との間に２男４女をもうけたが、何らかの理由で別れ、妻子は駿東郡に移住した。その後、師岡遐蔵則の娘と結婚し、孫太郎（後の幸光）が生まれた。　　　
　元禄１６年、病弱で与力職だ続けられなくなったとき、男の子(後の幸光）が幼少だったので勝安に与力職を預けた。
　このほかに次の二人の女の子が早世しているが、時代から見て「露葉童女」は前妻の娘と思われる。