安二郎の父・寅之助は、かつて江戸に店を構えていた松阪商人「小津与右衛門家」の分家「小津新七家」の六代当主で、安二郎の祖父・五代新七の跡を継ぎ本家の江戸店である深川の肥料問屋「湯浅屋」の支配人を務めていました。与右衛門家は、当時の松阪商人としては珍しく、分家を別所帯とせず、代々本家の江戸店の支配人を務めさせるという本家分家一体の経営であったことから、ここ与右衛門家が安二郎のルーツといえるでしょう。

　屋敷のあった場所は阪内川の土手に面しており、与右衛門家当主は新兵衛とも名乗っていたことから、本町に屋敷を構える「小津清左衛門家」と区別して、ここは通称「土手新（どてしん）」と呼ばれていました。