三兄弟尔冬升生于香港九龙城，父尔光（1914-1974），天津人，原名尔树森，是香港五、六十年代极具影响力的电影制片人及导演，曾为永华、邵氏、国泰等电影公司担任制片，大导演李翰祥亦为他所提拔。母红薇，原名罗珍，满州镶黄旗人，本姓那，四十年代著名演员及配音员。红薇原嫁演员严化，生四子一女，大子秦沛及二子姜大卫如今皆为香港著名演员，秦沛曾两度获得香港电影金像奖，姜大卫在尔冬升童年时（1970）即成为亚洲影帝。严化去世后红薇改嫁尔光，生一子，即尔冬升。虽然同母异父，但兄弟之间感情很好。秦沛与姜大卫分别比尔冬升年长十二岁及十岁，于他如父如兄。事业上三兄弟亦互相扶持，尤其秦沛曾多次在尔冬升导演的电影中演出。除了父母兄弟，尔冬升家族中尚有二十多人从事电影相关工作。1967年香港暴动期间，尔冬升随父举家避往台湾，念了三年小学始返香港。
