奥尔巴赫出生于纽约布鲁克林，早年在杜克大学担任助理教练职务，当主教练患上癌症之后，校方有意任命其为主教练，但是奥尔巴赫出于与原主教练的良好关系而拒绝。

1947年和1949年，奥尔巴赫率领新军华盛顿国会队两度夺得NBA分区冠军，其81.7%的胜率在接下来的二十年间无人能及。1950年至1951年赛季，奥尔巴赫开始执教波士顿凯尔特人，在他帶領下將球隊打造加快速度以跑轟戰術，二十年内取得了938场常规赛胜利和9个总冠军，这两项纪录在数十年后才被兰尼·威尔肯斯和菲尔·杰克逊分别追上。奥尔巴赫是首位在选秀中选择黑人选手的NBA主教练（1950年），他在1963年首次派出了全部由黑人组成的首发阵容，這在NBA記錄上史無前例，其后又任命比尔·拉塞尔接任其为主教练，使羅素成为美国体育史上第一位黑人主教练。

从主教练职位退休后，奥尔巴赫长期担任凯尔特人的总经理，并成功挑选并培养了拉里·伯德等超级明星，1980年获得了NBA最佳经理的獎項。长久以来，奥尔巴赫一直被认为是NBA最成功的主教练，他叼着雪茄指挥的形象深入人心，曾於1969年被選入篮球名人堂。

2006年10月29日，奥尔巴赫因心脏病逝世於華府。