Narodil se 16. února 1946 v městečku Aliquippa ve státě Pensylvánie. Jeho skutečné jméno bylo Joseph Paul White. Jo Jo White se stal jedním z nejvýraznějších obránců své generace v NBA. Jeho kariéra, zejména v dresu Boston Celtics, je spojena s obdobím velkých úspěchů tohoto klubu.
Jo Jo White vyrůstal v dělnické rodině a basketbal se stal jeho vášní již v mládí. Na střední škole v Ambridge High School patřil mezi hvězdy, což mu otevřelo cestu na univerzitu. V letech 1966 až 1969 studoval na University of Kansas, kde patřil k oporám univerzitního týmu. Jeho výkony na univerzitní úrovni nezůstaly bez povšimnutí a v roce 1969 byl draftován do NBA.
V roce 1969 byl Jo Jo White draftován týmem Boston Celtics jako devátý v pořadí. Tento krok se ukázal jako mimořádně šťastný pro oba. Celtics, kteří byli v té době stále ještě týmem s velkými ambicemi po éře Billa Russella, našli v bílém obránci s vynikající střelou a neuvěřitelnou chladnokrevností posilu, která dokázala navázat na úspěchy minulosti. Hned ve své první sezóně (1969-70) se stal důležitou součástí rotace a ukázal svůj potenciál.
Období od roku 1969 do roku 1978 bylo pro Jo Jo Whitea synonymem pro Boston Celtics. Během těchto devíti sezón se stal klíčovým hráčem, který pomohl týmu k obnovení slávy. Jeho schopnost skórovat, výborná obrana a klid v rozhodujících momentech z něj udělaly jednoho z nejoblíbenějších hráčů v Bostonu. S týmem vybojoval dvakrát titul NBA: v sezónách 1973–74 a 1975–76. V obou finálových sériích patřil k hlavním oporám. V sezóně 1975–76 byl dokonce jmenován MVP finálové série. Jeho výkony v play-off byly konzistentně vynikající, což dokládá i jeho účast v All-Star Game NBA sedmkrát v řadě (1971–1977). Dvakrát byl také zařazen do All-NBA First Team (1975, 1977) a třikrát do All-NBA Second Team (1973, 1974, 1976).
Jo Jo White byl známý svým efektivním a univerzálním stylem hry. Dokázal si vytvořit střeleckou pozici, byl přesný z dálky i z polodálky a zároveň patřil mezi elitní obránce. Jeho průměry v kariéře hovoří za vše: v 12 NBA sezónách odehrál 946 zápasů, během nichž nastřílel 14 244 bodů (průměr 15,2 na zápas), doskočil 3 120 míčů (průměr 3,3) a rozdal 4 165 asistencí (průměr 4,4). Jeho celoživotní úspěšnost střelby z pole byla 45,0 %. Během svého působení v Bostonu byl často zodpovědný za bránění nejlepších soupeřových střelců, což mu vyneslo uznání napříč ligou.
V roce 1978, po devíti letech v Bostonu, byl Jo Jo White vyměněn do Golden State Warriors. V tomto klubu strávil poslední dvě sezóny své kariéry, tedy sezóny 1978–79 a 1979–80. Ačkoliv jeho statistiky v Golden State nebyly tak oslnivé jako v Bostonu, stále patřil mezi zkušené hráče týmu. V roce 1980 ukončil svou aktivní hráčskou kariéru.
Během své dlouhé kariéry se Jo Jo White potýkal i se zraněními, která jsou v profesionálním sportu běžná. Žádné z nich ho však natrvalo nevyřadilo ze hry a vždy se dokázal vrátit na palubovku, aby pomohl svému týmu. Jeho odolnost a odhodlání byly jedním z důvodů jeho dlouhověkosti na vrcholové úrovni.
Po ukončení hráčské kariéry zůstal Jo Jo White spojen s basketbalem. Věnoval se trenérské práci, působil jako asistent trenéra na univerzitní úrovni a později i v profesionálních organizacích. V roce 2015 byl uveden do Naismith Memorial Basketball Hall of Fame, což je nejvyšší možné uznání pro basketbalového hráče. Zemřel 16. ledna 2018 ve věku 71 let. Jeho život byl celoživotním příběhem oddanosti basketbalu, od skromných začátků v Pensylvánii až po záři reflektorů v NBA.