Joe Barry Carroll, celým jménem Joseph Barry Carroll, se narodil 24. července 1958 v Denveru v Coloradu. Už od mládí se projevoval jako mimořádně talentovaný sportovec, avšak basketbalu se začal plně věnovat až na střední škole. Jeho výška a atletické dispozice ho předurčovaly pro pozici pivota.
Carroll navštěvoval Purdue University, kde strávil čtyři roky. Jeho univerzitní kariéra byla poznamenána stabilními výkony a postupným zlepšováním. Během svého působení na Purdue zaznamenal několik pozoruhodných statistik. V sezóně 1978-1979 dosáhl průměru 22,1 bodu a 9,8 doskoku na zápas. V následující sezóně 1979-1980 svá čísla ještě vylepšil, když si připsal průměr 23,0 bodu a 10,8 doskoku. Za své výkony byl několikrát nominován do výběrů All-Big Ten. Jeho univerzitní kariéra skončila v roce 1980.
V roce 1980 byl Joe Barry Carroll draftován v prvním kole jako 1. celkově týmem Golden State Warriors. Toto byl pro něj obrovský úspěch a zároveň začátek jeho profesionální kariéry v nejprestižnější basketbalové lize světa. Vstup do NBA byl pro něj velkou výzvou, ale dokázal se rychle adaptovat.
V dresu Golden State Warriors strávil Carroll většinu své kariéry. Už ve své nováčkovské sezóně 1980-1981 ukázal svůj potenciál, když si připsal průměr 18,2 bodu a 9,3 doskoku na zápas. V dalších sezónách se jeho výkony dále zlepšovaly. V sezóně 1981-1982 dosáhl svého osobního rekordu v počtu bodů za sezónu, když nastřílel 21,2 bodu v průměru na zápas. Zároveň si připsal i průměr 10,2 doskoku. V sezóně 1982-1983 pak dosáhl svého osobního rekordu v počtu doskoků, když v průměru na zápas zaznamenal 10,7 doskoku. Carroll byl v té době jedním z nejlepších hráčů Warriors a oporou týmu. Jeho výkony mu vynesly i nominaci do NBA All-Star Game v sezóně 1982-1983.
Po pěti sezónách v Golden State Warriors, konkrétně v únoru 1984, byl Joe Barry Carroll vyměněn do týmu Houston Rockets. Tento přestup byl pro něj novou etapou kariéry. V Houstonu pokračoval ve svých stabilních výkonech, i když týmové úspěchy nebyly tak výrazné jako v jeho začátcích v Golden State. V dresu Rockets odehrál dvě sezóny, ve kterých si udržel průměry kolem 15 bodů a 8 doskoků na zápas.
V roce 1986 se Carroll vrátil zpět do týmu Golden State Warriors. Bohužel, jeho druhá štace ve Warriors už nebyla tak úspěšná. V sezóně 1986-1987 odehrál jen 25 zápasů s průměrem 11,1 bodu a 5,2 doskoku. Jeho kariéra v NBA se chýlila ke konci. V roce 1987 po necelých dvou sezónách v Warriors ukončil své působení v NBA. Celkově odehrál v NBA 7 sezón a zanechal za sebou působivou bilanci.
Po ukončení kariéry v NBA se Joe Barry Carroll věnoval různým aktivitám. Krátce působil i v Evropě, kde hrál za italský tým Virtus Bologna v sezóně 1987-1988. Po ukončení aktivní hráčské kariéry se věnoval podnikání a dalším projektům. Zůstal však nadále spojen s basketbalem, občas se objevoval na akcích pro fanoušky a podporoval mladé talenty.