Jack McMahon se narodil 2. září 1924 v Brooklynu v New Yorku. Jeho basketbalová kariéra, ačkoliv nepatří k těm největším hvězdám NBA, byla plná zajímavých momentů, obětavosti a nečekaných zvratů. McMahon byl především známý svou bojovností, tvrdou obranou a schopností být platným hráčem pro jakýkoliv tým, do kterého patřil. Jeho cesta profesionálním basketbalem vedla přes několik angažmá, kde zanechal znatelnou stopu.
McMahonova basketbalová dráha začala na střední škole v Brooklynu, kde si rychle osvojil základy hry a ukázal svůj potenciál. Po úspěšném absolvování střední školy se rozhodl pokračovat ve studiu a zároveň rozvíjet svůj talent na univerzitní úrovni. V letech 1947 až 1949 hrál za tým Saint Johns University v Queensu, New York. Zde se stal klíčovým hráčem a pomohl týmu k několika úspěšným sezónám v rámci univerzitní ligy. Během svého působení na Saint Johns si osvojil herní styl, který později uplatnil i v profesionální lize.
Po ukončení univerzitní kariéry McMahon zamířil do tehdy ještě nově vznikající profesionální basketbalové ligy. V sezóně 1949-50 nastoupil do týmu Boston Celtics, který byl jedním z pilířů nově vzniklé NBA. V prvním roce v Celtics si rychle zvykl na tempo a styl profesionální hry. V téže sezóně se stal důležitou součástí týmu, který se snažil prosadit v konkurenci ostatních týmů. Jeho přínos nebyl vždy vyjádřen vysokými bodovými statistikami, ale spíše jeho neúnavnou prací v obraně a schopností přihrávat. V sezóně 1950-51 si udržel své místo v Boston Celtics, kde pokračoval v rozvoji své hry.
Po dvou sezónách v Bostonu přišel pro Jacka McMahona významný přestup. V roce 1951 zamířil do týmu Rochester Royals. Toto angažmá se ukázalo jako klíčové pro jeho kariéru. V dresu Royals si rychle vybudoval pozici klíčového hráče, který byl schopen přispět týmu v mnoha aspektech hry. Sezóna 1951-52 byla pro Rochester Royals velmi úspěšná. Tým se probojoval až do finále NBA, kde se utkal s Minneapolis Lakers. Ačkoliv Royals nakonec ve finále prohráli, McMahonova účast v takto prestižním zápase byla důležitým milníkem.
Po jedné sezóně v Rochesteru se McMahon v roce 1952 vrátil zpět do Boston Celtics. Toto období bylo pro Celtics zlatým věkem, kdy se tým s hvězdami jako Bob Cousy a Bill Russell začal formovat jako dominantní síla ligy. McMahon se stal součástí tohoto týmu a i nadále hrál svou roli spolehlivého hráče. V sezóně 1953-54 byl součástí týmu Boston Celtics, který si připsal první titul mistra NBA. Toto vítězství bylo vrcholem jeho hráčské kariéry a potvrzením jeho přínosu pro úspěšný tým. V následujících sezónách pokračoval v dresu Celtics, kde se i nadále soustředil na svou silnou obranu a týmovou hru. Jeho zkušenosti a vůdcovství byly pro mladší hráče cenným přínosem.
Po několika úspěšných letech v Boston Celtics, kde se stal jedním z pilířů týmu, McMahon ukončil svou hráčskou kariéru po sezóně 1956-57. Jeho poslední sezóna v NBA byla opět korunována ziskem titulu mistra NBA, tentokrát po dramatické sedmizápasové sérii proti St. Louis Hawks. Po ukončení aktivní hráčské kariéry se Jack McMahon nevzdálil basketbalu. Jeho znalosti a zkušenosti ho přivedly k trenérské dráze. V následujících letech se věnoval trénování na různých úrovních, kde mohl předávat své bohaté zkušenosti dalším generacím hráčů.