Joe Frazier 1944. január 21.-én született egy Beaufortban található farmon.15 évesen megnősült, és Philadelphiában telepedett le feleségével. Itt egy vágóhídon talált munkát. Bokszpályafutása akkor kezdődött, amikor gimnáziumba ment.

Amatőrként csupán egyszer veszített a mindössze 1, 78 magas bokszoló, szerencsétlenségére ez a mérkőzés azonban éppen az 1964-es Tokiói olimpiai selejtező volt. Azonban az akkori győztes, Buster Mathis sérülése miatt visszalépett. A helyette "beugró" Frazier pedig a nehézsúlyú aranyéremmel tért haza, amit a német Hans Huber ellen pontgyőzelemmel szerzett meg.

1965-től profiként folytatta pályafutását, és első 11 meccsét KO.- val nyerte meg. Jellegzetes ütésével, a bal horoggal négy ellenfelét már az első menetben kiütötte. A világklasszisoknak számító Oscar Bonavena (argentin) és George Chuvalo (kanadai) fölött aratott győzelmei után, a "New Yorker Version" nehézsúlyú világbajnoki címért 1968-ban Buster Mathisszal kellett megküzdenie. Frazier a 10. menetben KO.-val nyert, és az 1970. február 16.-ai WBA bajnok Jimmy Ellis ellen KO.-val megszerzett győzelem után, vitathatatlan bajnok lett.

Joe Frazier ekkor előrevetítette ún. aranykorát, amit a 70-es években élt. Az "Évszázad meccsét" 1971. március 8.-án a New Yorki Madison Squareben az ex-világbajnok, Muhammad Ali ellen vívta. Ez a mérkőzés volt a boksz történelem egyik legkeményebb és leghíresebb összecsapása. Alit Frazier a meccs előtt a fehér embernek engedelmeskedő, néger nagybácsiként csúfolta. Az első menetben Ali dominált zavarba ejtő kombinációival. Aztán Frazier gőzhajóként tört előre, és a 15 menetben eldöntötte a mérkőzés, amikor Alit legendás balosával a földre küldte. A pontbírák Fraziert nyilvánították győztesnek. 300 millióan látták ezt a csatát a tévéképernyők előtt.

Pályafutásának legkeményebb óráját a Jamaikai Kingstonban élte át Frazier, amikor 1973. január 22.-én George Foreman ellen elveszítette bajnoki címét. Összesen hatszor veszített, ebből nem egyszer a második menetben került a földre Frazier.

Ezt követte az 1974. január 28.-án megrendezett visszavágó Muhammad Ali ellen, aminek győztese lehetőséget kapott a Foreman elleni világbajnoki selejtező mérkőzésre. Ali 12 menetben pontozással nyert, aztán október 30.-án Kinshasában szintén legyőzte George Foremant, és aztán Frazier kapott még egy lehetőséget a cím meccsre.

A Thrilla in Manila ami 1975. szeptember 30.-án került megrendezésre, még ma is beszédtéma. Az óriási hőségben a két ős rivális halálosan kimerűlt. A 12. menetben Ali ütése felsértette Frazier szemét és száját. A 14. menet végén Frazier edzője, Eddie Futch megszakítatta a mérkőzést. Alinak éppúgy, mint Fraziernek heteket kellett kórházban tölteni.

Az 1976-os George Foreman elleni vereség, valamint egy 1981-es visszatérés után Joe Frazier befejezte pályafutását. Az ex-világbajnok ekkoriban fiának, Marvisnak viselte gondját, aki éppúgy profi karrierre vágyott, mint apja. Amikor azonban a feltörekvő KO ütő Mike Tyson kiütötte Marvist az első menetben, a fiatal tehetség befejezte pályafutását.

Azóta Joe Frazier reményteljes amatőrök edzőjeként dolgozik. Frazier lánya, Jacqui szintén bokszol, és tervei között szerepel, hogy apja vereségéért "bosszút áll" Ali lányán, Lailán.