Джо Фрейзер родился 12 января 1944, Бьюфорт, Южная Каролина, США. Боксом Джо Фрезер начал заниматься случайно. Сначала Джо Фрезер занимался гимнастикой. Позднее Джо Фрезер перешел в бокс и стал одним из лучших тяжеловесов-любителей в США.
Джо Фрезер побеждал всех своих соперников, пока не столкнулся с Бастером Матисом. Этот спортсмен и завоевал право на выступление на Олимпийских играх в Токио в 1964 году. Но Матису не повезло, он повредил руку и на Олимпиаду поехал Джо Фрезер. Джо Фрезер привез в США единственную золотую Олимпийскую медаль по боксу в тяжелом весе свыше 81 кг, победив в финале немца Х.Хубера. С 1965 года Джо Фрезер под руководством Янки Дурхама стал выступать на профессиональном ринге. Джо Фрезер отличался жесткой манерой бокса, а его "коронным" ударом был левый крюк. Джо Фрезер легко одерживал победы в первых 11 боях, пока не столкнулся в сентябре 1966 года с жестким парнем Оскаром Бонавеной. Аргентинец дважды посылал в нокдаун Джо Фрезера в течении одного раунда. Но Джо Фрезер поднимался, показывая, собравшейся в Медисон Сквер Гардене публике свой характер. Джо Фрезеру удалось переломить ход поединка. По единодушному решению судей Джо Фрезер был признан победителем этого 10-раундового боя.

После боя с Бонавеной Джо Фрезер нокаутировал Эдди Мачена, Дуга Джонса, Джефа Девиса, Жоржа Чувало и к концу 1967 года имел рекордный по тому времени отчет 19 побед в 19 боях.
С изгнанием Мухаммеда Али с трона в абсолютном первенстве наступил полный хаос. WBA проводит чемпионский турнир штата Нью-Йорк.

4 марта 1968 года в бою за этот титул встретился Джо Фрезер и Немезида его любительских дней Бастер Матис. На этот раз Матис смог биться на равных с Джо Фрезером только три раунда, а в 11-ом был нокаутирован. Джо Фрезер стал обладателем этого титула.

В течении 1968-1970 годов Джо Фрезер успешно защищает свой титул.

16 февраля 1970 года, после победы в пятом раунде над Джимми Эллисом, Джо Фрезер становится абсолютным чемпионом мира.
Летом 1970 года с прежнего непобедимого чемпиона Мухаммеда Али снимают дисквалификацию и сразу же возник вопрос: кого считать настоящим чемпионом?
К концу осени 1970 года Мухаммед Али побеждает Джерри Кварри и Оскара Бонавену и добивается права на встречу за титул абсолютного чемпиона мира.
Вокруг предстоящего матча начинается настоящий ажиотаж. Каждому из боксеров была назначена неслыханная по тому времени сумма в 2,5 млн. долларов.
В 15-раундовом поединке, проходившем в переполненном Медисон Сквер Гардене 8 марта 1971 года, Джо Фрезер, названный за свою ярко выраженную силовую манеру "черным Марчиано", наносит Мухаммеду Али первое в его спортивной карьере поражение. Все судьи отдали ему предпочтенье.
Спустя полтора года Джо Фрезер летит на Ямайку, где его ждет Джордж Формен, будущий пастор с лунообразным добродушным лицом безобидного дядюшки. Джо Фрезер излучает энергию и уверенность, но на ринге выясняется, что Всевышний к нему безразличен: уже во втором раунде Джордж Формен выбивает дух из Джо Фрезера.
Дальнейшие попытки Джо Фрезера вернуть себе чемпионский титул не принесли успеха и в 1976 году он покинул ринг.

Позднее, в 1981 году Джо Фрезер предпринял еще одну попытку вернуться в бокс, но опять неудачно и теперь уже на всегда закончил свои выступления.