Na deze strijd zou hij afstand doen van de titel aan een landbouwer uit de buurt van het publieke oog zijn, maar voordat hij verhuisde uit om een full-time boer hij een scheidsrechter voor een te grote titel gevechten zou zijn. Meest beroemde floot hij de strijd voor de World Heavyweight titel die hij had verlaten, tussen Marvin Hart en Tommy Root (Hart gewonnen door 12e ronde knock-out) .Na Hart verloor de titel aan Tommy Burns Burns zelf zou verliezen het kampioenschap naar Jack Johnson.
Johnson was de eerste Afro-Amerikaanse World Heavyweight Champion, en de zoektocht naar "A Great White hoop" was begonnen. Witte strijders werden opgesteld om te proberen en neem de titel van Johnson, Philadelphia Jack O'Brien, Al Kaufmann en het midden gewicht kampioen Stanley Ketchel. Waren allemaal opgemaakt en geen van hen onttroonde hem, en de media begon een campagne om te krijgen Jeffries tot jaren terug te keren nadat hij had de laatste in de ring geweest.
Zijn bulk had hem na een aanhoudende campagne overgenomen £ 300 en in eerste instantie geen belang bij het verdedigen van de eer van de "blanken" had hij al en wat problemen financieel Jeffries maakte een comeback.Promoted als de "Fight of the Century" Johnson v Jeffries werd gehouden in Reno op 4 juli 1910, bijna 6 jaar geleden dat Jeffries laatste gevecht. De strijd was een eenzijdig met de oudere man wordt gemaakt om te kijken vreselijk, ondanks komen kijken fysiek briljante hij was volledig overklast en liet voor zijn manager gooide handdoek in de ring.
Dit zou zijn laatste gevecht als een professional.In latere leven Jeffries zou trainen sommige strijders en wonen op zijn ranch, evenals het helpen in de film "Gentleman Jim" (gebaseerd op het leven van James J Corbett) .Hij zou voorbijgaan 77 leeftijd aan een hartaanval in 1953, slechts enkele maanden eerder zijn vrouw werd gedood in een auto-ongeluk buiten "Jeffries Schuur" waar ze woonde