Recorde as incidências da partida
O sérvio de 39 anos alcançou a sua 105.ª vitória no All England Club, ao vencer 7-5, 6-4, 1-6, 7-6(4) apesar da forte reação de Rinderknech no Court Central.
"Poder fazer história neste desporto é uma enorme honra e privilégio, especialmente aqui", afirmou Djokovic.
"Sempre foi um torneio de sonho para mim. Só estou a tentar vencer o jogo do dia. Hoje estava bastante nervoso, senti mais tensão do que o habitual. Proponho um duelo entre o Roger e eu pelos 106, vamos parar por aqui e chamar o Roger para vir", acrescentou.
Djokovic igualou também Federer no número de presenças nos oitavos de final em Wimbledon na era Open, ao chegar à quarta ronda pela 18.ª vez.
Vai agora defrontar o russo qualifier Roman Safiullin no domingo, a lutar por um lugar no seu 66.º quarto de final de um Slam e 17.º em Wimbledon.
"Acho que fiz tudo o que precisava de fazer hoje, tendo em conta as circunstâncias, que não foram tão favoráveis para mim como na segunda ronda", disse Djokovic, que arrasou Stefanos Tsitsipas no seu jogo anterior, na quarta-feira.
"Espero daqui a uns dias estar ao meu melhor nível", assumiu.
A derrota de Djokovic nas meias-finais frente ao futuro campeão Jannik Sinner, no ano passado, foi a primeira vez que não chegou à final em Wimbledon desde 2017.
O sérvio nunca esteve verdadeiramente em risco de cair pela segunda vez consecutiva na terceira ronda de um Grand Slam, apesar de ter baixado claramente o nível no terceiro set, depois da sua derrota dramática em Roland Garros frente a Joao Fonseca.
Djokovic tinha dito que queria disputar um jogo "ao ar livre" depois de vencer sob o teto do Court Central nas duas primeiras rondas.
A mudança de condições não trouxe grandes problemas ao sétimo cabeça de série, que cometeu apenas 16 erros não forçados numa exibição, no geral, bastante sólida.
Rinderknech teve os seus momentos, sobretudo durante uma terceira partida inspirada, mas acabou por não conseguir atingir a quarta ronda de um Grand Slam pela segunda vez na carreira.
Djokovic divertiu-se
Djokovic divertiu-se a interagir com o público logo no início, fazendo uma vénia aos adeptos após uma brilhante voleia em mergulho enquanto servia para fechar o primeiro set.
Levou esse embalo para o segundo set, quebrou o serviço de Rinderknech e depois confirmou para 3-1 com um ás.
O antigo número um mundial desperdiçou oportunidades para ficar com vantagem de dois sets no serviço de Rinderknech, mas voltou a não falhar no seu próprio serviço, fechando com mais um ás.
Rinderknech, o último francês ainda em prova em singulares em Wimbledon, recusou-se a desistir sem lutar e somou 13 winners ao voar para o terceiro set.
Djokovic voltou a encontrar o ritmo ao serviço num quarto set de grande qualidade e garantiu o triunfo no tie-break ao superiorizar-se numa troca junto à rede, que deixou ambos os jogadores estendidos no relvado, logo no seu primeiro ponto de encontro.