"You are always right and I am always wrong." I recall reading that one mathematician wrote a letter to another and told him the quote in the title, but I cannot remember their names and google has nothing for me. Anyone remember?
 A: According to A Concise History of Mathematics, it's Hermite to Stieltjes.  It was the first link found when searching for your quoted title plus the word mathematics.
A: This sentence was indeed written in a letter from Hermite to Stieltjes (July 12, 1885), but the context of this citation is very specific. Let me first quote the letter from Hermite to Stieltjes on July 9, 1885.

Monsieur,
Votre belle découverte au sujet de la proposition de Riemann sur
  l'équation $\xi(t) = 0$ m'intéresse au plus haut point, et pour la
  grande importance du résultat d'avoir mis hors de doute cette
  proposition et aussi par la méthode que vous avez employée. (...)
  Lundi prochain votre Note sera présentée à la séance de l'Académie; je
  n'ai rien trouvé à changer à votre rédaction qui est extrêmement
  claire et correcte, si ce n'est que d'écrire $\xi(z)$ au lieu de
  $\zeta(z)$ afin d'employer la notation dont Riemann s'est servi dans
  son travail. (...)

and the answer from Stieltjes to Hermite on July 11, 1885.

Monsieur,
Recevez mes remerciements sincères pour la rédaction définitive de
  votre démonstration de $\zeta(z) = \frac{1}{z-1} + \mathcal{G}(z)$,
  cette marque de votre bienveillance m'est bien chère. Mais
  permettez-moi, maintenant, de remarquer que dans ma Note je me suis
  tout à fait conformé à la notation de Riemann. (...) 
J'espère,
  monsieur, que cette lettre n'est pas trop longue; je tiens surtout à
  vous avoir convaincu que je ne me suis pas éloigné de la notation de
  Riemann: c'est, ce me semble, un léger malentendu;
Je suis, avec un profond respect, monsieur, votre bien dévoué.

and finally, the answer from Hermite to Stieltjes on July 12, 1885.

Monsieur, 
Vous avez toujours raison et j'ai toujours tort; j'avais cru lire dans
  le texte de votre Note $\xi(z)$, mais c'est bien $\zeta(z)$ que vous
  avez écrit, conformément à la notation de Riemann. (...)

English translation of the letters (thanks to DeepL).
Hermite to Stieltjes on July 9, 1885

Sir,
Your beautiful discovery about Riemann's proposal on the equation
  $\xi(t) = 0$ interests me very much, and for the great importance of
  the result of having put this proposal beyond doubt and also for the
  method you used. (...) Next Monday your Note will be presented at the
  Academy session; I have found nothing to change in your drafting which
  is extremely clear and correct, except to write $\xi(z)$ instead of
  $\zeta(z)$ in order to use the notation that Riemann used in his work.

Answer from Stieltjes to Hermite on July 11, 1885.

Sir,   
Receive my sincere thanks for the finalization of your
  demonstration of $\zeta(z) = \frac{1}{z-1} + \mathcal{G}(z)$, this
  mark of your kindness is very dear to me. But let me now notice that
  in my Note I have fully complied with Riemann's notation. (...) 
I hope, Sir, that this letter is not too long; I would especially like to have
  convinced you that I have not deviated from Riemann's notation: it
  seems to me to be a slight misunderstanding,
I am, with deep respect, Sir, your devoted servant.

Answer from Hermite to Stieltjes on July 12, 1885.

Sir,
You are always right and I am always wrong; I thought I read in the
  text of your Note $\xi(z)$, but it is $\zeta(z)$ that you wrote,
  according to Riemann's notation. (...)

