That would be this talk given by Hilbert in 1900 before the International Congress of Mathematicians. (You know, the one where he talked about those problems...) It is not due to him, though; he ascribes it to an old French mathematician he did not explicitly identify.
Here is the appropriate paragraph from that talk:
It is difficult and often impossible to judge the value of a problem
correctly in advance ; for the final award depends upon the gain which
science obtains from the problem. Nevertheless we can ask whether
there are general criteria which mark a good mathematical problem. An
old French mathematician said: "A mathematical theory is not to be
considered complete until you have made it so clear that you can
explain it to the first man whom you meet on the street." This
clearness and ease of comprehension, here insisted on for a
mathematical theory, I should still more demand for a mathematical
problem if it is to be perfect ; for what is clear and easily
comprehended attracts, the complicated repels us.
For reference, here's that part of the talk in the original German:
Es ist schwierig und oft unmöglich, den Wert eines Problems im Voraus
richtig zu beurteilen; denn schließlich entscheidet der Gewinn, den
die Wissenschaft dem Problem verdankt. Dennoch können wir fragen, ob
es allgemeine Merkmale giebt, die ein gutes mathematisches Problem
kennzeichnen. Ein alter französischer Mathematiker hat gesagt: Eine
mathematische Theorie ist nicht eher als vollkommen anzusehen, als bis
du sie so klar gemacht hast, daß du sie dem ersten Manne erklären
könntest, den du auf der Straße triffst. Diese Klarheit und leichte
Faßlichkeit, wie sie hier so drastisch für eine mathematische Theorie
verlangt wird, möchte ich viel mehr von einem mathematischen Problem
fordern, wenn dasselbe vollkommen sein soll; denn das Klare und leicht
Faßliche zieht uns an, das Verwickelte schreckt uns ab.