"Ich kann mich nicht noch einmal vier Jahre motivieren. Es war schon im letzten Jahr schwer, getrennt von meiner Frau und meinen beiden Kindern zu sein. Um ehrlich zu sein: Ich hatte mehr Spaß mit meinen Kindern als mit dem Schwimmen", sagte Hall Jr.
Sein Vater Gary Hall Senior war ebenfalls ein erfolgreicher Schwimmer und gewann bei den Olympischen Spielen 1972 in München Silber über 200m Schmetterling und 1976 in Montreal Bronze über 100m Schmetterling. Dort trug er bei der Eröffnungsfeier beim Einmarsch der Athleten seinen damals zweijährigen Sohn auf dem Arm.
Gary Hall Jr., in den Olympia-Trials für Peking gescheitert, erkrankte 1999 an Diabetes. Er gründete eine Stiftung, die sich für Zuckerkranke engagiert. "Ich denke, meine Kräfte werden hier mehr gebraucht als im Pool", sagte Hall Jr.