Élu pour la première fois en 1962 à sa première tentative, il est réélu à 12 reprises, ce qui constitue un record tant au chapitre du nombre de victoires qu’à celui du service continue soit 39 ans, six mois et 26 jours à titre de député libéral de Windsor Ouest.
Au gouvernement, Herb Gray a été dix fois ministre sous trois premiers ministres différents. Outre les postes de Leader du gouvernement, de Solliciteur général et de Président du Conseil du Trésor, il a été le premier député dans l’histoire du pays à occuper à temps plein la fonction de Vice-premier ministre.