Ce fils de menuisier, aîné d'une famille de treize enfants naît à Dijon le 12 avril 1833 (60, rue des Godrans) et meurt à Paris le 17 février 1917.

Il est admis à l'Ecole des arts et métiers de Châlons-sur-Marne en 1848. Il fait son "tour de France" comme ouvrier modeleur et menuisier. Il entre ensuite dans l'industrie. En 1851, il entre comme ouvrier modeleur dans un atelier de menuiserie de Lyon, puis en 1853, comme dessinateur, aux Ateliers des chemins de fer d'Oullins. En 1859, il passe à la Compagnie des chemins de fer du Nord. Ingénieur en chef de la Compagnie des chemins de fer et des docks de Saint-Ouen en 1863, il crée, avec Amédée Briquet, la Revue industrielle, qu'il dirige de 1871 à 1884. Ses premiers travaux portent sur la mécanique. Il invente un petit moteur, "domestique" (1870).

Puis il devient directeur de l'entreprise créée pour exploiter le brevet du belge Zénobe Gramme (à partir de 1871). L'alliance des deux hommes est extrêmement féconde. Ils créent différents types de moteurs industriels. Hippolyte Fontaine découvre la réversibilité de la machine Gramme (une dynamo électrique peut se transformer en moteur), puis il démontre à l'exposition de Vienne (Autriche) en 1873 que l'on peut transporter l'électricité d'un lieu à un autre, alors qu'auparavant son utilisation se trouvait confinée au lieu même de sa production avec des piles ou accumulateurs. Edison réalisera ce transport de l'usine de production au lieu de consommation, alors qu'en France Marcel Depraz poursuit les essais d'Hippolyte Fontaine et parvient au transport de l'énergie. En 1876, il met au point une lampe à arc. Edison viendra en 1880... Hippolyte Fontaine préside la Société internationale des électriciens, le Syndicat des industries électriques, etc. Savant, chercheur, ingénieur, industriel, il illustre à merveille le "transfert technologique" comme Jean Bertin un siècle plus tard.

Hyppolyte Fontaine fait beaucoup pour le progrès, la diffusion de l'emploi des machines électriques dans l'industrie. Il collabore à diverses revues françaises et étrangères et publie ou édite quelques ouvrages de sa spécialité.