Frère de Joseph, Johann Michael Haydn (1737-1806) baigne dès sa naissance dans une riche tradition de musique sacrée. Doté d'une magnifique voix de soprano, il remplace son aîné dans le choeur de la cathédrale à Vienne.
Après des études de composition, qui lui permettront d'admirer l'utilisation du contrepoint par Palestrina, il est engagé comme maître de chapelle, mais n'ocupera ce poste - situé en province - que 3 ans
ll réussit à se faire engager à la cour religieuse princière renommée de Salzbourg où il demeurera 40 années.
C'est là qu'il fut le collègue de Léopold Mozart, maître de chapelle adjoint et de son fils, Wolfgang Amadeus auquel il succèdera au poste de 1er organiste de la cour et de la cathédrale (Après que Mozart se fût brouillé avec la cour de Salzbourg).
Professeur admiré et respecté, il compte parmi ses élèves Carl Maria von Weber.