Après avoir été l'élève d'Arild Sandvold et de Bjarne Brustad au conservatoire d'Oslo, il étudie auprès de Vagn Holmboe à Copenhague, d'Aaron Copland à Tanglewood, et de Luigi Dallapiccola à Florence.
Il est organiste et chef de chœur à Fredrikstad à compter de 1949. Il a composé un grand nombre d'œuvres de musique pour chœur, orchestre (deux symphonies, un concerto pour trompette et cordes), formation de chambre, et a également écrit pour l'orgue et le piano (Variations pour deux pianos).
Hovland est l'un des compositeurs de musique sacrée les plus réputés de Norvège ; il a notamment composé un Te Deum, un Gloria et un Magnificat. Il a écrit dans différentes styles : romantique norvégien, grégorien, néo-classique, dodécaphonique, aléatoire et sériel.  Son œuvre lui a valu d'être fait chevalier dans l'ordre de Saint-Olaf.