Holger er søn af Frederik og Ane Marie og blev født den 7. april 1928 i Koldsø gården, som det niende barn ud af 11 børn.

Holger giftede sig 12. juli 1958 med den 29 årige Ketty Raundal Madsen fra Bøvling. Parret etablerede sig i et hus i Vemb.

Ekstra oplysning – Ketty og Holger’s bror Frede’s kone Ruth Krogsgård har gået i skole og er konfirmeret sammen i Bøvling.

Sammen fik de børnene Kjeld i 1959 og Birgit i 1961.