Hearing loss affects the quality of life in various situations such as in conversations or when listening to music. The research on hearing loss and hearing aids has focused primarily on improving speech intelligibility. To date, there is a lack of understanding of how to process music in hearing aids to optimize music perception in hearing-impaired listeners.
As a first step, a novel research tool was developed to make music perception measureable. The Adaptive Music Perception (AMP) test allows for quantifying music perception by establishing phys- ical discrimination thresholds. Test participants make perceptual judgments about the musical di- mensions of meter, harmony, melody, and timbre while the underlying low-level dimensions (e.g., brightness or attack of timbre) are adaptively manipulated until discrimination thresholds can be determined.
To investigate the effect of hearing loss on music perception, 19 normal-hearing and 21 hearing- impaired listeners submitted to the AMP test. Significant differences were found in 7 of the 10 low- level dimensions, implying that hearing loss affects the perception of meter, harmony, melody, and timbre.
In a follow-up study, the effect of hearing aids on music perception was investigated by comparing the performance of 25 hearing-impaired listeners on the AMP test with and without hearing aids. The discrimination thresholds for the low-level dimensions ‘level’ from the meter test and ‘attack’ from the timbre test were marginally worse with hearing aids. The impairment of timbre perception was found to correlate significantly with the strength of dynamic compression in hearing aids.
Based on these results, potential for optimization was identified in the dynamic compression of hearing aids. The optimization was guided by an investigation of the dynamic range in recorded music. To account for the diversity in music, the analysis was conducted in a genre-specific manner on 1000 songs from the genres chamber music, choir, opera, orchestra, piano, jazz, pop, rap, rock, and schlager. The dynamic range analysis revealed that the modern genres pop, rap, rock, and schlager had smaller dynamic ranges than jazz and the classical genres chamber music, choir, opera, orchestra, and piano. As opposed to conventional opinions, the dynamic range of all music genres was generally smaller than the dynamic range of speech.
The dynamic compression in hearing aids was optimized by reducing the compression strength rela- tive to the dynamic compression standard NAL_NL2. A linear and a semi-compressive setting were chosen as test conditions to optimize the processing and perception of modern and classical music, respectively. Thirty-one hearing-impaired participants evaluated the sound quality of music seg- ments of three classical (choir, orchestra, and opera) and two modern genres (pop and schlager) under the NAL-NL2 reference condition and the linear and semi-compressive test conditions. The results showed that the perceived sound quality was highest in the linear condition and lowest in the NAL-NL2 reference condition for all genres tested.
The second potential for improving music perception with hearing aids was identified in frequency lowering. Frequency lowering is a signal-processing strategy that maps high frequencies, which are inaudible to the impaired ear, to lower, audible frequencies. State-of-the-art implementations have been developed to increase speech intelligibility, and their transfer functions violate the harmonic structure of music. A novel approach - harmonic frequency lowering - allows to lower musical con- tent while preserving the harmonic ratios and pitch chromas in music. Nineteen participants evalu- ated music detail and the sound quality of music excerpts processed with harmonic frequency low- ering and the benchmark conditions nonlinear frequency compression, low-pass filtering, and no processing. Harmonic frequency lowering yielded significant improvements in the perception of music detail without detrimental effects on sound quality.
In brief, this thesis investigated how hearing loss and hearing aids affect music perception to inform the optimization of hearing-aid technology for music. Two strategies regarding dynamic compres- sion and frequency lowering were developed and proved successful in improving music perception in hearing-impaired listeners.
Die Schädigung des Hörvermögens wirkt sich in vielen Bereichen des Lebens beeinträchtigend aus. Die Gesprächsteilnahme ist erschwert und der Genuss beim Musikhören leidet. Im Fokus der Hör- forschung liegt seit Jahrzehnten die Verbesserung der Sprachverständlichkeit. Musik spielte bislang eine untergeordnete Rolle und es besteht ein enormer Nachholbedarf, Hörgeräte für die Signalver- arbeitung von Musik zu optimieren.
Um Musikwahrnehmung messbar zu machen wurde in einem ersten Schritt der AMP Test (Adaptive Music Perception Test) entwickelt. Dieser ermöglicht es, Unterschiede in musikrelevanten Wahr- nehmungsdimensionen zu quantifizieren. Während die Versuchsteilnehmer Höraufgaben zu Met- rum, Harmonie, Melodie und Timbre bearbeiten, werden die darunterliegenden physikalischen Dimensionen (z.B. Lautstärke, Frequenz, oder Länge bei Metrum) in Abhängigkeit von der Richtig- keit der Antworten adaptiv verändert bis ein Wahrnehmungsschwellenwert ermittelt werden kann.
Die Auswirkungen einer Hörschädigung auf die Musikwahrnehmung wurde mit Hilfe des AMP Tests an 19 normalhörenden und 21 hörgeschädigten Probanden untersucht. In der hörgeschädigten Gruppe wurden in 7 der 10 physikalischen Dimensionen signifikant höhere Schwellenwerte gemes- sen, welche eine Beeinträchtigung der Wahrnehmung von Metrum, Harmonie, Melodie und Timbre durch Hörverlust belegen.
In einer zweiten Studie wurde die Wirkung von Hörgeräten auf die Musikwahrnehmung untersucht. Fünfundzwanzig hörgeschädigte Probanden führten den AMP Test einmal mit und einmal ohne Hörgeräte aus. In den Dimensionen Lautstärke und Helligkeit, welche die Wahrnehmung von Met- rum und Timbre betreffen, wurden höhere Wahrnehmungsschwellenwerte in der Versuchsdurch- führung mit Hörgeräten gemessen. Die Stärke der Dynamikkompression in Hörgeräten konnte hier- bei als signifikanter Faktor für die Beeinträchtigung der Wahrnehmung von Timbre identifiziert werden.
Aufgrund dieser Ergebnisse wurde ein Optimierungspotential der Musiksignalverarbeitung in der Dynamikkompression verfolgt. Hierzu wurde eine Analyse zur Dynamik von Musik anhand von 1000 kommerziell erhältlichen Songs durchgeführt. Um die Vielfalt an Musik kontrolliert zu erfassen, wurden jeweils 100 Songs aus den verschiedenen Genres Chor, Kammermusik, Orchester, Oper, Piano, Jazz, Pop, Rap, Rock, und Schlager gewählt. Die Dynamikanalyse erwies, dass die modernen Genres Pop, Rap, Rock, und Schlager weniger dynamisch sind als Jazz und die klassischen Genres Chor, Kammermusik, Orchester, Oper und Piano. Entgegen der allgemeinen Auffassung konnte zu- dem gezeigt werden, dass alle getesteten Genres eine geringere Dynamik aufweisen als Sprache.
Aus dieser Erkenntnis wurde abgeleitet, dass die Stärke der Dynamikkompression in Hörgeräten für Musik geringer eingestellt werden sollte als es der wissenschaftliche Standard NAL-NL2 für Sprache vorschlägt. Als Optimierungsoption für moderne Genres wurde eine lineare Einstellung vorgeschla- gen und als Optimierung für klassische Genres wurde eine halbkompressive Option empfohlen. Beide Einstellungen wurden der NAL-NL2 Referenz in einem Hörversuch mit 31 hörgeschädigten Probanden und Musikbeispielen aus drei klassischen (Chor, Oper und Orchester) und zwei moder- nen (Pop und Schlager) Genres gegenübergestellt. Die wahrgenommene Klangqualität war in der linearen Einstellung bei allen Genres signifikant am höchsten und auch die halbkompressive Einstel- lung wurde als signifikant besser empfunden als die NAL-NL2 Referenz.
Das zweite Optimierungspotential der Musiksignalverarbeitung mit Hörgeräten wurde im Bereich der spektralen Kompression (Frequency Lowering) verfolgt. Frequency Lowering ermöglicht es, ho- he Frequenzen, welche für das geschädigte Ohr unhörbar sind, auf tiefere, hörbare Frequenzen abzubilden. Die bestehenden Implementierungen wurden ursprünglich für Sprachsignale entwickelt und verletzen hierbei jedoch Strukturen, welche für die Musikwahrnehmung wichtig sind. Ein neuer Ansatz – Harmonic Frequency Lowering - erlaubt es, die harmonischen Strukturen und die Tonklasse im Signal aufrechtzuerhalten. In einem Hörversuch verglichen 19 Probanden den Detailreichtum und die Klangqualität von Musikbeispielen, welche entweder unprozessiert waren oder mit Harmo- nic Frequency Lowering, einer nichtlinearen Frequenzkompression oder einem Tiefpassfilter verar- beitet wurden. Die Versuchsteilnehmer konnten mit Harmonic Frequency Lowering am meisten Detail in der Musik wahrnehmen ohne an Klangqualität einzubüssen.
Zusammengefasst wurden in dieser Arbeit die Auswirkungen von Hörschäden mit und ohne Hörge- räteversorgung auf die Musikwahrnehmung untersucht, um daraus Leitlinien für die Hörgeräteop- timierung zu gewinnen. Zwei Optimierungsansätze wurden im Bereich der Dynamikkompression und der spektralen Kompression entwickelt und deren positive Wirkung konnte anhand von Studien mit hörgeschädigten Probanden erfolgreich nachgewiesen werden.