Auditieve Mens-Machine Interactie Bachelor Thesis

Note to English readers: This was my Bachelor Thesis (Interaction Design) on auditory interfaces. Since this text on auditory human technology interaction is in Dutch, you might be interested in my other text on this matter written in english (and more up to date too), it's title is context sonifier.

Inleiding

Doelstelling

Met dit document tracht ik zo'n breed mogelijk licht te werpen op de ontwikkelingen en mogelijkheden omtrent auditieve ondersteuning van een mens-machine interface. Het primaire doel is om een beter inzicht te krijgen in hoe een visuele interface uitgebreid kan worden met auditieve elementen. Mogelijk vloeien hier nieuwe ideen uit.

Uniforme auditieve vormgeving

Wanneer men kijkt naar de bestaande richtlijnen voor dergelijke interfaces, als Microsoft Windows, Apple OS-X, KDE, dan valt het op dat er weinig tot geen aandacht wordt geschonken aan voorschriften die leiden tot een meer uniforme auditieve vormgeving van het systeem.

Toepassingsgebied

De toevoegingen waar ik naar op zoek zal gaan zullen bestaande interfaces op bestaande systemen moeten kunnen verrijken. Met andere woorden, zoeken naar oplossingen die toegepast kunnen worden op standaard multimedia systemen met stereo multimedia speakers.

Fascinatie

Het fascinerende aan dit onderwerp is dat onderzoek naar auditieve interfaces, nog meer dan visueel mens-machine interactie onderzoek verdieping, vereist in natuurkundige, biologische, psychologische maar ook creatieve aspecten. Dit kan een hindernis vormen, maar maakt het geheel natuurlijk niet minder interessant. Juist daarom is het een uitdaging voor een media- en informatie-ontwerper om goed gebruik te maken van geluid als informatie kanaal.

Opbouw van dit onderzoek

Het onderzoek is in verschillende delen opgedeeld. Ten eerste zal er gekeken worden naar de lineaire, niet-interactieve, media. Deze hebben al een langere voorgeschiedenis en over de werking van geluid in deze context is meer onderzoek naar gedaan.

In het tweede deel zal er dieper worden ingegaan op de biologische en psychologische aspecten van geluid en de waarneming hiervan. Hier zullen ook een groot deel van de psychoakoestische aspecten aan bod komen.

In deel drie van het onderzoek zal onderzoek naar mens-machine interactie in het algemeen onder de loep worden genomen. Gekeken zal worden naar theorien die reeds ontwikkeld zijn voor voornamelijk visuele mens-machine interactie.

Het vierde deel zal bestaand onderzoek naar het gebruik van geluid binnen een interface bespreken, waarna in het vijfde deel gekeken wordt of er conclusies en doelstellingen voor nader onderzoek vastgesteld kunnen worden.

Lineaire media

Hier worden de eigenschappen van beeld en geluid, aanbieden van saillante informatie, de samenwerking tussen beeld en geluid en de werking van muziek besproken.

Interactieve media zijn een relatief nieuw verschijnsel als men het vergelijkt met lineaire media. Vanzelfsprekend is er dan ook veel meer onderzoek gedaan naar de effecten van geluid op de ontvangers. Zo zullen in dit hoofdstuk onderzoeken naar de verschillen tussen beeld en geluid uit de lineaire audiovisuele theorie worden bekeken. Daarnaast zal worden gekeken naar hoe muziek de gemoedstoestand kan benvloeden, maar ook wat de krachten zijn van gesproken tekst in vergelijking tot weergegeven tekst.

Eigenschappen van beeld en geluid

Beeld en geluid zijn twee verschillende kanalen waarmee een ontvanger bereikt kan worden. Beide hebben bepaalde eigenschappen waarvan een interactie ontwerper gebruik kan maken. De tekortkomingen van het ene kanaal kunnen vaak worden opgevangen door het andere kanaal en andersom. Daarnaast zijn ze in staat elkaar te versterken, indien er goed gebruik van wordt gemaakt.

Een van de eigenschappen van geluid is dat het, in tegenstelling tot beeld, niet beperkt is tot een bepaald blikveld; onze oren hoeven zich niet te richten op een bepaald punt om geluid uit een bepaalde richting te horen. Alles rond om ons dat geluid maakt of weerkaatst kan waargenomen worden.

Naast dat geluid niet in de ruimte bestaat heeft het ook de eigenschap dat het een temporele structuur kent. Geluid is 'verdwenen' nadat het is afgespeeld. Dit in tegenstelling tot beeld, dat op het scherm blijft staan totdat het verwijderd is. Om dit meer inzichtelijk te maken: Wanneer je een video afspeelt en op de pauze knop drukt blijft het beeld stil staan, maar er is iets dat waargenomen kan worden. Het geluidsspoor echter is stil wanneer deze gepauzeerd wordt.

Een gesproken tekst kan niet even snel overgekeken worden zoals dit kan met afgebeelde tekst, maar is tekst in gesproken vorm wel gemakkelijker waar te nemen zonder dat de persoon zich er fysiek op hoeft te richten.

De belangrijkste eigenschappen zijn in Tabel 1: Algemene vergelijking tussen beeld en geluid neergezet.

Beeld	Geluid
Ruimtelijke structuur; blijft aanwezig totdat het verwijderd wordt. (over time1)	Temporele structuur; verdwijnt na presentatie (in time)
Waarneming wordt gestuurd (in space)	Alles wordt waargenomen (over space)

Saillante informatie

Saillante informatie geven is het aanbieden van een overdaad aan informatie. Vaak heeft dit tot doel de opname van de hoofdlijnen te bevorderen, hetgeen een beproefde methode is.

Gebruik van geluid

Heuvelman² heeft een samenvatting gemaakt van onderzoeken die betrekking hebben op de opname van zowel beeld als geluid.

Enige mogelijke relevante conclusies voor dit onderzoek die naar voren komen in zijn document zijn onder andere dat visuele prikkels eerder verwerkt dan auditieve; nauw gerelateerd hieraan is dat abstractie van begrippen via beelden sneller gaat dan wanneer dit via tekst gebeurd (niet perse gesproken), hetgeen de werking van iconen kan verklaren.

Beelden worden vaak beter onthouden, hetgeen te maken heeft met de aanwezigheid van een hoge mate aan saillante informatie die het (vaak) bevat. Een probleem dat zich echter voordoet vanwege deze hoge informatie dichtheid is dat enkel de voor de kijker relevante componenten worden onthouden.

De hoge informatie dichtheid kan mogelijk verwarrend werken. Dit zou mogelijk kunnen verklaren dat zien geleerd dient te worden (in tegenstelling tot horen)³. Juist omdat het maar een klein deel visueel actief kan worden waargenomen en vaak een overdaad aan informatie bevat dient men te leren waar op te letten. Bij geluid is dit veel minder van toepassing en dus kan geluid dienen als een gids voor de kijker.

Geluid en beeld gelijktijdig presenteren

Hsia⁴ stelt dat informatie tot de ontvanger komt via diverse symbool systemen. Hierdoor worden er diverse mechanismen voor verwerking in werking gesteld, hetgeen een bijdrage levert aan de opname van de informatie.

Vanuit de didactische hoek zijn er diverse onderzoeken geweest naar hoe beeld en geluid zouden moeten samen werken. Beeld en geluid dienen zorgvuldig op elkaar te worden afgesteld.

Overweging kanaal keuze

De keuze voor het juiste kanaal om de informatie te presenteren is erg belangrijk. Zowel beeld als geluid hebben beide sterke en zwakke kanten. De kansen liggen in het beter gebruik maken van de afzonderlijke kanalen, waarbij dit document zich logischer wijs meer toespitst op het geluidskanaal.

De regel "Sound exists in time and over space, vision exists over time and in space" is een belangrijke hoofdregel. De sterke kracht van beeld is om veel informatie tegelijkertijd te presenteren, maar het gebruik van geluid kan juist door de lagere informatie dichtheid juist verhelderend werken.

De verschillende facetten die een rol spelen bij de juiste kanaal keuze zullen verder in dit document aan bod komen.

Het onderwerp

Saillante informatie die niet van toepassing is op het onderwerp kan afleiden en daardoor de informatie opname tegengaan. De kans neemt namelijk toe dat er concentratieverlies op treed en dat de ontvanger zich meer richt op de bijzaken dan op het eigenlijke onderwerp.

Een voorbeeld van een dergelijke fout is bijvoorbeeld het gebruiken van 18de eeuwse klassieke muziek onder een documentaire over de late Middeleeuwen. Saillante informatie kan in die zin ook beschouwd worden als ruis. Het fenomeen ruis zal later ter sprake komen.

Overprikkeling

Hoewel saillante informatie vaak goed blijkt te werken kan concurrentie van hoofdzaken tussen het beeld en geluid beter vermeden te worden5. Door het gelijktijdig aanbieden van voor de ontvanger belangrijke informatie via twee kanalen wordt de ontvanger genoodzaakt om keuzes te maken tussen welke informatie wel en welke informatie niet moet worden verwerkt; met als mogelijk resultaat dat geen van beide boodschappen daadwerkelijk wordt verwerkt.

Het gebruik van muziek

Ook muziek kan een functie vervullen binnen het verbeteren van audiovisuele communicatie. Voor puur entertainende producties waarbij perceptieve aspecten mogelijk een minder belangrijke rol spelen is muziek vaak zelfs de drager van de productie vanwege de sterke stemming benvloedende mogelijkheden van het medium. Daarnaast kan muziek echter ook informatie geven, of de opname ervan bevorderen.

Aandacht trekken

Opvallende composities, als ook bekende muziekstukken, kunnen snel de aandacht trekken. Men moet er echter wel voor waken dat de muziek niet alle aandacht op eist. Ook hier dient overprikkeling in de gaten te worden gehouden.

Stemming benvloeden

Muziek is uitermate geschikt om de stemming te bepalen. Emoties kunnen van tijd tot tijd gestuurd en versterkt worden. Door de juiste muziek keuze kunnen bepaalde reacties opgeroepen worden en kan helpen bij het vergroten van de ontvankelijkheid van de ontvanger.

Informatie verschaffen

Muziek kan ook meer vertellen over de omgeving, de tijd etc. Hierbij speelt de kennis van de ontvanger een belangrijke rol. Dergelijke wijze van informatie overbrenging is dan ook sterk cultuur afhankelijk.

Associaties leggen

Muziek kan het karakter van het gepresenteerde versterken door 'als het object te klinken'. Een snelle auto voorziet men van een levendig thema, een wasverzachter krijgt vloeiende muziek.

Men zou muziek gebruik op een associatieve manier kunnen beschouwen als het aanbieden van onderwerp gerelateerde saillante informatie, hetgeen stimulerend werkt op de informatie opname.

Dienen als geheugensteun

Deze functie van muziek is nauw gerelateerd aan de mogelijke informatieve functie van muziek. Bovendien is het mogelijk bepaalde emoties te binden aan de muziek. Net als informatie verschaffende muziek is ook dit sterk afhankelijk van de kennis en cultuur van de ontvanger.

Een voorbeeld van een dergelijke functie zijn zogenaamde 'jingles' in radio- en televisieprogramma's waarbij de ontvanger vaak in enkele secondes de functie of soort inhoud kan achterhalen. Juist van deze laatste eigenschap wordt veel gebruik gemaakt wanneer het auditieve iconen betreft.

Continuteit versterken

Door een bepaald muziekstuk door te laten lopen, ook al verandert het beeld sterk, genereert het idee bij de ontvanger van een samenhang tussen beide onderdelen. Hierbij dient er wel op gelet te worden dat de continuteit daadwerkelijk aanwezig is en dat het gebruik van muziek niet een kunstmatige ingreep is. Als dit laatste namelijk het geval is wordt de muziek een soort betekenisloos achtergrond geluid hetgeen voor veel mensen verwordt tot enkel ruis.

Wendingen markeren

Voor het omgekeerde kan muziek ook gebruikt worden, namelijk het markeren van wendingen. Door de sfeer van de muziek over te laten lopen in een andere sfeer, of door een andere melodie of muziekstuk te laten beginnen als aankondiging van een nieuwe scne.

Muziek kan hierbij de leidraad zijn waaraan de belevenis wordt opgehangen. De muziek dirigeert de ontvanger in de juiste richting.

Doelgroep

Belangrijk bij de keuze van muziek is dat het erg smaak en cultuur afhankelijk is. Niet iedereen houdt van dezelfde muziek, en het is van belang om hiermee rekening te houden. Zo kun je een bejaarde kun je niet hetzelfde voorschotelen als een jongere met een voorkeur voor populaire muziek.

Mocht er veel gebruik gemaakt worden van muziek, dan is het laatste wat je wilt doen je ontvanger onontvankelijk maken met in zijn of haar ogen afgrijselijke muziek.

¹De cursieven in deze tabel zijn verwijzingen naar de oorspronkelijk door Mountford en Gaver gedane uitspraak: "Sound exists in time and over space, vision exists over time and in space." (Talking and listening to computers. In B. Laurel (Ed.), The art of human-computer interface design (p. 322). Reading, Massachusetts: Addison-Wesley)

²Heuvelman A., Buiten beeld, Swets en Zeitlinger, 1989

³Monaco J. Film. Taal, techniek, geschiedenis, Het Wereldvenster, Weesp, 1984

⁴Hsia H. J., The information processing capacity of modality and channel performance, AV Communication Review, 25(1), 1977

⁵Heuvelman A., Buiten beeld, Swets en Zeitlinger, 1989

Mens & geluid

Binnen het totale onderzoek zal ook belangrijk zijn hoe de fysiologie en psychologie achter de door audio gestimuleerde mens-machine interactie werkt. Vragen die hierbij gesteld kunnen worden zijn onder andere: Wat doet geluid met de mens en hoe benvloedt het de gedragingen van de mens? Wat doet muziek? Wat is de 'betekenis' van bepaalde geluiden?

Werking van het gehoor

Geluid in de lucht manifesteert zich in drukverschillen. Deze drukverschillen worden door de oorschelp opgevangen en door de gehoorgang geleidt waar zich op het einde het trommelvlies bevindt. Hier worden de drukverschillen omgezet in trillingen welke worden versterkt door drie gehoor beentjes, namelijk hamer, aambeeld en stijgbeugel.

De stijgbeugel staat in direct contact met het slakkenhuis waar het diverse kleine haartjes (die reageren op verschillende frequenties) in trilling brengt. De haar cellen zorgen op hun beurt weer er voor dat via het zenuwstelsel de hersenen informatie krijgen welke frequenties er op dat moment aanwezig zijn in het geluid.

De hersenen op hun beurt zijn in staat een symbool systeem te vormen van deze informatie die op hogere niveaus kunnen worden vergeleken met symbool systemen afkomstig uit andere en eerdere waarnemingen.

Ruimtelijk horen

Onze hersenen zijn in staat een driedimensionale voorstelling te maken uit de n dimensionale (namelijk reeksen frequentie informatie) gegevens die worden geleverd door het gehoororgaan. Bovendien zijn wij in staat om met twee oren niet alleen geluiden naast ons een plaats te geven, maar weten wij ook geluiden boven/onder ons en achter/voor ons redelijk te onderscheiden.

Richting

Iets meer dan 100 jaar geleden kwam Lord Rayleigh1 met een theorie die verklaarde hoe wij de hoek kunnen bepalen waar de bron zich bevond op het horizontale vlak (waarbij nog niet bepaald is of het geluid van voren of van achteren komt).

Hij maakte toen al onderscheidt tussen twee elementen die onze hersenen in staat stellen de locatie te bepalen, nl.: Interaural Time Difference (ITD) en Interaural Intensity Difference (IID, of ILD (Interaural Level Difference).

ITD berust op het feit dat geluid zich met een bepaalde snelheid (343 m/s) voortplant en dat geluid dat niet recht van voren komt niet gelijktijdig aankomt. Wanneer zich een geluid helemaal links of helemaal rechts bevind is het verschil tussen de aankomst van een geluid bij beide oren ongeveer 0,7 ms.

IID is het verschil tussen intensiteit van het waargenomen geluid tussen beide oren. Des te hoger de frequentie is, des te hoger is het zgn. hoofd-schaduw effect (de kort golvige frequenties worden gemakkelijker gedempt).

Aangenomen wordt dat zowel ITD als IID aanvullend werken.

Hoogtehoek

Bij het bepalen van de hoogte hoek doet het verschil van waarneming tussen beide oren er weinig toe. De hoogtehoek wordt voornamelijk bepaald aan de hand van verschil in frequentie bereik (anatomical transfer function (ATF), ook wel head-related transfer function (HRTF) genoemd). De gehoorschelp doet dienst als een antenne. Door zijn bouw echter is het zo dat bepaalde frequenties uit bepaalde hoeken juist versterkt worden, terwijl dat andere keren weer minder is, of zelfs afgezwakt worden.

Hoewel het sterk persoonsgebonden is, vooral boven de 6kHz zijn er toch wel enige algemeen voorkomende eigenschappen in waarneming. Een piek in het gebied van 7kHz tot 10kHz (zie afbeelding 2: Bepaling hoogtehoek) doet een geluid boven de luisteraar vermoeden. Merk echter wel op dat dit ook te maken kan hebben met een toevallige piek aanwezigheid van dergelijke frequenties in het aanwezige geluid. Testen met virtual reality hebben echter wel uitgewezen dat in samenwerking met enige visuele feedback is te corrigeren. Hierbij wordt het idee van cognitieve wetenschappers dat zowel geluid als beeld tezamen worden verwerkt in de hersenen en aldaar een beeld schetsen van de werkelijkheid bevestigd.

Reflecties

Hoewel reflecties niet zozeer een probleem hoeven te zijn in een virtuele situatie, heeft onderzoek naar ruimtelijk horen in een natuurlijke omgeving nog wel iets opgeleverd dat gebruikt kan worden bij het psychoakoestisch nabootsen van de werkelijkheid, namelijk het precedence effect. Door dit verschijnsel is de mens in staat om ook in een omgeving met veel weerkaatsingen gebruik te maken van ITD. Het berust op het feit dat onze hersenen in staat zijn ITD enkel toe te passen op de vroegst arriverende geluidsgolf. Deze bevat namelijk automatisch de meest accurate gegevens over de locatie van de geluidsbron.

Verwerking

Een algemeen geaccepteerde opvatting binnen de cognitieve wetenschap is dat het weinig uitmaakt voor de hogere verwerking van informatie of deze nu visueel, auditief of anderszins tot een persoon wordt genomen.

Hoewel het bij de hogere verwerking van informatie weinig uitmaakt hoe de informatie tot de persoon is gekomen zegt echter niets over dat verschillende media de zelfde symbool systemen kunnen hanteren. Muziek bijvoorbeeld valt slecht te verwoorden en een plaatje zegt meer dan duizend woorden is een bekende spreuk.

Omdat beeld en geluid verschillende symbool systemen kennen wordt er gelijk ook een probleem zichtbaar voor de interface ontwerper dat zich voordoet wanneer men de visuele semantiek wil vertalen naar iets hoorbaars. Later hierover meer, want dit zou ook gevolgen kunnen hebben voor het uiterlijk van de visuele interface, mocht de ultieme mens-machine interactie worden nagestreefd.

Irritatie

Een veel gehoorde opmerking die ik vernam wanneer ik met anderen sprak over de toevoeging van geluid aan de interface was het commentaar dat ze geluid vaak maar irritant vonden. Veel mensen gaven ook aan de meeste geluiden uit te hebben staan. De vraag die zich voordoet is of mensen eigenlijk wel zitten te wachten op een meer auditieve interface. Wanneer een auditieve interface beoogt succesvol te worden dient in ieder geval rekening gehouden te worden met de irritatie factor, vandaar deze paragraaf.

Bij het ervaren van hinder spelen demografische factoren nauwelijks een rol. De hinder die men ondervind bij een bepaalde geluidsbelasting neemt toe na een leeftijd van 18 jaar1 en neemt bij een leeftijd van ca. 60 jaar af.

Volume

Binnen een werkomgeving gelden er in Nederland, maar ook andere landen, regels voor geluidsoverlast om gehoorbeschadiging te voorkomen. Om een inzicht te krijgen in dB's volgt hier de tabel:Inzicht in dB's.

dB	Voorbeeld
120	Laag overvliegende straaljager
110	Live optreden popgroep
100	Spaanplaat op maat laten zagen bij de bouwmarkt
90	Voorbijrijdende sneltrein op het station
80	Aan de kant van de snelweg
70	Stofzuiger
60	Normaal gespreksniveau
50	Rustige woonwijk
40	Rustige woonkamer
30	Bibliotheek
20	Stille slaapkamer

Wetgeving

Het ministerie van Sociale Zaken en Werkgelegenheid houdt een grens aan van maximaal 80dB tijdens een 8 uurige werkdag.

Met betrekking tot woonwijken is het maximale geluidsniveau dat geproduceerd mag worden door industrien 55dB(A). Toegestane etmaalwaarden voor verkeer mogen maximaal een waarde van 55dB(A) (wegverkeer) tot en met 70dB(A) voor Railverkeer hebben.

Spraakvolume

Wanneer omgevingsgeluid 40dB(A) overschrijdt beginnen personen die met elkaar via spraak communiceren op een afstand van 1m van elkaar gelijdelijk harder te praten. Een persoon die niet dezelfde taal spreekt zal zelfs behoefte hebben aan een grotere signaal tot ruis verhouding.

Niet-akoestische factoren

Niet-akoestische factoren die hinder veroorzaken zijn bijvoorbeeld het hebben van angst voor de geluidbron, de wetenschap dat anderen de irritatie zouden kunnen verminderen of dat het geluid voortvloeit uit een nieuwe situatie of nieuwe technologie.

Concentratie

Aandacht kunnen geven aan een bepaald onderwerp is belangrijk. Storende geluiden echter zijn in staat om aandacht op te eisen. Aandacht gaat uit naar het verwerken van de omgeving (visueel, auditief of anders), een mentale representatie, concentratie op een onderwerp, en het (re-)dirigeren van de aandacht.

Irritant geluid is in weze geluid dat de aandacht opeist, zonder dat de ontvanger er daadwerkelijk aandacht aan wil besteden. Erg lastig om te vermijden is geluid dat informatie bevat of lijkt te bevatten.

De mate waarin geluiden storend zijn hebben ook te maken met de vraag naar korte termijngeheugen van de taak. Vast staat in ieder geval dat bewust, of onbewust, ruis het denken bemoeilijkt; mensen gaan taken die veel van het denkvermogen eisen uitstellen.

Gezondheidsfactoren

Naast dat een overbelasting van het gehoor fysiek gehoorbeschadiging kan veroorzaken zijn er ook psychische effecten die de gezondheid kunnen schaden.

Zo kunnen zich Somatische stressverschijnselen voordoen. Dit zijn stressverschijnselen na langdurige blootstelling aan geluidshinder die resulteren in lichamelijke veranderingen; een verhoogde bloeddruk (hypertensie) en ischemische hartziekten (zoals myocardinfarct en angina pectoris). Een verhoogde kans op dergelijke verschijnselen doet zich voor wanneer het geluid een intensiteit heeft die boven de 70dB(A) ligt.

Daarnaast doen er zich functionele effecten voor. Dit zijn effecten die betrekking hebben tot cognitieve prestaties tijdens blootstelling aan geluid. Prestaties die afhankelijk zijn van het korte termijn geheugen nemen af.

Onderzoek naar storende geluiden

In een speurtocht naar opzettelijke storende geluiden (waarschuwingen) en juist niet storende geluiden (achtergrond processen) hebben Edworthy⁸ en enige collega's in 1990 een tabel samengesteld met betrekking tot welke eigenschappen kenmerkend zijn voor opdringerige en niet opdringerige geluiden.

Het doel van dit onderzoek was om te bepalen welke geluiden het meest geschikt zijn om de aandacht te krijgen, maar daarmee werd ook onderzocht welke geluiden deze eigenschap juist niet hebben.

Parameter	Opdringerig		Niet opdringerig
Individuele tonen
Grondtoon	530Hz		150Hz
Golfvorm	Blok	Langzame aanzet	Langzame afzet
Boventonen	Willekeurig	van 10% tot 50% willekeurig	Samenklinkend
Vertraagde boventonen	Geen		Vertraagde boventonen
Opvolging
Snelheid	Snel	Beperkt	Langzaam
Ritme	Regelmatig		Syncopisch
Verandering snelheid	Stijgende snelheid	Constante snelheid	Vertragend
Tonaal bereik	Breed	Klein	Beperkt
Tonale beweging	Onregelmatig		Opgaand, of neergaand
Muzikale structuur	Atonaal	Niet oplossend	Eindigend

⁸Patterson, R. D., Edworthy, J., Shailer, M. J., Lower, M. C., & Wheeler, P. D. (1986). Alarm sounds for medical equipment in intensive care areas and operating theatres. Report AC598. University of Southhampton Auditory Communication & Hearing Unit.

mens-machine interactie

Veel literatuur is al verschenen over Mens-Machine Interactie (engels: Human Computer Interection (HCI)). Vaak ligt hierbij echter de nadruk op de visuele output. Toch is bestudering van deze literatuur zinvol voor mijn onderzoek. Ik zinspeel er op dat de manier van het opstellen van een theorie voor het gebruik van geluid binnen HCI deels afgeleid kan worden van werkwijzen die gebruikt zijn bij onderzoek binnen het visuele domein van HCI.

Aandachtspunten

Toelichting

Er is natuurlijk een hele waslijst aan aandachtspunten op te noemen, maar een selectie van enkele belangrijke valt toch wel te maken. Wat straks volgt zijn enkel punten waar een systeem aan zou moeten proberen te voldoen. Getracht is deze lijst zo compleet en universeel mogelijk te maken. Mogelijk zijn hier punten aan toe te voegen, maar in eerste instantie geld deze lijst voornamelijk als introductie van Mens-Machine Interactie, en welke facetten er o.a. mee kunnen spelen. Later in dit document zullen deze aandachtspunten weer ter sprake komen wanneer de mogelijkheden van auditieve mens-machine interactie worden toegelicht.

Feedback

Voor een gebruiker is het belangrijk om te weten waar het apparaat waarmee hij of zij communiceert mee bezig is. Veel van het onbegrip en de angst voor computers valt samen met de beperkte feedback die de computer geeft over waar deze mee bezig is. Door een systeem herkenbaar voor de gebruiker te presenteren wordt het meer toegankelijk.

Rekening houden met de doelgroep, mensen, is van enorm belang, ook voor de acceptatie. De machine zou eigenlijk het laatste zijn waarvoor programma's worden geschreven.

Controle

Met betrekking tot de doelgroep is het ook belangrijk dat zowel beginnende als meer gevorderde gebruikers de mogelijkheden hebben om tot de (voor hun) optimale interactie te komen. De gebruiker wil graag controle over het systeem.

Maak belangrijke besturingselementen duidelijk waarneembaar. De tijd om bij een object te komen is een functie van de afstand tot het object als ook de grootte ervan (De wet van Fitt⁹)

Controle hangt ook samen met een duidelijke taal vanuit de machine richting de ontvanger. De taal dient duidelijk en herkenbaar te zijn en tevens consistent om verwarring te voorkomen.

Met betrekking tot fouten is het erg belangrijk om de software zo foutvrij mogelijk te maken; het is een inconsistente handeling die enkel verwarring, dan wel agressie op kan wekken.

Overzicht

Wanneer mensen snel duidelijk hebben wat de inhoud is van het document zullen ze dit als plezierig ervaren, daar ze het snel kunnen doorzien. Vandaar dat het belangrijk is dat sleutelwoorden duidelijk zichtbaar zijn voor de ontvanger, zodat hij of zij de relevantie kan bepalen. Juist binnen interactieve systemen is dit van groot belang, omdat de gebruiker over de wetenschap beschikt dat hij of zij informatie die hij of zij niet wenselijk acht niet tot zich hoeft te nemen

Overzicht wordt ook verkregen door estethisch te ontwerpen. Door weinig ruis toe te voegen aan de interface kan een ontvanger meer ontspannen de informatie beoordelen en eventueel tot zich nemen.

Hulp

Indien een interface een helpend systeem vereist is het wenselijk deze op zo veel mogelijk manieren, op ieder willekeurig moment beschikbaar te stellen. Wanneer zich bijvoorbeeld een fout voordoet is het erg handig voor de gebruiker te weten wat te moeten doen, om bijvoorbeeld te voorkomen dat er werk verloren gaat. Verliezen van werk kan erg grote ergernissen opwekken.

Representatie

Computer systemen zijn moeilijk te bevatten systemen. Processen dienen daarom vereenvoudigd te worden om computers toegankelijk te maken. Een interface is eigenlijk een kijk op het systeem. Interfaces kunnen gebruik maken van representatie, waarmee de eigenlijke systeem processen worden vertaald naar meer begrijpbare, alledaagse, processen. De omzetting van het systeem proces naar een waarneembaar en begrijpbaar proces geschiedt via 2 representatie stappen.

Conceptuele representatie

De eerste stap is de conceptuele stap. Als voorbeeld gebruiken we het verwijderen van een bestand. In principe is dit een verandering van bytes op een opslagmedium; een voor de hand liggend concept om dit begrijpbaarder te maken is echter het gooien van afval in de prullenbak. Deze stap wordt ook wel conceptual mapping genoemd.

Perceptuele representatie

De concept voorstelling echter dient nu waarneembaar te worden gemaakt. Om van een model tot een waarneembare voorstelling te komen vindt er de perceptuele representatie plaats. Hier zijn verschillende nabuereb vab benadering voor aan te wijzen, namelijk de symbolische, metaforische en iconische benadering.

De symbolische benaderingswijze maakt gebruik van symbolen. Dit zijn op zich staande vormen of geluiden die rusten op conventies die vaak sterk cultuur gebonden zijn.

Wanneer voor een metaforische benadering wordt gekozen wordt getracht een soort eenheid in de representatie te brengen, die logisch en consistent is over de gehele interface, waardoor het te leren en te beredeneren valt.

De laatste, de iconische benadering, is misschien wel de meest gemakkelijke om te leren. Getracht wordt met deze benadering de 'echte' wereld na te bootsen waardoor mensen het systeem kunnen herkennen en vergelijken met de echte wereld. Problematisch kan het worden wanneer de gelijkenis niet geheel meer opgaat (omdat sommige handelingen te abstract zijn bijvoorbeeld); in dergelijke gevallen kan een iconische benadering verwarring scheppen.

⁹Fitts,P.M. (1954). The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology, 47, 381-391.

auditieve interactie

Er zijn diverse mogelijkheden om een interface van geluid te voorzien. Zo kan men gebruik maken van abstractere, muzikale geluiden, maar ook van alledaagse geluiden. In tegenstelling tot wat mijn eerdere aanname was bij aanvang van het onderzoek is er wel degelijk informatie te vinden over de toepassing van dergelijke geluiden in een interactief systeem.

Bestaande toepassingen

Bestaande besturingssystemen

Standaard voorzieningen ter sonificatie

Het besturingssysteem van Apple, MacOS, is standaard veel verder in het toepassen van geluid in het besturingssysteem dan Microsoft Windows. Waarschijnlijk sterk genspireerd door de mogelijkheden die het experimentele SonicFinder aan het besturingssysteem toevoegde. Opgemerkt moet echter wel worden dat SonicFinder nog veel meer mogelijkheden had, later hierover meer.

De meeste besturingssystemen beschikken over een centraal regelpaneel waar de geluid instellingen geconfigureerd kunnen worden. Het is ook mogelijk aan programma's programma specifieke geluiden toe te voegen, hetgeen echter niet inhoud dat deze geluiden automatisch gebruikt worden door andere programma's met gelijke functionaliteit.

In de bijlage "Integratie geluid bestaande besturingssysteem" zijn de mogelijkheden die standaard in de besturingssystemen aanwezig zijn ter sonificatie van diverse gebeurtenissen tegenover elkaar gezet waarbij al snel duidelijk wordt dat MacOS een veel fijnere instelling van de geluiden toelaat dan bij Windows mogelijk is.

Mogelijkheden tot uitbreiding sonificatie

In de beginperiode van de grafische interfaces was juist de mogelijkheid dat een computersysteem ook grafisch gevisualiseerd kon worden het belangrijkst; het was een uitbreiding op de tot dan toe op tekst gebaseerde wijze van met de computer werken. Computergebruik werd mogelijk gemaakt voor de grote massa.

Op het moment echter dat computers niet enkel behulpzaam waren, maar noodzakelijk werden ontstond de vraag tot een meer toegankelijke systemen, ook voor mensen met beperkingen. Er ontstond vraag naar mogelijkheden tot het aansluiten van apparaten en programmatuur die de grafische gebruikersinterface konden vertalen naar meer behulpzame informatie voor personen met beperkingen, zogenaamde ondersteunende technologien.

Windows

Als meest genstalleerde besturingssysteem op bureau computers in de wereld is het haast onverantwoord te noemen om niets te doen voor mensen met een perceptieve beperking. Sinds 1997 is Microsoft zelf actief bezig met het ondersteunen van toegankelijkheidsopties in haar software. 1997 was dan ook het jaar dat de eerste versie van Microsoft Active Accessibility (MSAA) werd vrijgegeven, welke op het moment van schrijven versienummer 2.0 draagt.

MSAA maakt het mogelijk voor programma's en stuurprogramma's van derden de grafische interface te 'begrijpen' en om te zetten naar geluid. Tevens is het voor programmeurs mogelijk om alternatieven aan te dragen, wanneer de primaire presentatie, vaak visueel, niet de gewenste weergave is.

Met aansluiting op het besturingssysteem zijn we ergens, maar de geluiden dienen ook nog geproduceerd te worden op een processor vriendelijke manier. DirectX is een techniek die is ontwikkeld voor spellen, maar is ook zeer bruikbaar voor serieuzere toepassingen (Microsoft heeft zelfs aangekondigd de gehele besturingsinterface in de toekomst te gaan basseren op DirectX technologie (Windows Longhorn)).

DirectX werkt als een intermediair tussen software en hardware. De software kan DirectX functies aanroepen waarna de DirectX core er voor zorgt dat de mogelijkheden van de aanwezige hardware optimaal worden benut zonder dat de software speciaal rekening hoeft te houden met alle op de markt aanwezige kaarten.

Een mogelijk interessant onderdeel van DirectX is Direct Music. Ook dit onderdeel is ontwikkeld met het oog op ontwikkelaars van spellen. Direct Music maakt het mogelijk muziek aan te laten passen aan de sfeer zonder dat er muzikale breuken ontstaan.

MacOS

Een systeem om een interface te laten begrijpen door programma's en stuurprogramma's van derden voor Apple Macintosh computers bestaat ook en is onder de Apple programmeurs bekend als IAC. Dit staat voor Interapplication Communication. IAC is een overkoepelende naam voor iets dat scripting mogelijk maakt, maar ook meer low-level uitwisselingen tussen programma's. Hoewel het niet enkel bedoelt is om toegankelijkheid voor personen met beperkingen te vergroten is het wel degelijk hiervoor te gebruiken.

Linux

Bij Linux dient eigenlijk niet gepraat te worden over Linux als interface. Linux zelf is slechts een 'kernel', die enkel tekstuele interactie mogelijk maakt. Hiervoor zijn echter wel diverse 'Desktop environments' te verkrijgen die de interactie voor de minder technisch aangelegden onder ons dient te vergemakkelijken.

KDE is de meest gebruikte desktop environment, maar beschikt nog niet over een even uitgebreide uitwerking van een toegankelijkheidsprotocol zoals we dat terug vinden bij MacOS of Windows. Er zijn mogelijkheden via DCOP/MCOP om toegang te verschaffen tot de interface elementen, maar deze zijn beperkt. Het doel van het KDE accessibility project is om compatible te worden met AT-SPI (Active Technology Service Provider).

AT-SPI is afkomstig van de desktop environment genaamd GNOME, opgericht als een vrijer (met betrekking tot licenties) alternatief voor KDE. De opzet van GNOME is echter veel meer gericht op toegankelijkheid. De toegankelijkheid van GNOME wordt voornamelijk in de praktijk gebracht door Gnopernicus, een omgeving waarin ondersteunende technologien gemakkelijk aangesloten kunnen worden op het besturingssysteem. Helaas ben ik er zelf niet in geslaagd om het geheel werkend te krijgen wegens onvoldoende kennis van het Linux besturingssysteem.

Het internet

Tijdens het schrijven van dit document kwam er in Nederland een nieuwe site online van het Alphens Platform Gehandicapten beleid1 waarvan een speciale versie bestaat voor blinden en slecht-zienden. Door het gebruik van Flash is er gesproken geluid toegevoegd aan de site. Een werkend voorbeeld hoe geluid navigatie voor blinden zou kunnen verbeteren. Snel valt echter al op dat de gehele site weinig intutief is opgezet. Het is naar mijn mening dan ook een slecht voorbeeld van toepassing van geluid ter ondersteuning of vervanging van de visuele interface. De site valideert qua toegankelijkheid voor geen van de richtlijnen die het World Wide Web consortium hiervoor heeft opgesteld.

Het geluidsontwerp van de site slecht, sterker nog, er is geen sprake van een geluidsontwerp. Door middel van een third-party tool (Flash) is getracht ondersteunend geluid toe te voegen, terwijl hiervoor gespecialiseerde programma's verkrijgbaar zijn, die dergelijk werk veel intuitiever kunnen aanpakken; waarbij het het belangrijkst is om gebruik te maken van gestructureerde HTML, waarbij inhoud en (auditieve)opmaak van elkaar gescheiden zijn. Dergelijke internetpagina's zijn goed te openen in speciale browsers die in staat zijn internetpagina's om te zetten naar spraak.

De belangrijkste techniek die hiervoor toegepast kan worden zijn de auditieve stijlschema's, Aural Stylesheets. Doormiddel van CSS-Aural is een ontwerper in staat de auditieve opmaak van een document vorm te geven; hoe tekst uitgesproken dient te worden, uit welke hoek geluid moet komen, of er speciale geluiden als audiocues gespeeld moeten worden, en dergelijke.

De grote tegenvaller met betrekking tot Aural Stylesheets is echter dat programma's die goed gebruik maken van dit voorstel van het World Wide Web consortium erg schaars zijn; waardoor het gebruik maken van plugins als Flash de enigste mogelijkheid is om uniek geluidsdesign toe te voegen. De vraag is natuurlijk of het bewerkstelligen van een online geluidsdesign op een dergelijke wijze ten goede komt aan de algehele toegankelijkheid.

Mogelijkheden

Earcons

Earcons hebben een metaforische benadering tot het hoorbaar maken van het systeem. Vooral om meer abstracte processen zoals bijvoorbeeld het copieeren van mappen hoorbaar maken, zijn Earcons zeer nuttig.

Earcons zijn opgebouwd uit motieven. Onderzoekers die bezig zijn geweest met onderzoek naar Earcons zijn Blattner3 (zij kwam met het oorspronkelijke idee) en Brewster die aanpassingen heeft gemaakt.

Earcons zijn eigenlijk muzikale zinnetjes die geleerd dienen te worden, maar wel logisch beredeneer baar zijn, indien kennis van de structuur is genomen. Earcons kunnen ook tegelijkertijd worden afgespeeld, zonder dat de herkenbaarheid hiervan af hoeft te nemen.

Geluidsiconen

Geluidsiconen zijn de hoorbare equivalent van de visuele iconen die we van de hedendaagse grafische interfaces kennen. In plaats van voorwerpen uit het 'alledaagse' leven maken geluidsiconen gebruik van alledaagse geluiden. Dergelijke geluidsiconen zijn vaak gemakkelijk te koppelen aan de grafische interface; een prullenbak maakt het geluid van een prullenbak.

Bestaande besturingssystemen maken vaak al wel gebruik van geluidsiconen, maar juist door aan geluidsiconen parameters te koppelen is het mogelijk dergelijke iconen nog beter te gebruiken. Op die manier kan er in korte tijd zeer veel informatie aan de gebruiker worden gegeven. Het aanklikken van een map op de harde schijf maakt binnen Windows bijvoorbeeld een klikgeluid, maar door dit geluid 'zwaarder', danwel 'lichter' te laten klinken kan bijvoorbeeld de gebruiker snel informatie krijgen over de grootte van de map.

Het idee achter gebruik maken van deze geluidsiconen is dat het dagelijkse leven nog verder nagebootst kan worden. Hierdoor kan het gebruik van de computer meer overeen komen met de manier van communiceren en waarnemen van de 'echte' wereld; iconische perceptuele representatie.

Ruimtelijk geluid

Juist om de sturende mogelijkheden van geluid effectiever te benutten zou er veel meer gebruik gemaakt kunnen worden van ruimtelijk geluid. Binnen het MacOS besturingssysteem is dit al enigszins toegepast (stereo), maar nauwkeurigere positie bepaling is mogelijk doormiddel van eerder genoemde psychoakkoestische toepassingen.

Parameters van geluid

Bly heeft diverse onderzoeken uitgevoerd waarin zoveel mogelijk parameters zijn verwerkt om multi-dimensionele gegevens weer te geven doormiddel van geluid. Het probleem van onderzoekers is vaak hoe multidimensionale gegevens te presenteren. Het betreft statische informatie die normaal in 1 afbeelding weergegeven zou worden.

Parameters die variabel gemaakt zijn in het onderzoek van Bly zijn:

• Golfvorm
• Golfvorm van de boventonen
• Toonhoogte
• Volume verloop (envelope)
• Duur
• Volume

Onderzoek van Bly heeft uitgewezen dat mensen in staat zijn al deze parameters waar te nemen en afzonderlijk te analyseren; beter dan visueel gepresenteerde 6 dimensionele data.

Opvolgend onderzoek van Mezrich, Frysinger en Slivjanovski betrof variabele gegevens. Uit de onderzoeken bleek dat auditieve informatie vooral na training een zeer positieve uitwerking heeft op simultaan waarnemen van diverse parameters. Informeel ontdekten ze overigens dat gebruik maken van een chromatische toonladder effectiever werkte dan een pure frequentie gebaseerde weergave.

Onderzoek van Lunney en Morrison heeft informeel aangetoond dat het menselijke gehoor goed in staat is om ook dissonante akoorden te herkennen. Deze akkoorden werden eerst gebroken afgespeeld, en vervolgens simultaan. De proefpersonen uit het onderzoek bleken goed in staat om eerder gespeelde akkoorden te herkennen.

Soort geluiden

Muzikale geluiden

Onder muzikale geluiden worden tonale (niet ruisende) geluiden verstaan. Het nadeel, maar mogelijk tegelijkertijd ook voordeel, is dat deze vaak in eerste instantie betekenisloos zijn (of het moet al cultuur afhankelijk zijn). Dit houdt niet in dat een ontvanger niet in staat is om een muzikale taal te leren. De werking van 'Jingles' is op dit principe gebasseerd.

Alledaagse geluiden

Alledaagse geluiden zijn herkenbaar voor de gebruikers van een systeem en kunnen een systeem een vertrouwelijker gevoel geven. Punt van aandacht is hierbij wel dat goed na moet worden gedacht over de semantiek.

Tevens is het interessant af te vragen hoe we het horen dat er iets gebeurt. Wat maakt het ene geluid anders dan het andere. Waarom klinkt een neervallende plank op een asfaltweg anders dan wanneer deze zou neervallen op het water. Welke parameters zouden we moeten veranderen om het ene in het andere geluid over te laten gaan, hoe wordt een vallende plank op het asfalt langzaam een vallende plank die in vloeistof valt? Helaas is hier weinig over bekend, en berust dergelijke vormgeving op intutie en experiment.

Creatie van geluid

Gesyntheseerde geluiden

Het voordeel van gesyntheseerde geluiden is dat parameters van gesyntheseerde geluiden gemakkelijk zijn te bewerken, het geluid wordt immers volledig door de computer gegenereerd, en is niet afhankelijk van een van te voren opgenomen sample.

Het nadeel is dat het geluid enkel een benadering kan zijn van het echte geluid; daar perfecte synthese van natuurlijke geluiden tot heden onmogelijk is gebleken. De vraag is natuurlijk of dit noodzakelijk is.

Gesamplede geluiden

Tegenwoordig is ruimte en processor kracht veel minder een probleem voor machines (niet dat een interface een overdaad aan processor kracht zou moeten gebruiken). Het grote nadeel van gesamplede geluiden is dat parameters veel minder goed te benvloeden zijn.

Een mogelijkheid is om voor diverse combinaties diverse samples te leveren, hetgeen een grote opslagcapaciteit vereist, maar dit laatste speelt voor hedendaagse systemen steeds minder een rol.

voorstellen & verder onderzoek

Er moet een eind komen aan ieder document. Hoewel het niet de intentie is van dit document daadwerkelijk bevindingen te doen op het gebied van de auditieve mens-machine interactie zal er worden gepoogd toch enige conclusies te trekken uit de informatie die in dit document is behandeld.

Toepassingen

Juist omdat geluid in de tijd bestaat en voor waarneming niet beperkt is tot het blikveld (Eigenschappen van beeld en geluid, blz. 7) van de ontvanger is geluid ideaal om achtergrond processen weer te geven. In het dagelijks leven doet geluid dit eigenlijk al. Wanneer je optrekt met een auto schakel je op het moment wanneer de motor een bepaald geluid maakt naar bijvoorbeeld een hogere versnelling, of als voetganger hoor je, nog voordat je kijkt, of er verkeer is en hoef je enkel te kijken ter bevestiging van hetgeen je gehoord hebt.

Geluid kan helpen de computer, machine, meer toegankelijk te maken voor de mens, waarbij het wel van belang is dat het geluidsontwerp doorgrondelijk is door het consistent te gebruiken.

Mensen maken fouten, en deze kunnen worden verholpen door goed gebruik te maken van geluid; middels directe auditieve feedback met betrekking tot de acties van gebruikers; zodat gebruikers dus kunnen horen of het mogelijk is iets ergens neer te zetten, of niet.

Flexibel

Een systeem moet gemakkelijk aan te passen zijn zodat iedereen zich er in thuis kan voelen, of je beginnend bent, of verder gevorderd. Zo ook met geluid. Een gevorderde gebruiker zal totaal andere geluiden belangrijk vinden dan een beginnende gebruiker. Een gevorderde gebruiker zal zich ergeren aan geluiden waaraan een beginnend gebruiker houvast aan heeft. Een vereiste van een gesonificeerde interface is dan volgens mij ook een uitgebreid configuratie systeem met voorkeursinstellingen waar geluiden uitgebreid ingesteld kunnen worden.

Esthetisch ontwerpen

Zoals heden ten dage binnen de ontwikkeling van de grafische interface gestreefd wordt naar een verdere versoepeling van de interface is dit ook gewenst in de auditieve interface. Versoepeling is in deze o.a. een verwijzing naar wat ook wel wordt genoemd Mihaly Csikszentmihalyi's flow1. Flow is een manier waarop dingen in ons dagelijkse leven werken. Wanneer dingen met een flow, voortvarend, gaan dan kun je de optimale beleving ervaren waarmee als gevolg de optimale productiviteit bereikt kan worden.

Door esthetisch te ontwerpen en ruisvrij te ontwerpen kan een schonere, esthetische interface ontstaan waarbij plaatsing van de elementen die belangrijk zijn voor de interactie zorgvuldig is afgewogen.

In vergelijking tot wat op dit moment gaande is op het visuele domein lijkt het auditieve domein wat dat betreft erg stil te staan. Geluiden zijn in veel gevallen nog mono en van radio kwaliteit, terwijl voor hedendaagse systemen CD-kwaliteit geluid geen probleem meer is.

Daarnaast wordt geluid enkel gebruikt ter versterking van gebeurtenissen die in alle gevallen ook prominent op het scherm worden geprojecteerd.

Vergroten efficintie

Naast het verlagen van de drempel met betrekking tot het computer gebruik is het tweede doel van mens-machine interactie, dus ook auditieve m-m interactie, de efficintie te vergroten.

Sneller werken en meer doen. Door prikkeling via meerdere kanalen zou dit bewerkstelligt kunnen worden; doordat mensen sneller gegevens kunnen opnemen dient zou hier minder tijd aan kunnen worden besteedt. Denk bijvoorbeeld aan de over het algemene trage informatie opname die gepaard gaat met lezen van scherm.

Ook doordat het zinvol toepassen van geluid ter ondersteuning van de visuele interface kan helpen met het cleaner maken van de interface, hetgeen ook productiviteit verhogend zou kunnen werken.

Verder onderzoek en vragen

Persoonlijk zou ik ik graag zelf een schil willen ontwikkelen die kan bestaan boven op een bestaand werkend programma, of het liefst een compleet besturingssysteem dat op diverse manieren kan sonificeren.

Het zou moeten beschikken over een uitgebreid configuratie scherm waarvan uiteindelijk, na een periode van gebruik door een test groep, de configuraties naast elkaar zullen worden gelegd.

Idealistisch zou ik graag mijn bijdrage willen leveren aan de open-source community waar ik ook bij het schrijven van dit document dankbaar gebruik van heb mogen maken.

Bestaat geluid wel enkel in de tijd

Mij is eigenlijk niet geheel duidelijk of de regel Sound exists in time and over space, vision exists over time and in space. wel altijd op gaat wanneer men geluid meer gaat zien als iets multi-dimensionaal. Om het pauze voorbeeld uit hoofdstuk 1 aan te halen:

Wanneer grafiek gegevens op de tijd as zouden worden afgespeeld (gesynthetiseerd), en de tijd zou gepauzeerd worden, dan bestaat de mogelijkheid om de toonhoogtes constant te houden en het geluid meer aandachtig te bestuderen; de geluiden te 'scannen' op eigenschappen.

Geluid is misschien dan niet zo gemakkelijk te scannen als beeld, maar vooral op meer abstractere niveaus kan misschien de vraag worden gesteld of de eerder genoemde regel wel zo strikt dient te worden hanteert.

Gebruik natuurlijke geluiden

Dieper zou ik ook graag nog willen duiken in het fenomeen natuurlijke geluiden. Ik heb namelijk het idee dat natuurlijke geluiden veel minder irriterend zijn dan synthetische geluiden (Edworthy bevond al dat blokvormige tonen als opdringerig ervaren worden).

In de natuur tref je veel diversiteit aan in geluiden, terwijl de computer het vaak moet doen met kunstmatige benaderingen die weinig levendig zijn. Mogelijk is dit mede een factor die meespeelt bij het wel of niet als irritant ervaren van geluid.

Tot slot

Was mijn eerste voornemen nog om een schil te ontwerpen en te programmeren, het was iets te ambitieus en ik heb mij voornemens toch wat moeten bijstellen. Alleen het onderzoek zelf koste mij al veel meer tijd dan ingeschat.

Uiteindelijk is het een document geworden waar ik gedurende het komend schooljaar op voort kan bouwen in mijn nadere onderzoek naar auditieve ondersteuning van mens-machine interfaces. Het was een zeer interessante speurtocht naar mogelijkheden en eigenlijk is de speurtocht nog lang niet beindigd en wat dat laatste betreft, heb ik daar geenszins problemen mee.

Maarten Brouwers (Enschede, 2003)

Appendix

Bronvermelding

Algemene Mens-Machine Interactie

• Jakob Nielsen, 1994, Heuristics for User Interface Design UseIt.com, (29-04-03)
• Preece, J., Rogers, Y., Sharp, H., Benyon, D., Holland, S. & Carey, T., 1994, Human-Computer Interaction. Addison-Wesley
• Bruce Tognazzini, 1998, First Principles AskTog, (29-04-03)

Auditieve Mens-Machine Interactie

• Prof. Brewster, S.A., 2002, Chapter 12: Non-speech auditory output, als verschenen in boek van Jacko, J. and Sears, A. (Eds.) The Human Computer Interaction Handbook (Lawrence Erlbaum Associates, USA) pp 220-239. Multimodal Interaction Group Publication List, (04-04-03)
• Prof. Brewster, S.A., 1994, Providing a Structured Method for Integrating Non-Speech Audio into Human-Computer Interfaces Multimodal Interaction Group Publication List, (09-06-03)
• Brewster, S.A., Leplatre, G., 1998, Sonically-Enhanced Drag and Drop, Multimodal Interaction Group Publication List, (03-05-03)
• William Buxton, William Gaver, Sara Bly, 1994, Auditory Interfaces: The Use of Non-Speech Audio, Bill Buxton Home Page (21-05-03)
• Duda, Richard O., 1997, 3D Audio for HCI, Human Computer Interface Design, (20-05-03)
• IRCAMM, 2002, Sonification, Institut de Recherchet et Coordination Acoustique/Musique (17-05-03)
• Jurida, L., 1999+, Non-Speech Audio in de Human-Computer Interfaces Lea Jurida Sound Design, (04-04-03)
• Davide Rocchesso, Roberto Bresin, and Mikael Fernstrom, 2002, Sounding Objects, SoundObjects, (24-06-03)

Besturingssystemen

• Apple Computer, Inc., 1994, Inside Macintosh: Sound Apple Developer Connection, (09-06-03)
• Interapplication Communication Apple Developer Connection, (09-06-03)
• Apple, Aqua Human Interface Guidelines
• KDE Accessibility Project, ????, Developers' Information KDEAP, (09-06-03)
• KDE, User Interface Guidelines
• The GNOME Project, ????, The GNOME Usability Project (01-07-03)
• Microsoft, 2001-2003, User Interface Design and Development, MSDN, (03-05-03)
• Microsoft, 2002, Technology Overview Microsoft DirectX DirectX, (11-08-03)
• Chanel Summers, 1999, A Dozen Myths About Microsoft DirectMusic 7 MSDN, (11-08-03)
• Microsoft, User Interface Design and Development

Biologie

• William E. Brownell, 2000, How the Ear Works - Nature's Solutions for Listening How the ear works, (17 mei 2003)
• Katholieke Universiteit van Leuven, 2002, Geluid (presentatie slides) Katholieke Universiteit van Leuven, (21-08-03)
• Werner Verhelst, 2002, Basiskennis van Spraaktechnologie KUL, (21-08-03)

Irritatie

• HME Miedema, 2001, Noise & Health: How Does Noise Affect Us? TNO Preventie en Gezondheid, (13-08-03)
• W. Passchier Vermeer, Y. de Kluizenaar, JHM Steenbekkers, JEF van Dongen, GJ Wijlhuizen, HME Miedema, 2001, Milieu en Gezondheid 2001: Overzicht van risico's, doelen en beleid TNO Preventie en Gezondheid, (13-08-03)

Psychoakoestiek

• Erik Brouwer, 2002, Wat we niet horen, voelen we wel Psychologie Magazine, 2002, September, blz 41.
• Thomas Elbert, Andreas Keil, 2000, Cognitive neuroscience: Imaging in the fourth dimension Nature, 2000, 404, (Maart 2000) (via Google's cache)
• Hartmann, B., 1999, How we localize sound, Physics Today On The Web, (04-04-2003)
• Lucien Immink, 2002, Horen in de ruimte, (26-05-03)
• Damin Keller, 1999, Touch'n'Go: Ecological Models in Composition, Simon Fraser University, (28-04-03)
• Steven Kruyswijk, Samenvatting paragraaf 3.3 uit "Acoustics and Psychoacoustics", 02-04-03
• McGrath, R., Waldman, T., Fernstrm M., 1999, Listening to Rooms and Objects, IDC - The Library - Mikael Fernstrom's Papers, (03-05-2003)
• Aleksei Menshikov, 2003, Modern Audio Technologies in Games Digit-Life, (21-08-03)
• John G. Neuhoff, 2001, An Adaptive Bias in the Perception of Looming Auditory Motion John G. Neuhoff, (29-04-2003)
• Wilfrid S. Sellars, 1948, Review of Ernest Cassirer, Language and Myth, Bibliography of Wilfrid Sellars, (09-05-03)
• Bertram Scharf, 2001(?), Sequential Effects in Loudness Fechner Day 2001 - Proceedings, (29-04-2003)
• Suurmond P. met aanvullingen van 'Ellywa', 2003, Psychoakoustiek Psychoakoustiek - Wikipedia NL, http://nl.wikipedia.org/wiki/Psychoakoestiek, (02-04-2003)

Verder...

• G.P. van den Berg, 2002, Op zoek naar stilte, Natuur en Milieu, (28-07-03)
• European Agency for Development in Special Needs Education, 2003, Special Needs Education Thematic Key Words SEN|IST, (10-08-03)
• Ministerie van Sociale Zaken en Werkgelegenheid, 2003,Rubriek veilig werken / werkomgeving, SZW, (08-06-03)
• Wim Westera, 1995, Audiovisueel Ontwerpen: Theorie en praktijk, Uitgever Uniepers Abcoude, blz. 101 en blz. 139-142

Integratie geluid bestaande besturingssysteem

Categorie	Windows XP	MacOS 9
Menu geluiden	Menu openen Menu item aanklikken Menu item verplaatsen	Menu openen Menu sluiten Menu item oplichten Menu item aanklikken
Window geluiden	Minimize (naar taskbar) Maximize (volledig scherm) Restore Down Restore Up	Minimize (Zoom out) Maximize (Zoom in) Window Collapsing Window Expanding Activeren Press/Enter/Exit/Release stadia voor: - Closebox - Zoombox - Windowsshade Sleep grens Verplaats (apart voor utility window) Vergroot (apart voor utility window)
Bestands-beheer	Prullenbak legen Selecteren	Prullenbak legen Selecteren New item Receive drop Kopieren voltooid Resolve Alias Start Applicatie Disk insert Disk eject Drag on icon Drag off icon
Besturings-systeem	Einde OS Start OS Uitloggen Inloggen Begin navigatie Voltooi navigatie
Overige	Asterisk Programma Openen Programma sluiten Afdrukken voltooid Programma foutenVraag Batterij bijna leeg Batterij bijna leeg (kritiek) Nieuwe e-mail Onverwachtse stop Standaard geluiden Apparaat gekoppeld Apparaat losgekoppeld Apparaat koppelen mislukt Exclamation Systeemmelding Internet waarschuwing	Dialoogvenster openen Dialoogvenster sluiten Openen Sluiten Waarschuwing openen Waarschuwing sluiten
UI Elements	Selecteer toolbar	Voor algemene, standaard en annuleer knoppen press, enter, exit en release geluiden Voor 'Check Boxes', radio buttons press, enter, exit en release geluiden Voor tabs, discolure buttons, popup buttons press enter exit en release geluiden Voor 'Little Arrows': Up press, Down press, Enter, Exit, Up release, Down Release Voor 'Scroll Bars': Arrow press, Arrow release, Arrow enter, Arrow exit, End of track, Track press. Voor 'Bevel Buttons': Press, exit, enter release geluiden. Voor 'Help Balloons': Open en Close geluiden Voor 'Sliders': End of track, track press Slider thumb Slider ghost Scrollbar thumb Scrollbar ghost Move dialog Move alert Move Icon Scrollbar arrow decreasing/increasing Slepen