Pre-preludium

Denne boken ble skrevet med utgangspunkt i min doktorgradsavhandling (Action–Sound: Developing methods and tools to study music-related body movement) og gitt ut av UniPub Forlag i 2009. Målet var å skrive en bok som kunne brukes i undervisningen i emnet MUS2006 Musikk og bevegelse ved Institutt for musikkvitenskap, Universitetet i Oslo. Den har også blitt lest av mange andre som har vært interessert i feltet musikk og bevegelse.

Mange ting har skjedd siden 2009. Først fusjonerte UniPub inn i Akademika Forlag i 2012, som deretter ble overtatt av Fagbokforlaget Vigmostad & Bjørke i 2014. Boken min er nå ikke lenger i salg og støttesiden http://www.musikkogbevegelse.no/ er ikke tilgjengelig.

En forfatters mål er å bli lest, og jeg har derfor valgt å gjøre boken fritt tilgjengelig via LeanPub. Valget falt på dette “forlaget” fordi de åpner for en veldig enkel publikasjonsprosess. Tanken er også at boken nå endelig kan fungere som en skikkelig e-bok, med støttemateriale bygget inn. Jeg vil også gjøre andre småoppdateringer av innholdet for å sikre at den fremdeles er aktuell.

ARJ, Oslo, 2017

Preludium

Musikk er bevegelse. Musikk begynner som bevegelse hos utøveren, overføres som bevegelse i luft og materialer og ender opp som bevegelse hos publikum. Denne boken dreier seg om slike musikkrelaterte bevegelser. Målet med boken er å gi innblikk i det teoretiske fundamentet for å forstå bevegelsene, vise forskjellige metodiske tilnærminger og presentere tilgjengelige verktøy og teknikker som kan hjelpe i videre studier og forskning.

Denne boken er skrevet med utgangspunkt i mitt doktorgradsprosjekt Universitetet i Oslo i perioden 2004–2007. En doktorgrad er et resultat av et snevert og fokusert vitenskapelig arbeid. En bok er gjerne mer åpen, inkluderende og diskuterende. Selv om innholdet i denne boken primært er koblet til mitt eget forskningsarbeid, har målet vært å lage en generell fremstilling for musikkstudenter, musikklærere og musikere som ønsker å forstå mer om musikkrelaterte bevegelser og hvordan slike bevegelser er med på å påvirke musikken de utøver eller analyserer.

Gjennom arbeidet med temaet musikk og bevegelse har jeg lest en rekke bøker og artikler skrevet av forskere som arbeider med kropp og bevegelse innenfor andre felter enn musikk. Det har vært en stor utfordring å rydde opp i sentrale begreper slik som bevegelse, handling og gest. Ofte finner man at slike sentrale begreper brukes ulikt innenfor forskjellige fagområder. Mitt mål i denne boken har vært å komme frem til en helhetlig norsk terminologi for å beskrive musikkrelaterte bevegelser. Noen av disse begrepene er bedre fundert enn andre, og det vil helt sikkert bli nødvendig å revidere denne terminologien etter hvert. Jeg håper derfor på kommentarer og innspill til forbedringer.

Utgangspunktet i denne boken er å studere musikk som fenomen eller mer spesifikt som en prosess. I denne sammenhengen betyr prosess at vi ikke ser på musikken som et statisk produkt, men som et dynamisk system. Menneskene er det sentrale elementet i dette systemet, og de musikkrelaterte bevegelsene spiller en viktig rolle i å definere det musikalske samspillet (i utvidet forstand) mellom mennesker. Dette musikalske samspillet er i stor grad knyttet til personlig bakgrunn, smak og erfaring, og musikkens stil, sjanger og kulturell tilknytning. Det er allikevel ikke et sosiokulturelt perspektiv som anlegges her; boken fokuserer i større grad på å legge frem en systematisk tilnærming til studiet av musikkrelaterte bevegelser. Vi skal derfor se på det teoretiske grunnlaget for studiet av bevegelser i musikkforskning og forskjellige tilnærminger til fenomenet basert på både kvalitative og kvantitative metoder.

De første kapitlene tar for seg grunnleggende teori knyttet til kropp og bevegelse og en kroppslig musikkognisjon. Deretter introduseres terminologi for å snakke om kropp og bevegelse generelt, etterfulgt av en oversikt over forskjellige metoder for analyse og visualisering av bevegelser. Etter disse generelle kapitlene blir forskjellige typer musikkrelaterte bevegelser beskrevet, både hos utøvere og hos de som opplever musikken. De siste kapitlene tar for seg hvordan bevegelser er knyttet til lyd, hvilken rolle de spiller for vår opplevelse av musikken som et multimodalt fenomen, og hvordan kropp og bevegelse kan integreres i ny musikkteknologi.

Jeg vil gjerne rette en stor takk til Rolf Inge Godøy (Universitetet i Oslo) og Marcelo M. Wanderley (McGill University) som veiledet mitt doktorgradsprosjekt. Jeg vil også takke Norges forskningsråd for å ha støttet Musical Gestures-prosjektet der hovedvekten av ideene som presenteres i denne boken, ble utarbeidet.

ARJ, Oslo, 2009

1. Musikk og bevegelse

Fra noter til bevegelse

Musikk kan studeres på en rekke forskjellige måter: som noter i et partitur, som klingende eller lagret lyd, eller som historisk eller kulturelt fenomen. Selv om de fleste er enige om at kropp og bevegelse er nødvendig for musikkopplevelsen, er det først i de siste tiårene at musikkrelaterte kroppsbevegelser har blitt systematisk forsket på fra et musikalsk perspektiv. Begrepet musikkrelatert bevegelse brukes her for å dekke alle bevegelser som skjer i forbindelse med musikk. Legg merke til at musikkrelaterte bevegelser ikke nødvendigvis behøver å være musikalske. Hvis en pianist retter på skjorten under en konsert, vil ikke det nødvendigvis anses som musikalsk, men handlingen vil allikevel være musikkrelatert.

Det at kroppens betydning har blitt glemt eller bortforklart, er ikke unikt for musikkforskningen. Også i andre fagdisipliner har man rettet lite oppmerksomhet mot kropp og bevegelse. Lingvistikk, studiet av språk, er et eksempel på et fagområde som i liten grad har fokusert på kropp og bevegelse selv om man skulle kunne anta at kroppsbevegelser, særlig i form av gestikulering, ville være en viktig ressurs for å forstå hvordan språket fungerer. Men som Morris skrev allerede i 1979: ”The gesture specialist is a rare bird indeed – not so much a vanishing species, as one that has hardly yet begun to evolve” (Morris et al. 1979, ix).

Det kan være mange grunner til at bevegelser har blitt utelatt i forskningen. Én forklaring kan være at bevegelser er vanskelige å beskrive og å sette ord på. Både i lingvistikk og i musikk har man symbolske systemer (henholdsvis skrift og noter) som egner seg godt for nedtegning og systematiske undersøkelser. Meningsbærende kroppsbevegelser, eller gester, lar seg ikke like enkelt skrive ned på papir, og da blir det også vanskeligere å analysere dem med tradisjonelle teknikker.

Musikalsk notasjon er et konkret og håndfast utgangspunkt for videre analyser. At noter enkelt kan omgjøres til tall som man kan regne med på forskjellige måter, har styrket partiturenes posisjon i både kvalitativt og kvantitativt baserte analysemetoder. Notasjon kan være en effektiv måte å nedtegne og beskrive musikk på, men det er viktig å huske på at notene primært er en ”bruksanvisning” som forteller musikeren hvordan det skal utøves på et instrument. Selve musikken oppstår først idet notene spilles og erfares av levende mennesker.
Det er også viktig å huske på at mye musikk aldri skrives som noter, hverken før eller etter at den har blitt spilt. Selv om man har transkribert alle former for musikk, inkludert jazzsoloer, rockeriff eller gamelansk improvisasjon, har det i den senere tiden blitt mer aksept for at noter ikke egner seg som et universelt verktøy i moderne musikkforskning. Musikkforskningen har begynt å ta utgangspunkt i musikk som et klingende fenomen, og bruker forskjellige kvalitative og kvantitative metoder for å studere musikalsk lyd istedenfor, eller i tillegg til, å studere noter.

Musikk som lyd

Fundamentet for en systematisk forståelse av musikk som et lydlig fenomen kan spores tilbake til forskning som ble gjort i Tyskland i andre halvdel av 1800-tallet (Leman 2007). Dette inkluderer de psykoakustiske oppdagelsene til Hermann von Helmholtz (1821–1894), utviklingen av den kognitive psykologien til Wilhelm Wundt (1832–1920) og den empirisk baserte psykologien til Franz Brentano (1838–1917). Deres banebrytende arbeider dannet grunnlaget for det som i ettertid gjerne kalles gestalt-skolen innen psykologien, og som definerer hvordan vi oppfatter enkelttoner og samspillet mellom toner.

En annen retning som vokste ut av 1800-tallets Tyskland, var fenomenologien slik den ble utviklet av filosofen Edmund Husserl (1859–1938) og flere av hans etterfølgere. Kort forklart kan vi si at en fenomenologisk tilnærming dreier seg om å ta utgangspunkt i fenomenet vi sanser, og forstå hvordan dette danner grunnlaget for musikkopplevelsen. I nyere tid er det særlig den franske komponisten og musikkforskeren Pierre Schaeffer (1910–1995) som har hatt stor betydning for utviklingen av en fenomenologisk tilnærming til musikk. Schaeffer regnes ofte som grunnleggeren av den konkrete musikken, en retning som vokste frem med den nye opptaksteknologien. Med båndopptagerne ble det mulig å ta opp lyder, isolere dem fra hverandre og sette dem sammen igjen på nye måter.

Basert på dette praktiske komposisjonsarbeidet der sammenklipping av bånd med forskjellige lyder sto sentralt, utviklet Schaeffer (1966) en teori om lydobjekter som ble presentert i boken Traité des objets musicaux. Et lydobjekt er vår oppfatning av et fragment av lyd som gjerne varer i noen få sekunder, og som oppfattes som en selvstendig enhet (Godøy 1984). Schaeffer utviklet et helhetlig begrepsapparat for å beskrive kvalitetene i forskjellige lydobjekter. Schaeffers system er imidlertid såpass omfattende at det er vanskelig å sette seg inn i og bruke i praksis. Men selv om hans teorier i liten grad har nådd utover en begrenset gruppe musikkforskere, har mange av de underliggende ideene inspirert en rekke komponister og forskere til å interessere seg mer for de klanglige kvalitetene i musikken.

I Norge er det særlig Rolf Inge Godøy ved Universitetet i Oslo og Lasse Thoresen ved Norges musikkhøgskole som har videreført Schaeffers tanker om lydlige objekter. Mens Thoresen (2007) har gjort dette ved utviklingen av et eget grafisk spektromorfologisk system, har Godøy (2006) videreutviklet Schaeffers teorier til å inkludere bevegelse i vår forståelse av lydobjekter.

Musikk som bevegelse

Musikk kan studeres som noter eller som lyd, men i de siste tiårene har det i større grad også blitt vanlig å studere musikk som bevegelse. Dette åpner for mange nye innfallsvinkler, men kompliserer også bildet ytterligere. På mange måter kan vi si at bevegelser er minst like komplekst og sammensatt som lyd, og helt klart mindre håndfast enn noter. Det dukker derfor opp en rekke utfordringer når man prøver å forstå hvilken betydning og funksjon kroppen og kroppsbevegelser har i musikken. Én ting er at de fleste aksepterer at kroppen er til stede, men langt vanskeligere blir det når man forsøker å studere kroppens funksjon i musikkopplevelsen på en systematisk måte.

Selv om det har vært et økende fokus på musikalsk bevegelsesforskning de siste årene, har interessen for sammenhenger mellom musikk og bevegelse vært til stede helt siden antikken. Aristotelisk musikkforståelse og barokkens affektlære er eksempler på hvordan opplevelsen av følelser og stemninger kunne skapes ved hjelp av musikalske mønstre knyttet til bevegelsesmessige kvaliteter. Allikevel har den gjengse musikkforskningen i liten grad gått systematisk inn i studiet av kroppsbevegelser. I de tilfellene der musikkrelaterte bevegelser har blitt studert, har det gjerne blitt gjort av forskere fra felter som psykologi og utøverpraksis. Musikkvitere har derimot i liten grad studert musikkrelaterte bevegelser.

Et unntak her er musikkforskere som har fokusert på forskjellige former for folkemusikk. For eksempel beskriver etnomusikkforskeren Alan P. Merriam (1964, 32) en modell for å forstå musikk på tre nivåer: den musikalske lyden i seg selv, atferd i forhold til musikk, og konseptualiseringen av musikk. Dette kan ses som en kroppslig modell, og var kanskje mer naturlig å utvikle for å forstå musikken i kulturer der det i mindre grad var en så tydelig definert teori som vi finner i vestlig kunstmusikk. Det henger nok også sammen med at det i mange kulturer, inkludert den norske folkekulturen, er vanskelig å skille mellom utøver og publikum i en musikksituasjon. For eksempel er det vanlig at musikk og dans ofte smelter sammen, og det er vanskelig å forestille seg det ene uten det andre. I noen kulturer er til og med musikk og bevegelse så tett knyttet sammen at det bare finnes ett ord som dekker begreper som lek, dans og sang (Bjørkvold 1989, 58–61).

Musikk og bevegelse har ikke blitt viet så stor oppmerksomhet innenfor vestlig kunstmusikk, men dette er ikke fordi det ikke finnes bevegelser i slik musikk. Tvert imot kan man si at den klassiske konserttradisjonen i aller høyeste grad er bygget opp som et ritual der bevegelser står sentralt. I boken Musicking skriver Christopher Small (1998) om disse ritualene, og han argumenterer for at musikken er styrt av et sett med strenge atferdsregler både for utøvere og for publikum. På en vanlig ”klassisk” konsert er det forventet at publikum skal sitte stille i en stol og ”lytte” uten å bevege seg eller vise tegn til emosjonell bevegelse. Men ved å forsøke å undertrykke kroppen og dens bevegelser åpner man nettopp for at man blir bevisst de bevegelsene som faktisk utføres. Dette kan komme til uttrykk gjennom beskrivelser av en konsertopplevelse som ”henrivende”, eller at man fikk ”gåsehud”.

Tilsvarende skriver Small om hvordan det også er strenge regler for hvordan musikerne og dirigenten skal bevege seg før, under og etter en konsert. Dette gjelder alt fra hvordan musikerne kommer inn på scenen, til hvordan de sitter på stolen og mottar applaus. Mens det er vanlig at orkestermusikerne sitter på stolen sin mens de spiller, får solister ofte et større spillerom, og muligheten til å utfolde seg mer kroppslig. I tillegg kommer dirigenten som ”spiller” orkesteret med sine bevegelser, og forener både orkesteret og publikums fokus.

Så bevegelse er i aller høyeste grad en viktig komponent i en klassisk konserttradisjon. Dette gjelder ikke bare de fysiske bevegelsene man ser hos utøvere og publikum, men bevegelse kan også finnes igjen i partiturene. Tradisjonell notasjon er full av kropps- og bevegelsesmetaforer; betegnelser som staccato, ritardando og lento viser hvordan komponisten tenker seg bevegelsene. Dette viser hvordan musikken i bunn og grunn er en kroppslig fundert aktivitet.

Vi ser nå at studiet av musikkrelaterte bevegelser har begynt å bli mer akseptert, og at det har blitt etablert egne forskningsgrupper, studieprogrammer, konferanser og tidsskrifter som tar for seg dette temaet. Her er det interessant å legge merke til at mye av denne forskningen i stor grad er drevet frem av forskere fra mange forskjellige bakgrunner som møtes i tverrfaglige konstellasjoner: musikkvitenskap, utøving, komposisjon, psykologi, nevrovitenskap, informatikk osv. En slik tverrfaglighet åpner for ny teoridannelse og metodeutvikling som gjør det mulig å studere musikk på helt nye måter. Denne boken tar nettopp for seg noe av dette, og vi skal begynne med å se på det teoretiske fundamentet for det som kan kalles kroppslig musikkognisjon.

Kroppslig musikkognisjon

I boken Embodied Music Cognition and Mediation Technology forsøker Marc Leman (2007) å vise hvordan en forståelse av kroppens betydning i musikkopplevelsen kan ses som en naturlig forlengelse av den systematiske musikkvitenskapen slik den kan spores tilbake til 1800-tallets gestaltpsykologer. En kroppslig musikkognisjon bygger videre på en fenomenologisk tilnærming til musikkopplevelsen. Her tar man utgangspunkt i at mening oppstår ved vår opplevelse av de fenomenene vi omgir oss med i den virkelige verden, og ikke i abstrakte konsepter og ideer (Dourish 2001). Dette utfordrer tradisjoner med et tydelig skille mellom kropp og sinn, en todeling som har vært utbredt i filosofi, psykologi og musikkforskning.

Forståelsen av mentale prosesser og atferd står sentralt innen psykologisk forskning, og flere forskjellige tradisjoner har vært med på å bygge fundamentet for det vi i dag kan forstå som en kroppslig musikkognisjon. Den eksperimentelle psykologien kan sies å ha begynt med Wilhelm Wundt (1832–1920) og hans studier av ”byggeklossene” i bevisstheten: sansene og emosjoner. Tanken var her å gjøre konkrete eksperimenter basert på naturvitenskapelige modeller, hvor man kunne finne frem til de basale mekanismene i menneskets psykologi (Helstrup og Kaufmann 2000). Gestaltpsykologien på begynnelsen av 1900-tallet var derimot opptatt av at helheten av et sanseinntrykk kan være mer enn de enkelte sanseopplevelsene. Dette ble vist gjennom å identifisere flere forskjellige prinsipper for gruppering, blant annet likhet, rekkefølge og lukkethet.

Hoveddiskusjonen mellom de forskjellige psykologiske skolene på 1900-tallet, slik som behaviorisme og humanistisk psykologi, gikk i stor grad ut på i hvilken grad mennesket kan ses som en ”informasjonsprosseseringsmaskin” som kan studeres fra et rent atferdsperspektiv, eller om en mer dynamisk modell skal legges til grunn. Den kognitive revolusjonen som den kan kalles, og som nå har fått et solid fotfeste, dreier seg om at menneskelig kognisjon må forstås som et komplekst samspill mellom vår sansning og de tankeprosesser som styrer måten vi tenker på, planlegger og husker. De fleste er nå enige om at det ikke lenger er mulig å opprettholde et tydelig skille mellom persepsjonen, altså sansningen, og kognisjonen, de mentale prosessene som skjer i hjernen.

Et viktig bidrag i den kognitive revolusjonen var presentasjonen av The problem of serial order in behavior av Karl Lashley (1951). Her forklarte han at komplekse ferdigheter, for eksempel det å spille fiolin, går så raskt at man ikke kan forklare det med modeller basert på oppbygning av komplekse strukturer med utgangspunkt i enkle byggeklosser. Det må ligge implisitt en form for planlegging i selve grunnstrukturen.

Et annet viktig bidrag til utviklingen av en kognitiv psykologi var Frederic Bartletts (1886–1969) utvikling av skjemabegrepet. Bartlett (1932) viste at hukommelsen ikke er basert på en passiv lagringsprosess slik man kan forestille seg i en datamaskin, men derimot på en kontinuerlig seleksjon og organisering. Dette fant han ut ved å be forsøkspersoner lytte til en historie, som de deretter skulle gjenfortelle med egne ord. Under gjenfortellingen erstattet personene begreper som de ikke forsto, med egne begreper. Bartlett konkluderte med at hukommelsen er basert på å skape mønstre ved å koble det man oppfatter, til egne erfaringer. Disse mønstrene kalte han for skjemaer, og slike skjemaer er gjerne basert på meningsbærende kategorier. Et eksempel på et skjema er det at ”sete” og ”å sitte” hører til kategorien ”stol” (Helstrup og Kaufmann 2000).

Økologisk psykologi

Mange av metodene som har vært brukt i psykologien, har vært basert på laboratorieeksperimenter. Målet har vært å begrense antallet variabler i bruk, slik at man lettere kunne forstå sammenhengen mellom de gjenværende variablene. Dette har unektelig gitt mange viktige bidrag til forståelsen av vår kognisjon, men et ensidig fokus på en slik tilnærming har også blitt kritisert fordi man ikke har studert komplekse fenomener slik de oppleves i den virkelige verden. Innenfor musikkpsykologien har det for eksempel vært mange studier der man har testet oppfattelsen av enkle melodilinjer avspilt med syntetiske lyder. Selv om slike studier kan gi verdifull ny kunnskap om melodidannelse, kan man også spørre seg hvilken musikalsk relevans de har, ettersom man har fjernet så mange av parametrene som er viktig i musikalsk sammenheng.

Innenfor musikkpsykologien, men også innenfor andre psykologiske tradisjoner, har det derfor vokst frem en retning for å studere fenomener i sin fulle kompleksitet og i et naturlig miljø. Denne tradisjonen kalles økologisk psykologi og spores gjerne tilbake til James J. Gibson (1904–1979), en amerikansk psykolog som hovedsakelig arbeidet innenfor feltet visuell persepsjon. Gibsons hovedargument var at vi ikke bare ser verden gjennom våre øyne, men gjennom øyne som sitter i et hode som sitter på skuldrene av en kropp som beveger seg omkring (Gibson 1979, 222). Han understreker dermed betydningen av å se på vår kognisjon ikke bare som en separat mental prosess, men som relatert til våre omgivelser i et økologisk system. Videre understreker han at persepsjonen er en aktiv prosess, der kropp, sinn og omgivelser er i konstant interaksjon.

Den britiske musikkforskeren Eric Clarke er en av flere som har latt seg inspirere av Gibsons tanker, og i boken Ways of Listening: An Ecological Approach to the Perception of Musical Meaning foreslår han en økologisk tilnærming til musikkognisjon basert på det han kaller økologisk lytting (Clarke 2005). Clarke argumenterer for at forståelsen av mening i musikk må ta utgangspunkt i vår hverdagslige lytting og kapasiteten og begrensningene til hørselsapparatet vårt. En slik forståelse av mening i musikk baserer seg på at hørselssystemet vårt har utviklet seg gjennom en lang evolusjonsprosess for å hjelpe oss å overleve i naturen. Vår evne til å separere og lokalisere lyder, det som den kanadiske psykologen Albert Bregman (1990) kaller auditory scene analysis, kan ses som resultatet av en slik evolusjonsprosess der hørselen har blitt justert for å maksimere overlevelsesevnen. Clarke argumenterer for at vi må ta hensyn til disse evnene og begrensningene hvis vi skal forstå vår opplevelse av musikk.

Multimodalitet

Et premiss for den økologiske psykologien, og også for en kroppslig musikkognisjon, er at vår kognisjon er grunnleggende multimodal. Multimodalitet brukes her for å beskrive at flere av sansene (syn, hørsel, lukt, smak, følelse og balanse) brukes samtidig og påvirker hverandre. Den franske kognisjonsforskeren Alain Berthoz (1997) argumenterer for at multimodalitet ser ut til å være normen i all menneskelig persepsjon, og at det er vanskelig å forestille seg persepsjon som er unimodal.

For å gi et eksempel på hvordan sansene påvirker persepsjonen vår, kan vi forsøke oss på et tankeeksperiment. Tenk at noen slipper et glass i gulvet bak deg. Når du hører lyden av knust glass, er det sannsynlig at du snur deg rundt for å se hva som har skjedd. Da har du allerede brukt tre sanser: hørsel, syn og balanse. En slik form for multimodal sansning krever ikke noe ekstra av oss. Det er også sjelden vi legger merke til hvilke modaliteter som er i bruk, og ofte er det heller ikke så viktig. Det er viktigere for oss hva vi oppfatter, enn hvordan det oppfattes. Om vi ser eller hører om glasset knuses, er mindre viktig enn at vi oppfatter at glasset er knust.

Det er mulig å forsøke å bruke bare én sans om gangen, men ofte er det vanskelig. Hvis man er på konsert og forsøker å bare lytte til musikken, vil man ofte bli forstyrret av inntrykk fra de andre sansene. Det er vanskelig å unngå synsinntrykk, ettersom man registrerer sterke lysforandringer selv med lukkede øyne. Luktesansen vår vil også kontinuerlig være med på å informere oss om hvor vi er, og hva som skjer rundt oss, for ikke å snakke om hvordan kroppen registrerer at vi sitter på en ubehagelig stol. Balansen vil også hele tiden påvirkes når vi flytter litt på oss eller bytter sittestilling. Ettersom hørselssansen plukker opp lyder fra alle retninger er det vanskelig å ikke høre alt som foregår rundt oss. Selv om man forsøker å konsentrere seg om det som skjer på scenen, vil man unektelig også høre at noen hoster lenger bak i salen, eller sidemannen som tar frem en pastilleske. Slike lydlige forstyrrelser vil ofte føre til at vi snur oss rundt for å finne ut hvor støyen kom fra. Selv om vi kanskje forsøker å undertrykke noen av sansene våre i en musikalsk sammenheng, vil vi ikke kunne komme bort fra at multimodalitet er en naturlig del av vår hverdagslige kognisjon, og derfor også for musikkognisjon.

På samme måte som sanseapparatet vårt opererer multimodalt, kan vi også si at vi handler multimodalt. Tenk for eksempel på hvordan vi blander tale og gestikulering med armene når vi kommuniserer med andre, og hvordan motparten må bruke både øyne og ører for å få med seg det som ”sies”. Selv om det naturlig nok er kulturelle forskjeller for hvordan dette foregår hos voksne, har den britiske barnepsykologen Colwyn Trevarthen (2000) vist at slik kryssmodal kommunikasjon kan observeres også hos nyfødte. Dette vitner om at kryssmodal kommunikasjon er en integrert del av menneskelig kognisjon.

Kryssmodal atferd er nødvendigvis også en naturlig del av musikalsk utfoldelse. En utøver er selvfølgelig avhengig av hørselen, men for de fleste musikere er også syn og taktil informasjon fra instrumentet viktige modaliteter for å kunne musisere. Tilsvarende ville det vært vanskelig å spille uten at balanseorganet hele tiden er i bruk for å gi informasjon om posisjon og orientering. De tallrike eksemplene på hvordan blinde og døve har trent seg opp til å bli profesjonelle musikere, er også med på å underbygge teorien om multimodal sansning og handling. Ved å kombinere de ulike sansene på forskjellige måter kan man kompensere for mangelen av en av sansene.

Selv om multimodal sansning og handling vanligvis er til hjelp for oss, er det også eksempler på hvordan multimodalitet kan lede til kognitive konflikter eller illusjoner. Det som nå ofte blir referert til som McGurk-effekten, er basert på et eksperiment der forsøkspersonene hørte lyden av ordet ”ba” samtidig som de så videoen av en munn som sa ”ga”. Flertallet av forsøkspersonene trodde de så/hørte ordet ”da”, en kombinasjon av de to stimuliene (McGurk og MacDonald 1976). Lignende eksempler på audiovisuell kombinasjon har blitt vist i musikk. I en studie av klarinettister viste Vines et al. (2005) hvordan visuell informasjon fra et videoopptak var med på å forsterke følelsen av frasering og forventninger knyttet til kommuniserte emosjoner hos sanserne. Thompson et al. (2005) har vist lignende resultater i studier av populærmusikk med og uten video. De har også vist at slik audiovisuell integrasjon skjer ubevisst (Thompson og Russo 2006).

En stadig økende mengde psykologiske og nevrovitenskapelige eksperimenter ser altså ut til å underbygge ideen om at multimodalitet ikke bare er til stede, men faktisk er et premiss for vår opplevelse av musikk. Dette gjelder ikke bare i en konsertsituasjon hvor man både ser og hører musikerne. Når man lytter til musikk på en mediespiller, kommer vi heller ikke utenom at personen som lytter, er et menneske med multimodale kapasiteter. Dette må vi nødvendigvis også ta hensyn til når vi ønsker å forstå mer av hvordan musikken påvirker oss, og hva den betyr for den som ”lytter”. I kapittel 7 skal vi se nærmere på hvordan tette koblinger mellom handling og lyd er med på å styre måten vi opplever musikk på.

For å understreke den multimodale tilnærmingen til musikken vil ordet sansning bli brukt fremfor lytting i resten av denne boken. Lytting vil kun bli brukt for å beskrive de situasjonene hvor det bare er hørselssansen det refereres til. Tilsvarende vil publikum og sanser være foretrukket fremfor lytter for å beskrive de som opplever musikken. I deler av musikkforskningslitteraturen beskrives utøveren som ”sender” og publikum som ”mottager” eller ”reseptor” av musikalsk informasjon. En slik terminologi er med på å forsterke ideen om at musikkopplevelsen er en passiv aktivitet. En kroppsligkognitiv tilnærming fokuserer derimot på at musikkopplevelsen er en aktiv prosess, med en kontinuerlig gjensidig påvirkning mellom utøver og publikum. I en slik multimodal modell er lyttingen kun en del av helhetsopplevelsen, og den vil hele tiden påvirkes av de andre sansene.

Emosjon og ekspressivitet

Emosjonelle kvaliteter og ekspressivitet er begreper som ofte trekkes frem i forbindelse med musikk. Selv om de fleste har en vag fornemmelse av hva disse begrepene betyr, er det relativt få som har arbeidet systematisk med å forstå begrepene i musikalsk sammenheng. Det er ikke plass til å gå inn på disse begrepene i detalj her, men vi skal se litt på hvordan de kan forstås med utgangspunkt i en kroppslig musikkognisjon.

Flere studier, av blant annet Gabrielsson og Juslin (1996) og Dahl og Friberg (2004), har vist at kommunikasjon av emosjoner i musikk til en stor grad er avhengig av utøverens ekspressivitet. Ekspressivitet refererer her til evnen til å vise følelser og emosjoner i musikalsk utøvelse. Selv om mange er enige i at ekspressivitet er en viktig del av musikkutøvelsen, viser en studie av musikkstudenter i Sverige, Storbritannia og Italia (Lindström et al. 2003), og av musikklærere i Sverige og Storbritannia (Laukka 2004), at det legges lite vekt på tilegnelse og øving av dette i undervisningen. Veldig mye av den tiden barn og unge bruker på musikkøving, egnes til å utvikle motoriske ferdigheter på et instrument, mens relativt lite tid brukes til å oppøve ferdigheter i musikalsk ekspressivitet. Det kan virke som det er forventet at ekspressivitet er noe man ”har i seg”, og at det ikke kan læres.

På samme måte som det har blitt forsket relativt lite på musikk og bevegelse, har det også blitt forsket relativt lite på emosjoner og musikk, selv 50 år etter at Meyer (1956) skrev sin etter hvert klassiske avhandling Emotion and Meaning in Music. Juslin og Sloboda (2001, 3) eksemplifiserer dette ved å trekke frem at det i sentrale fagbøker innen psykologi og emosjoner ikke er noen referanser til henholdsvis emosjoner og musikk. Det er først i den senere tid at det har kommet med et kapittel om musikk i Handbook of Emotions (Lewis et al. 2008), og et kapittel om emosjoner i The Oxford Handbook of Music Psychology (Hallam et al. 2009).

En omfattende litteraturstudie av Alf Gabrielsson (1999 og 2003) viser at interessen for å studere musikkutøvelse og ekspressivitet har vært sterkt økende de siste tiårene. Særlig psykologer, og i den seneste tiden, også informatikere og ingeniører, har begynt å interessere seg for musikk, emosjoner og ekspressivitet. Psykologer og nevroforskere bruker musikk som et eksempel på noe av den mest komplekse menneskelige kommunikasjonen som finnes. Ingeniørene er på sin side opptatt av å forstå mer av menneskelig kommunikasjon for å lage maskinsystemer med tilsvarende ferdigheter. Behovet for å få datamaskiner til å oppføre seg mer ”ekspressivt” er åpenbart når man hører på avspilling av musikknotasjon fra en maskin. Resultatet er en ”perfekt” lydlig gjengivelse av notebildet, men fremføringen er uten noen form for ekspressivitet. Her legger man tydelig merke til at mange av kvalitetene vi forventer fra en utøver, dreier seg nettopp om å avvike fra notene ved å legge inn forandringer i tempo og dynamikk, samt skape en helhet ved hjelp av fraseringer. Det er nettopp slike menneskelige avvik som er med på å skape den musikalske spenningen, eller ekspressiviteten, som gjør at vi er villige til å bruke tid og penger på å oppleve musikk i en konsertsal fremfor å høre musikk på en datamaskin hjemme (Juslin 2003, 274).

Flere forskere, både fra musikksiden og fra teknologisiden, har derfor interessert seg for hvordan man kan lage maskinsystemer som er ekspressive. Eksempler på slike systemer er Director Musices fra KTH i Stockholm (Friberg et al., 2000), tempo-/dynamikk-modellen til Todd (1992), de evolusjonære modellene til Todd og Miranda (2004) og maskinlæringssystemene til Widmer (2002). Alle disse modellene er basert på forskjellige metoder, men fellesnevneren er at de forsøker å modellere musikalsk ekspressivitet.

Fra et bevegelsesperspektiv er det interessant å legge merke til at det ofte er tette koblinger mellom menneskelig bevegelse og opplevelsen av ekspressivitet eller emosjonell kvalitet. Dette er også utgangspunktet for flere forskningsprosjekter som er i gang, så i løpet av de kommende årene vil vi nok få en større forståelse for hvordan disse begrepene henger sammen. Her i Norge er det særlig musikkforskeren Hallgjerd Aksnes som har arbeidet med emosjoner i musikk, med utgangspunkt i at metaforer knyttet til bevegelseskvaliteter står sentralt i dannelsen av emosjonell respons (Aksnes 2002).

Sammendrag

I dette kapitlet har vi sett på hvordan musikkforskningen har utviklet seg fra å fokusere på noter, til å ta hensyn til lyd og bevegelser. En kroppslig musikkognisjon bygger videre på en fenomenologisk tilnærming til musikkopplevelsen og den økologiske psykologien. Her tenker man at musikk er et grunnleggende multimodalt fenomen, og at vår musikkognisjon er basert på mulighetene og begrensningene som ligger i kroppen vår i tilknytning til omgivelsene. En slik tilnærming bryter med musikkteorier der det blir skilt mellom kropp og sinn. En kroppslig tilnærming er basert på at det er en kobling mellom handling og sansning, og at disse gjensidig påvirker hverandre. Musikkopplevelsen blir dermed en aktiv prosess hvor både utøver og publikum er med. I kroppslig musikkognisjon tas det for gitt at emosjonell respons er en naturlig del av musikkopplevelsen, og at emosjoner er tett knyttet til ekspressivitet i kropp og bevegelse.

Les mer

2. Kropp og bevegelse

Kropp

Den norske bevegelsesforskeren Gunn Engelsrud (2006) skriver i boken Hva er kropp om hvordan kroppen kan forstås på mange forskjellige måter. Kroppen er en betydningsfull biologisk organisme som lever i en verden av andre biologiske organismer. Den er også vårt referansepunkt i møte med verden, og den påvirker måten vi opplever verden på. Samtidig er kroppen et symbol og varemerke som hele tiden utfordres av tidens trender, og som fungerer som et referansepunkt for andre som møter oss.

Kroppen er utgangspunktet for bevegelse, styrt av de mer enn 600 musklene og 200 benene kroppen er bygget opp av (Horstman 2007). Her er det ikke plass til å gå nærmere inn på kroppens oppbygning, vi vil derimot se på hvordan vi kan lage et teoretisk fundament for å studere musikk fra et kroppslig perspektiv.

Rom

For å forstå mer av kroppens bevegelser kan vi begynne med å definere kroppens forhold til rommet der bevegelsene finner sted. Et rom kan beskrives som et sted med fysiske avgrensninger, men i denne sammenhengen brukes rom til å beskrive de mentale begrensningene som vi ofte forholder oss til. Her introduseres de tre begrepene scenerom, kroppsrom og handlingsrom.

Scenerommet er det ytre området man kan bevege seg i. Dette kan være en fysisk definert scene, slik som i en vanlig konsertsituasjon der det er bygget opp et podium der utøveren kan opptre. I en slik situasjon er det vanlig at publikum sitter rettet mot scenen, slik at den blir et naturlig oppmerksomhetsområde. Publikum har gjerne forventninger til det som kommer til å skje, og det er vanlig å klappe idet en utøver beveger seg inn på scenen. Da innser publikum at konserten er i gang, og at utøveren snart skal begynne å opptre.

Det er imidlertid ikke nødvendig med et fysisk podium for å skape opplevelsen av et scenerom der en musikalsk utøvelse kan finne sted. Hvis vi ser på scenerommet som en sosial konstruksjon mellom utøver og publikum, er det mulig å tenke seg et scenerom hvor som helst. En gatemusikant kan skape sitt eget scenerom ved å legge en hatt på bakken og invitere folk ”inn” til en musikalsk opplevelse. I dette tilfellet er scenerommet redusert til et område rundt hatten, og blir skapt i møtet mellom utøver og publikum. Størrelsen på et slikt scenerom forandrer seg gjerne over tid. Hvis en annen gatemusikant stiller seg opp i nærheten, vil ofte størrelsen på scenerommet til hver av utøverne endre seg.

Mens scenerommet er begrenset av hvor utøvelsen finner sted, er kroppsrommet begrenset av den fysiske kroppen som utøver. Koreografen og bevegelsesforskeren Rudolf Laban (1963) brukte betegnelsen kinesfære for å beskrive en virtuell boks som omringer en person, og som definerer hvor langt man kan strekke seg i alle retninger uten å flytte på føttene. På den måten beskriver kinesfæren det maksimale kroppsrommet til en utøver. Laban argumenterer for at kinesfæren er en mental konstruksjon som vi alltid bærer med oss, og som definerer hvordan vi beveger oss i forhold til våre omgivelser og de andre personene som er i vår nærhet. Hvordan man beveger seg i forhold til andre mennesker, styres også av ulike personlige og kulturelle konvensjoner som definerer hvor tett det er akseptert at man går på andre mennesker. De fleste vil kjenne et ubehag når andre mennesker kommer innenfor denne sonen, og vil reagere med å trekke seg tilbake.

Innenfor kroppsrommet kan vi snakke om flere ulike handlingsrom. Dette er virtuelle områder som definerer omfanget av bevegelsene til hele eller deler av kroppen. Handlingsrommet til musikkrelaterte bevegelser er ofte knyttet til instrumentet og de fysiske begrensningene til utøveren. Når man spiller klaver, er handlingsrommet for de lydproduserende bevegelsene i hendene definert med utgangspunkt i klaviaturet (se figur 1). Tilsvarende er handlingsrommet for de lydmodifiserende bevegelsene i føttene definert med utgangspunkt i pedalene. En fiolin åpner derimot for utførelsen av lydproduserende bevegelser på strengene og lydmodifiserende bevegelser langs halsen.

Publikums forståelse av de ulike handlingsrommene som gjelder for et instrument er med på å skape forventninger om hvilke bevegelser vi kommer til å se i utøvelsen. Hvis utøveren beveger seg utenfor det definerte handlingsrommet, kan vi bli forvirret. Tenk for eksempel på hvordan du ville reagert hvis en klassisk pianist plutselig reiste seg begynte å spille direkte på strengene under fremførelsen av 1800-tallsmusikk. Selv om et slikt handlingsrom kan forventes innenfor ny musikk, vil det ikke være konvensjon innen klassisk utøvelse. Resultatet vil være et brudd med forventningene og man vil spørre seg hva som skjer. Nettopp slike brudd med konvensjoner kan være den utløsende faktoren som skaper spenning og fornyelse i den musikalske kommunikasjonen. Musikkhistorien er full av eksempler på musikere og artister som utfordrer den tradisjonelle forståelsen av hvordan et instrument kan og bør spilles. Musikalsk nyskapning skjer nettopp når man utfordrer rammene, i dette tilfellet handlingsrommene, som brukes som rettesnor for vår forståelse av ulike bevegelsesmønstre.

Holdning, positur og posisjon

Før vi kommer til definisjonen av bevegelse, kan det være relevant å se på noen begreper som dekker kroppens plassering og form. Her kan vi skille mellom de tre begrepene holdning, positur og posisjon. En persons holdning er knyttet til måten man fører kroppen på, for eksempel om man er rak- eller krumrygget. Ofte snakker man om at en person har en bestemt holdning, og da referer man til en statisk egenskap ved hvordan en persons kropp oppfattes.

En positur er gjerne en bevisst, tilgjort stilling hvor kroppens holdning i seg selv er meningsbærende. Positur dreier seg om kommunikasjon med kroppen uten bevegelse. Dette minner om måten gester brukes i kommunikasjon. Forskjellen er at en positur dreier seg om form og holdning til hele kroppen, mens en gest er bevegelse utført med en del av kroppen, for eksempel en hånd.

Posisjon brukes for å angi en fysisk plassering. Figur 2 viser en oversikt over forskjellige posisjoner som det er vanlig å forholde seg til i en tradisjonell konsertsituasjon. Området der musikeren står eller sitter ved utøvelse kan kalles sceneposisjon. Dette er det punktet som musikeren beveger seg til ved inngang på scenen. Når musikeren er i sceneposisjon vil vi kunne anta at utøvelsen skal begynne.

Grunnposisjon er den stillingen som handlinger vanligvis begynner og slutter i (Sacks og Schegloff 2002). I musikkutøvelse er dette gjerne den stillingen der utøveren hviler med instrumentet. Dette kan være sittende eller stående, avhengig av instrumentet som spilles. Når en musiker sitter i grunnposisjon, er alle innforstått med at utøvelsen enda ikke har begynt, men det er allikevel et tegn på at musikeren gjør seg klar til å spille. Fra grunnposisjon beveger utøveren seg til startposisjon for å begynne utøvelsen. Når utøveren er i startposisjon, er det klart for alle at utøvelsen har begynt, og man forbereder seg på at det skal oppstå lyd. Ofte ser man at utøveren utnytter denne situasjonen til å skape ekstra spenning på begynnelsen eller slutten av en utøvelse. Utøvelsesposisjonen er den posisjonen der den lydproduserende delen av utøvelsen finner sted.

Oppbygningen av en vanlig konsertsituasjon er dermed at utøveren kommer inn og plasserer seg i sceneposisjon, hviler i grunnposisjon, beveger seg til startposisjon og begynner å spille i utøvelsesposisjon. På slutten av stykket går man tilbake til startposisjon og grunnposisjon før man tar imot applaus og går ut av sceneposisjon. Selv om de ulike posisjonene kan være forskjellige fra musiker til musiker, er funksjonen de spiller av avgjørende betydning for hvordan publikum opplever utøvelsen. Dette er fordi publikums forventninger skapes av hvilken posisjon musikeren befinner seg i. Vår evne til å se disse posisjonene er ofte basert på holdning og positur snarere enn på bevegelsene vi ser. Fraværet av bevegelse kan på denne måten være like kommunikativ som bevegelse, på samme måte som stillhet kan være en effektiv kontrast til lyd.

Bevegelse

Det er flere måter å beskrive og forstå bevegelser på. I biomekanikken brukes teori og metode fra fysikkens mekanikk for å forstå hvordan levende organismer beveger seg. Da kan en bevegelse defineres som forflytningen av et objekt i rom over tid. Bevegelser kan også forstås som en serie handlinger som følger etter hverandre, men som hver for seg danner en avgrenset enhet. Hvis man har et slikt fokus er det innholdet i handlingen som er det vesentlige, mens utførelsen av handlingen er mindre viktig. En tredje måte å studere bevegelser på er som meningsbærende enheter, eller det som gjerne kalles gester. Da er det bevegelsenes kommunikative funksjon som står i fokus. I de neste avsnittene skal vi se nærmere på disse forskjellige forståelsene av bevegelser.

I biomekanikken er det vanlig å skille mellom frivillige og ufrivillige kroppsbevegelser (Zhao 2001). Frivillige bevegelser er handlingsdrevne og målrettede og omfatter mesteparten av de store bevegelsene vi utfører i løpet av en dag, alt fra å åpne en dør til å kjøre bil eller spille piano. Ufrivillige bevegelser kan være automatiske og inkluderer mange bevegelsestyper som er nødvendige for å holde kroppen i gang, for eksempel blunking, pusting og justering av balanse. En annen type ufrivillige bevegelser er refleksbevegelser, bevegelser som ofte kommer som en automatisk respons på hendelser rundt oss. Det er de frivillige bevegelsene som kan utvikles til ferdigheter gjennom læring (Schmidt og Lee 1999), og det er denne typen bevegelser vi skal se nærmere på i resten av denne boken.

Frivillige bevegelser dekker et bredt spekter av forskjellige bevegelsestyper: enkle og komplekse, diskrete og rytmiske, langsomme og raske, med og uten et bestemt målpunkt, med og uten respons (Massion 1997). Når det gjelder bevegelsers utvikling over tid, kan vi identifisere tre hovedtyper: impulsive, utholdte og iterative som oppsummert i figur 3. De impulsive bevegelsene karakteriseres ved at de har en tydelig begynnelse og avslutning, mens de utholdte bevegelsene ofte strekker seg ut i tid og gjerne overlapper med andre bevegelser uten å ha klart definerte begynnelses- eller sluttpunkter. Iterative bevegelser er en sammenhengende serie impulsive bevegelser og kan dermed ses på som en kombinasjon av impulsive og utholdte bevegelser.

Strykebevegelser er eksempler på utholdte bevegelser der utøveren har kontinuerlig kontroll over anslaget på instrumentet. Tangent- og slagverksinstrumenter er eksempler på instrumenter hvor utøveren bruker impulsive bevegelser i utøvingen. For slike impulsive bevegelser spiller tyngdekraften en avgjørende rolle for utførelsen av bevegelsen. Når man slår på en tromme er det vanlig å løfte armen til en utgangsposisjon, for deretter å slippe trommestikken og utnytte kreftene som virker på arm og stikke på veien ned til trommen. I fallet forsøker man å bruke minimalt med energi, men lar heller tyngdekraften virke på armen. I biomekanikken diskuteres det hvorvidt denne typen bevegelser er tilnærmet ballistiske eller ikke, altså om de følger de mekaniske lovene som gjelder for objekter i fri bevegelse. Flere har argumentert med at en kroppsbevegelse ikke kan oppnå en ballistisk bane ettersom en kroppsdel henger sammen med resten av kroppen. Det har derfor vært argumentert med at impulsive bevegelser består av nær-ballistiske bevegelser med en korrigerende bevegelse på slutten av bevegelsesbanen (Rosenbaum 1991, 16). Gjennom trening og øvelse forsøker man å optimalisere den nær-ballistiske bevegelsesbanen slik at korrigeringsbanen blir så liten som mulig.

Selv om vi her snakker om forskjellige bevegelsestyper, er det viktig å huske på at de fleste naturlige bevegelser er både sammensatte og komplekse. Når man spiller et instrument, brukes ofte impulsive eller iterative fingerbevegelser, mens albue, skuldre og hode gjerne er basert på utholdte bevegelser. Vi skal se nærmere på hvordan vi kan forstå noe av denne kompleksiteten i musikkrelaterte bevegelser i kapittel 5, og i kapittel 7 skal vi se på hvordan vi kan forstå lydobjekter med utgangspunkt i de tre bevegelsestypene.

Handling

En handling kan defineres som en målrettet bevegelsessekvens som begynner og slutter i en grunnposisjon. Handlinger har vanligvis en funksjon; man kan åpne et vindu, løfte en stol eller slå an en tangent. En handling er ofte basert på en bevegelse, men ikke alltid. Å holde fast i en veske kan være en handling selv om det ikke er bevegelse involvert.

Mens bevegelser kan forstås som kontinuerlig forflytning av objekter i rom over tid, er en handling en målrettet og tidsbegrenset del av disse kontinuerlige bevegelsene. Figur 4 er en skjematisk fremstilling av denne forskjellen mellom bevegelse og handling. Ettersom bevegelser utfolder seg i tid og rom kan de måles med forskjellige verktøy, noe vi skal se nærmere på i kapittel 3. Handlinger kan ikke på samme måte måles og beskrives objektivt. Dette er fordi en handling er basert på en subjektiv opplevelse av bevegelsene. Handlinger kan derfor bare indirekte måles gjennom bevegelser, og handlingenes funksjon må tolkes ut av bevegelsesinformasjonen.

I figur 4 er det vist at flere handlinger kan grupperes i en større handling. I pianospill kan hvert fingeranslag ses som en handling, men flere fingeranslag kan også grupperes for å beskrive en lengre handling. Avhengig av hvor detaljert bevegelsen studeres, vil det være mulig å finne flere slike handlingsnivåer. Ettersom en handling refererer til en subjektiv størrelse, kan forskjellige personer se forskjellige handlinger ut fra de samme bevegelsene.

Den britiske psykologen og gestikkforskeren Adam Kendon (2004, 111) har utviklet en modell for å beskrive hvordan en gest er bygget opp av et prefiks, en kjerne og et suffiks. Kjernen kan igjen deles inn i et slag og et etterslag. Det er slaget som er den målrettede delen av frasen, og det er gjerne den som defineres som selve ”handlingen”. Rolf Inge Godøy (2008) har foreslått at en lydproduserende handling, for eksempel å slå på en tromme, kan beskrives på samme måte. Figur 5 viser en skisse av en lydproduserende handling der det målrettede slaget kan ses som eksitasjonen av det lydproduserende objektet. I kapittel 7 skal vi se nærmere på hvordan lyd kan forstås med utgangspunkt i en slik skjematisk oppdeling av en lydproduserende handling.

Frihetsgrader

Frihetsgrad brukes ofte for å uttrykke graden av kompleksitet i et bevegelig system, og refererer til antallet uavhengige bevegelsesmuligheter som er tilgjengelig i systemet (Rosenbaum 1991, 5). Et dørhåndtak har én bevegelig del som kan beveges i én retning, og gir da systemet én frihetsgrad. En kontorbordlampe kan ha fire frihetsgrader: hele lampen kan roteres rundt foten, den har en knekk som kan justere høyden, og selve lampehodet kan beveges opp og ned og til siden. For slike enkle mekaniske konstruksjoner er det ukomplisert å beregne antall frihetsgrader, men det blir mer komplekst når man forsøker å beregne frihetsgrader for et musikkinstrument eller for menneskekroppen. For å bevege en arm bruker vi skulderleddet, albuen og håndleddet, og hver av disse kan beveges i tre dimensjoner samt roteres i tre dimensjoner. Dette resulterer i et komplekst bevegelsessystem med mange frihetsgrader som skal koordineres ved enhver bevegelse.

En måte å beskrive menneskelig bevegelse på er ved å analysere kroppen som et biomekanisk system med et gitt antall frihetsgrader. Når vi utfører en handling, må vi også kunne kontrollere dette komplekse systemet ved å koordinere rotasjon og posisjon av de ulike leddene. Menneskekroppens handlinger kan utføres på flere forskjellige måter. Ta for eksempel en tilsynelatende enkel oppgave som det å åpne en dør. Først må armen strekkes frem for at hånden skal komme i kontakt med dørhåndtaket. Deretter må hånden gripe rundt og ta tak i håndtaket, trykke ned og skyve døren utover. Så kan døren lukkes før man kan slippe håndtaket. Selv for en slik handling er det altså en rekke forskjellige bevegelsesmuligheter, og det er ikke gitt hvilke ledd som skal flyttes, og rekkefølgen dette skal skje i. Denne utfordringen har blitt kjent som frihetsgradsproblemet (Bernstein 1967) og har i den senere tiden blitt en stor utfordring innenfor robotikk, der roboter med et stadig økende antall frihetsgrader må kunne effektivisere bevegelsesbanen.

Frihetsgradsproblemet beskriver hvordan en handling kan utføres på forskjellige måter av det samme biomekaniske systemet, for eksempel en hånd. Men det er også mulig å tenke seg at man kan utføre den samme handlingen på en annen måte. Dette er basert på ideen om at det ikke er hvordan handlingen ble utført, som er viktig, men snarere det at den ble utført. Så om man åpner en dør med høyre hånd, venstre hånd eller albuen er mindre viktig enn at døren blir åpnet. Hvis det hadde vært nødvendig, kunne vi til og med ha klart å åpne døren med en fot eller med haken. En slik form for motorekvivalens er basert på at en handling kan utføres på mange forskjellige måter, men allikevel oppnå det samme resultatet (Rosenbaum 1991, 5).

Mennesker er generelt fleksible når det kommer til å tilpasse seg stadig nye situasjoner. Dette vitner om at vår forståelse av bevegelser ofte er knyttet til en bestemt målrettet handling, mens måten vi utfører handlingen på, kan variere. Vi har stort sett heller ingen problemer med å justere bevegelsene våre slik at de passer til målet. Bare se på hvordan en togkonduktør beveger seg mellom seteradene mens toget skumper fra side til side. Her må konduktøren kontinuerlig justere bevegelsene sine for å nå det ønskede målet – å holde seg oppreist.

Musikere kan ses på som bevegelsesspesialister med høyt utviklede ferdigheter for å kontrollere komplekse bevegelsesmønstre med en så liten grad av anstrengelse som mulig (Jäncke 2006). Dette er dokumentert i kognitive studier der musikere viste en stor grad av flyt, hastighet, presisjon og nøyaktighet i bevegelsene sine (Drake og Palmer 2000). Musikerne viste også at de kan planlegge og utføre lengre og mer komplekse bevegelsesmønstre enn ikke-musikere.

Koartikulasjon

Koartikulasjon er evnen til å kombinere flere enkeltstående handlinger til sammensatte handlinger. Begrepet kommer fra lingvistikken der det har blitt brukt for å beskrive sammensmeltingen av fonemer og ord i tale (Hardcastle og Hewlett 1999). Det samme fenomenet kan imidlertid observeres i mange andre former for bevegelse. Rumelhart og Norman (1982) viser eksempler på koartikulasjon hos personer som skriver på skrivemaskin, der de enkelte fingerbevegelsene på tastaturet kan ses som organisert innenfor mer overordnede håndbevegelser. Fingerbevegelsene organiseres etter en forventning om kommende bevegelser, der man hele tiden må planlegge og forberede seg på hva som kommer til å skje innenfor et kort tidsintervall.

Å spille skalaer eller løp på et instrument involverer stort sett alltid en form for koartikulerte bevegelser, der man forbereder seg til neste anslag før man er ferdig med det forrige. Særlig når man spiller fort, er det nødvendig å planlegge plasseringen av fingre før man spiller selve tonen. Hos pianister som spiller skalaer, ser man for eksempel hvordan tommelen legges på plass under hånden for å kunne komme raskt videre i løpet. Godøy (2004) argumenterer for at musikalsk frasering, artikulasjon og intonasjon er basert på koartikulasjon, og at dette vitner om at sammensatte og komplekse handlinger er en viktig del av vår musikkognisjon.

Gest

I dagligtale brukes begrepet gest ofte for å beskrive håndbevegelser som blir brukt i mellommenneskelig kommunikasjon. Tommelen opp, vinking eller veiving med armene i en høylytt diskusjon er eksempler på gester, kroppsbevegelser med en meningsbærende funksjon. Hva meningen er, kan variere fra person til person og kultur til kultur. Allikevel kan vi si at det som skiller en gest fra andre typer bevegelser, er den meningsbærende rollen den spiller i kommunikasjonen. I dette avsnittet skal vi se på hvordan begrepet gest brukes i ulike sammenhenger, og hvordan disse definisjonene relaterer seg til hverandre. Vi skal også se på hvordan gester kan forstås i en musikalsk sammenheng.

Adam Kendon (2004) har definert gest som en synlig handlingsytring og knytter dermed begrepet både til en fysisk bevegelse og den meningsbærende funksjonen som denne bevegelsen har. Kendon har forsket på hvordan gester brukes i dagligtale, med særlig vekt på hvilken funksjon gestene har i tilknytning til talen. Koblingen mellom gest og tale har også vært fokuset til den amerikanske psykologen David McNeill. Han har utført en rekke observasjonsstudier der deltagerne har blitt bedt om å gjenfortelle historier. Målet har vært å studere håndbevegelser og ansiktsuttrykk, og å se på hvordan disse sameksisterer med det personene forteller. McNeills konklusjon er at de observerbare gestene ikke er tilfeldige bevegelser som akkompagnerer talen, men snarere en integrert del av kommunikasjonen.

Funn fra observasjonsstudiene ledet McNeill (1992, 12–19) til utviklingen av en klassifisering av forskjellige gestikkfunksjoner basert på de fem typene av ikke-verbal atferd som ble beskrevet av Ekman og Friesen (1969):

• Ikoner representerer en bestemt egenskap ved en handling eller et objekt, og kan beskrives etter formen og utførelsen av gesten. Ikoniske gester brukes for å illustrere en handling, for eksempel å imitere banking på en dør ved å slå i luften.
• Metaforer ligner på ikoniske gester, men representerer en abstrakt funksjon. Et eksempel er å holde opp hendene og si ”noe skjedde”, der gesten refererer til enheten ”noe”.
• Slag forekommer sammen med tale for å understreke bestemte ord. Typiske slagbevegelser går enten opp/ned eller inn/ut, og kan tydeliggjøre poengene i talen. Slagbevegelser brukes ofte aktivt av politikere for å understreke bestemte poenger.
• Peking indikerer en retningsbestemt handling, for eksempel å rette fingeren i en bestemt retning og si ”der borte”.
• Emblemer er innlærte handlinger med en bestemt mening, for eksempel tommelen opp eller vinking når man sier ”ha det” til noen.

At gester sameksisterer med tale, betyr ikke at gest og tale nødvendigvis sammenfaller i tid, men snarere at de utfyller hverandre. For å beskrive gestenes forhold til talen foreslo Kendon (1982) fire forskjellige kategorier: gestikulering, emblemer, pantomime og tegnspråk. McNeill (1992, 37) videreutviklet disse til det han kalte et Kendon-kontinuum som vist i figur 6. I denne sammenhengen brukes gestikulering for å beskrive gester som alltid sammenfaller med tale. Emblemer brukes for å beskrive gester som kan sammenfalle med tale, men som ikke nødvendigvis alltid gjør det. Pantomime og tegnspråk er derimot eksempler på gester som er lingvistisk selvstendige, og hvor forståelsen av gesten kan forringes hvis de sammenfaller med tale.

Med referanse til Antonio Damiosos utsagn om at språk ikke kan skilles fra forestilling, argumenterer McNeill (2005, 15) for at mentale forestillinger er kroppsliggjort i gestenes sameksistens med tale. Dette har den amerikanske psykologen Susan Goldin-Meadow (2003) tatt videre ved å se på hvordan gester er med på å hjelpe oss å tenke. Ett av hennes funn har vært at gester ikke nødvendigvis støtter opp under tale, snarere tvert i mot. I situasjoner der folk lyver kan ansiktsuttrykk og kroppsbevegelser komme i direkte konflikt med det som sies. Hun argumenterer derfor for at studier av synlige gester kan gi viktig informasjon om våre mentale representasjoner.

Resultater fra denne forskningen på ikke-verbal kommunikasjon hos mennesker brukes nå også for å utvikle bedre kommunikasjon mellom mennesker og maskiner. Såkalt ”gestisk kontroll” av mobiltelefoner og datamaskiner er basert på ideen om at man skal kunne ta, peke, riste eller bevege seg for å styre teknologi. Målet er å kunne bruke kommunikasjonsformer som er mer naturlige for mennesker enn de alfabetbaserte eller numeriske tastaturene som i stor grad har preget vår teknologiske virkelighet det siste hundreåret. I kjølvannet av denne utviklingen har begrepet gest blitt tatt i bruk for å beskrive kommunikasjon mellom mennesker og maskiner, eller det som gjerne kalles menneske–maskin-interaksjon. I utgangspunktet burde ikke dette by på store problemer, for begrepet brukes fremdeles for å beskrive kommunikasjon mellom en ”sender” og en ”mottager”. Forskjellen ligger heller i hvordan gesten utføres. I mellommenneskelig kommunikasjon brukes gest gjerne for å beskrive tomhendte handlinger som utføres i luften i forbindelse med tale. I menneske-maskin-interaksjon har man derimot i større grad snakket om gester som er manipulative (Miranda og Wanderley 2006, 6). Manipulativ gest brukes her for å beskrive handlinger basert på fysisk kontakt med et objekt, for eksempel et tastatur.

Kan et tasteklikk på en datamaskin likestilles med en håndgest til et annet menneske? Med utgangspunkt i en definisjon av Feyereisen og de Lannoy (1991) er det mulig å se hvordan begrepet gest kan strekkes til å inkludere alle former for handlinger. I deres definisjon kan enhver bevegelse eller handling bli regnet som en gest, hvis den har en meningsbærende funksjon. En utfordring her kan være at gest-begrepet mister sin opprinnelige betydning hvis man åpner for for mange forskjellige bruksmuligheter. Dette har til en viss grad skjedd, og det er stadig oftere vanlig å se at gest brukes mer eller mindre synonymt med ”bevegelse” eller ”handling”.

Det finnes også eksempler på definisjoner innen menneske­–maskin-interaksjon som argumenterer for at det er hva som blir kommunisert til maskinen, som er det essensielle, ikke hvordan. I en diskusjon om tastetrykk argumenterer Kurtenbach og Hulteen (1990, 310) for at fingerens vei ned til tasten ikke er en gest, ettersom denne handlingen hverken blir observert eller registrert av maskinen. Deres konklusjon er at det eneste som betyr noe i kommunikasjonen mellom menneske og maskin, er hvilken tast som ble trykket ned. En slik definisjon er dermed snevrere enn det vi er vant med fra mellommenneskelig kommunikasjon, der den meningsbærende komponenten til en gest ofte er knyttet til måten gesten utføres på.

Nyere forskning innen menneske–maskin-interaksjon fokuserer i større grad på å lage systemer som tilpasser seg, og etterligner, menneskelig kommunikasjon. Utfordringen er å utvikle sensorløsninger som kan registrere komplekse menneskelige bevegelser. Et begrep som ofte trekkes frem i denne sammenhengen, er ekspressive gester. Her er ideen at den meningsbærende komponenten overføres nettopp gjennom opplevelsen av ekspressivitet i bevegelse eller lyd (Camurri et al. 2001). En rekke forskningsgrupper arbeider nå med å forstå hvordan man kan få datamaskiner til både å gjenkjenne og å gjenskape menneskelig ekspressivitet.

Gest har også blitt tatt i bruk innenfor musikkforskningen i de senere årene. Noen bruker begrepet musikalsk gest for å beskrive musikkrelaterte bevegelser, altså de fysiske bevegelsene som utføres av utøver eller publikum. Et eksempel på dette finnes i en studie av kroppsbevegelsene til pianisten Glenn Gould (Delalande 1988). Andre bruker musikalsk gest for å beskrive opplevde bevegelser i musikken, slik som Wendy Allanbrooks (1986) studier av rytmiske gester i Mozart. Dette minner om måten populærmusikkforskeren Richard Middleton (1993) argumenterer for at musikalsk lyd kan forstås som bevegelige former som minner om fysiske gester. Mens Allanbrook og Middleton bruker gest-begrepet for å forklare opplevelsen av rytme, fokuserer den amerikanske musikkteoretikeren Robert Hatten (2004) på hvordan melodilinjer kan oppleves som gester. Han utvikler en metode for å analysere slike musikalske gester med utgangspunkt i tradisjonell musikkteori og partiturer. Det er altså stor bredde i definisjonene av musikalske gester, men de fleste refererer til en eller annen form for menneskelig bevegelse, enten direkte eller indirekte gjennom noter og lyd.

Det som ser ut til å gå som en rød tråd gjennom de fleste av definisjonene av gest som er beskrevet i dette avsnittet, er at det ligger en eller aller annen form for kommunikasjon til grunn for bruken av begrepet. Denne kommunikasjonen er gjerne også knyttet til bevegelse. Hva slags bevegelse det er snakk om, eller hvor meningsdannelsen skjer, varierer derimot fra definisjon til definisjon.

Sammendrag

Kapitlet begynte med å presentere hvordan vår opplevelse av forskjellige rom har en betydning for de begrensningene vi legger i handlingsutøvelse. Scenerom er området der utøvelse finner sted. Kroppsrom er det området som kan dekkes når man strekker seg i alle retninger. Handlingsrom er de områdene hvor forskjellige handlinger utfolder seg. Opplevelsen av disse rommene er subjektiv, og forandrer seg over tid. De spiller allikevel en viktig rolle i å forberede oss mentalt på hvor handling kan finne sted.

Holdning, positur og posisjon beskriver på forskjellig måte egenskaper ved kroppens fremtreden. Holdning er knyttet til ubevisst kroppsføring, mens positur beskriver den bevisste kroppsføringen. Posisjon beskriver forskjellige stillinger som er vanlige i musikkutøvelse: sceneposisjon, grunnposisjon, startposisjon og utøvelsesposisjon. Posisjonen som en utøver inntar er med på å skape forventning hos publikum.

Bevegelse brukes for å beskrive forflytning av en kroppsdel eller et objekt i rom over tid. Handling er en målrettet bevegelsessekvens som er begrenset i tid og rom. Gest beskriver forskjellige former for kroppsbevegelser som har en meningsbærende funksjon. Gester er subjektive og kulturelt betinget.

Frihetsgrader refererer til antall bevegelige ledd i en kropp, og sier noe om kompleksiteten i systemet. Motorekvivalens brukes for å beskrive hvordan ulike bevegelsesmønstre kan brukes for å utføre den samme handlingen. Koartikulasjon brukes for å beskrive hvordan flere enkelthandlinger kan kombineres til større, sammensatte handlinger.

Les mer

3. Bevegelsesanalyse

Deskriptiv analyse

Det er ulike måter å analysere bevegelser på, og det er også mange måter å studere musikkrelaterte bevegelser på. Generelt kan vi skille mellom deskriptive og funksjonelle analysemetoder:

• Deskriptive analysemetoder: Bevegelser beskrives med utgangspunkt i deres kinematiske (for eksempel hastighet), romlige (størrelsen på rommet de utfolder seg i) og temporale dimensjoner (for eksempel frekvensomfanget).
• Funksjonelle analysemetoder: Bevegelser studeres med tanke på funksjonene de har i en viss kontekst, for eksempel om de er lydproduserende, lydmodifiserende, osv.

Når man skal studere bevegelser er det vanlig å begynne med en deskriptiv analyse, og deretter bruker man dette som utgangspunkt for en funksjonell analyse. I dette og neste kapittel skal vi se på forskjellige former for deskriptiv analyse. I kapittel 5 og 6 ser vi nærmere på funksjonell analyse.

Én av hovedutfordringene i studiet av bevegelser er deres flyktige natur. Bevegelser utfolder seg i tid og rom. Studerer man bilder, kan man bevare et fotografi, studerer man lyd, kan man gjøre et lydopptak for ettertiden. Det er derimot ikke like enkelt å ”ta opp” bevegelser. I dette avsnittet skal vi se nærmere på noen av de forskjellige teknikkene som finnes, og fordeler og ulemper ved disse.

Det har etter hvert vokst frem en rekke forskjellige teknologier for å registrere bevegelser, og disse kalles med en samlebetegnelse for motion capture på engelsk. Motion capture oversettes gjerne til bevegelsessporing på norsk. Målet med bevegelsessporingssystemer er å ta opp og lagre informasjon om bevegelser, for deretter å bruke dette som utgangspunkt for senere analyser. Det er altså snakk om en form for deskriptiv analyse, der deler av bevegelsen registreres og lagres digitalt. Man kan skille mellom følgende teknikker:

• elektromagnetiske systemer
• mekaniske systemer
• kinetiske systemer
• optisk-visuelle systemer
• optisk-infrarøde systemer
• fysiologiske systemer

Alle disse har igjen en rekke underkategorier som vi skal se nærmere på i de etterfølgende avsnittene.

Elektromagnetiske systemer

Et elektromagnetisk bevegelsessporingssystem er basert på at det settes opp et elektromagnetisk felt rundt en sender. Deretter kan man ved å bruke en magnetisk sensor påvirke dette feltet. Ved å måle endringene i feltet kan man beregne hvor sensoren befinner seg, både posisjon i tre dimensjoner og rotasjon i tre dimensjoner. Dette gir da totalt seks frihetsgrader per sensor. Figur 7 viser et bilde av et elektromagnetisk system i bruk.

De elektromagnetiske systemene har vært populære ettersom de gir resultater med både høy oppløsning og hastighet. Det er også en fordel at man får informasjon om både posisjon og rotasjon fra sensorene, totalt seks dimensjoner per sensor. Dette gjør det enkelt å beregne både hastighet og akselerasjon fra signalet. Hver av sensorene identifiseres separat, så i motsetning til de andre systemene vi skal se på senere kan ikke sensorene forveksles med hverandre.

Ulempen med elektromagnetiske systemer er at rekkevidden ofte er begrenset, gjerne til en radius på bare et par meter fra senderen. Et annet problem er at det elektromagnetiske feltet kan oppleves som ubehagelig av personer som er sensitive for stråling. Så selv om det er mulig å øke styrken til feltet for å øke rekkevidden, er ikke dette nødvendigvis ønskelig rent helsemessig. Metallelementer som befinner seg innenfor målesonen, kan også påvirke systemet. Dette har vært et problem i forbindelse med observasjonsstudier av pianister, ettersom metallet i klaveret har gjort systemet upresist. Man kan løse dette problemet ved å kalibrere systemet for å kompensere for endringene i feltet, men det krever mye ekstraarbeid. Enda en ulempe med slike elektromagnetiske systemer er at sensorene er relativt store, og at kablene fra sensor til mottaksstasjon kan oppleves som unødvendig tykke. I den senere tid har det blitt utviklet trådløse sensorer til slike elektromagnetiske systemer, men disse sensorene er enda større enn sensorene med kabel. Resultatet er at et slikt sensorsystem i stor grad påvirker personen som studeres, og bevegelsene som denne kan utføre.

Alt i alt fungerer elektromagnetiske systemer bra hvis man skal måle noen få punkter innenfor et lite område. Når det gjelder hastighet, nøyaktighet og presisjon, er slike systemer bedre, billigere og mer stabile enn mange av de andre systemene vi skal se på. Imidlertid gjør de mange begrensningene, og særlig de store sensorene og den korte rekkevidden, at slike systemer har begrenset nytte i analyse av musikkrelaterte bevegelser.

Mekaniske systemer

Mekaniske systemer bruker ulike sensorer som kan registrere bøying, strekking eller trykk når kroppen beveger seg. Slike sensorer finnes i en rekke former og størrelser og kan kombineres på mange forskjellige måter. Det finnes noen få ferdige systemer som er beregnet på bevegelsesanalyse, men det vanligste er nok at man utvikler sitt eget system basert på enkeltsensorer (se figur 8).

Fordelen med slike systemer er at de i motsetning til elektromagnetiske systemer ikke krever et felles referansepunkt som det måles ut fra. Derimot vil hver av sensorene måle bevegelse hver for seg, og dataene fra hver enkelt sensor vil kunne kombineres på forskjellige måter. Sensorene i seg selv kan være små og lette, og kan sys fast i klærne eller i en drakt som man tar på seg. Mekaniske systemer kan være bærbare og gi fleksibilitet for brukeren. Hvis man i tillegg bruker en trådløs sender, er man ikke avhengig av å være kablet til en datamaskin når man bruker systemet.

Ulempen med mekaniske systemer er at det kan bli mange sensorer festet på kroppen eller i klærne. Hvis ikke alt sys inn i en drakt, er det mange kabler som må trekkes langs kroppen. Det kan føles ubehagelig å ha på, særlig hvis man ønsker full bevegelighet i musikalsk sammenheng. Et annet problem er at dataene man får ut fra et slikt system, ikke nødvendigvis kan brukes direkte. Ettersom sensorene bare måler bøying, strekk eller trykk i ett enkelt punkt, kreves det mye matematikk for å beregne posisjon eller rotasjon fra et slikt system.

Konklusjonen er at mekaniske systemer er svært fleksible og kan fungere godt under gitte forutsetninger. Dette er grunnen til at mekaniske systemer brukes mye til forskjellige former for interaktiv musikk og dans, der musikeren eller danseren har sensorene på kroppen eller på objekter som manipuleres. Da vil sensorene kunne kobles direkte opp mot produksjonen av lyd eller video, uten at man nødvendigvis behøver å finne en nøyaktig beskrivelse av kroppen og bevegelsene som gjøres. Til vitenskapelig analyse er derimot slike systemer mindre brukt på grunn av at de er mindre presise, og at det kreves mye analysearbeid for å få ut relevant informasjon.

Kinetiske systemer

En av de mest populære måtene å måle bevegelse og posisjon på er ved hjelp av sensorer som måler posisjon og bevegelse basert på jordens tyngdekraft. Her finnes det flere forskjellige typer sensorer, blant annet akselerometre som måler gravitasjonskreftene som virker på et objekt i bevegelse. Et akselerometer gir informasjon om endringer i bevegelse samtidig som den gir informasjon om rotasjon. Lignende sensorer er gyroskop som måler rotasjon i forhold til gravitasjonen, og magnetometre som måler retning i forhold til jordens poler på samme måte som et kompass.

Fordelen med kinetiske systemer er det store utvalget av sensorer i alle prisklasser, størrelser og kvaliteter (se figur 9). Ettersom kinetiske systemer gir direkte informasjon om bevegelse eller rotasjon, er de enkle å bruke i mange sammenhenger. Med en økt etterspørsel har prisene falt kraftig de siste årene, og sensorene bygges nå inn i en rekke kommersielle produkter. I dag brukes akselerometre til å utføre alt fra gestisk kontroll i mobiltelefoner til utløsning av sikkerhetssystemer i biler. Kinetiske sensorer er også populære i musikalsk sammenheng og blir brukt for å måle bevegelse i alternative elektroniske instrumenter.

Hovedutfordringen ved bruk av kinetiske systemer er at de bare gir informasjon om endringer i bevegelse, og ikke posisjonen til objektene som beveger seg. Det er mulig å beregne posisjonen ved å kombinere akselerometre og gyroskoper, men dette er ikke en enkel operasjon, og resultatet er ofte mindre presist enn ved bruken av for eksempel elektromagnetiske systemer.

Kinetiske sensorer, og da særlig akselerometre, fremstår i dag som den enkleste og billigste løsningen for å studere kroppsbevegelser. Systemene kan være små, trådløse, bærbare og fleksible, så hvis man ikke trenger å finne absolutt posisjon, er disse systemene godt egnet til analyse av musikkrelaterte bevegelser.

Optisk-visuelle systemer

De tre systemene som er omtalt over, er alle basert på sensorer som plasseres på kroppen, og som registrerer rotasjon og bevegelse. En annen type bevegelsessporing som har blitt populært de siste årene, er optiske systemer. Vi skal her skille mellom optiske systemer som er basert på vanlig lys, optisk-visuelle systemer, og optiske systemer som er basert på infrarødt lys, optisk-infrarøde systemer. Begge disse systemene benytter teknikker for videoanalyse, og begge bruker et videokamera som utgangspunkt for den videre analysen, men de måler i forskjellige deler av det visuelle spekteret.

Et optisk-visuelt system tar utgangspunkt i signalet man får fra et vanlig videokamera. Det er en rekke fordeler knyttet til å bruke vanlig video som utgangspunkt for bevegelsesanalyse. Pris og tilgjengelighet er en viktig faktor, ettersom videoopptak nå er allment tilgjengelig i selvstendige kameraer og bygget inn i datamaskiner og mobiltelefoner. En annen fordel er at slik analyse kan gjøres uten at personen som observeres trenger å få festet sensorer på kroppen. Personen trenger ikke engang å være klar over at det skal gjøres opptak. Til musikalsk bruk kan dette være en fordel, siden det er mulig å bruke videoopptak av en konsert som utgangspunkt for en analyse.

Ulempen med videoanalyse er at oppløsning og hastighet vanligvis er lavere enn for de andre systemene som er omtalt i dette kapitlet. Et annet problem er at det er vanskelig å gjøre presise målinger av spesifikke punkter på kroppen, for eksempel hender og hode. Derfor bruker man gjerne videoanalyse for å se på globale bevegelsesegenskaper, som bevegelsesmengde og bevegelsessentrum. Vi skal se nærmere på disse teknikkene i kapittel 4. Et annet problem med videoanalyse er at man stort sett bare får informasjon om bevegelse i to dimensjoner (høyde og bredde), mesteparten av dybdeinformasjonen forsvinner. Man kan kompensere for dette ved å bruke flere kameraer i oppsettet, for eksempel ved å filme forfra, fra siden og ovenfra. De tre opptakene kan da kombineres for å finne posisjon i tre dimensjoner, men dette øker også kompleksiteten i analysen betraktelig.

Videoanalyse kan være den enkleste og raskeste måten å komme i gang med bevegelsesanalyse på. Ved hjelp av et helt vanlig videokamera og gratis programvare vil man kunne få ut informasjon om globale bevegelsesparametre. Dette kan altså gjøres uten at forsøkspersonen trenger å ha noen sensorer på kroppen, en fordel ved analyse av konserter. Det er også mulig å spore enkeltelementer i bildet, for eksempel hender og hode, men da ofte med lavere hastighet og presisjon enn de andre systemene vi har sett på.

Optisk-infrarøde systemer

En av de mest avanserte metodene for bevegelsessporing som er tilgjengelig i dag, er optisk-infrarøde systemer. Slike systemer bruker mange av de samme teknikkene som er tilgjengelig i vanlig videoanalyse som er nevnt over, men i motsetning til å bruke det synlige spekteret bruker man infrarødt lys som utgangspunkt for analysen. De fleste optisk-infrarøde systemene er basert på å bruke flere kameraer (typisk mellom 4 og 16 kameraer) som posisjoneres rundt personen som skal observeres. Hvert kamera i oppsettet fungerer også som en lyskilde som sender ut infrarødt lys i rommet. Dette infrarøde lyset reflekteres av små kuler som festes på kroppen til forsøkspersonen (se figur 10). De reflekterte infrarøde lysstrålene blir filmet av kameraene, og datamaskinen gjør deretter en gjenkjenningsprosess av hvor i bildet kulene lyser opp. Ved å kombinere denne posisjonsinformasjonen fra hvert kamera er det mulig å finne den nøyaktige tredimensjonale posisjonen i rommet.

Avhengig av kvaliteten på systemet gjør denne metoden det mulig å registrere bevegelser med opp til flere tusen målinger per sekund og ned til millimeterpresisjon avhengig av hvordan kameraene er plassert. En annen fordel er at man i motsetning til de elektromagnetiske, mekaniske og kinetiske systemene kan feste så mange markører man ønsker på forsøkspersonen. Markørene er i seg selv veldig lette, så de begrenser i liten grad den fysiske utøvelsen.

Figur 10 viser et utsnitt fra et opptak av pianospilling med et infrarødt system. Etter at man har gjort opptak, kan man spille av bevegelsene, rotere bildet og zoome inn for å studere bevegelsene i mer detalj. Det er også mulig å legge på informasjon om bevegelsesbanene til hvert punkt, slik at man kan få en idé om hvordan punktene har beveget seg over tid. En slik visualisering kan dermed være med på å simulere vår evne til å ”se” en handling i tid og rom.

Målingene fra optisk-infrarøde bevegelsessporingssystemer har høy hastighet og presisjon, men dette er også den dyreste løsningen vi har sett på. Det er også den metoden som er mest tidkrevende å arbeide med, både fordi det tar tid å sette opp systemet og kalibrere kameraene, samt å feste markører på forsøkspersonen. Den største utfordringen med slike systemer er allikevel at man ikke har noen enkel måte å identifisere de ulike markørene på, fordi alle dukker opp som like punkter på skjermen etter opptak. Dette betyr at når man har gjort et opptak, må man i ettertid forsøke å rekonstruere hvilke markører som satt hvor på kroppen. Denne prosessen kan forenkles ved å feste flere markører i ulike mønstre som kan gjenkjennes automatisk. Det er også mulig å definere en biomekanisk kroppsmodell som hjelper til med å identifisere de forskjellige kroppsleddene og sannsynligheten for hvordan markørene beveger seg over tid. Allikevel vil det i praksis alltid være noe etterarbeid med å identifisere markører som av forskjellige grunner ”forsvinner” av syne under opptak. I musikalsk sammenheng har vi opplevd dette i pianoopptak der hendene overlapper hverandre på klaviaturet, slik at markører på den ene hånden ikke er synlige for noen av kameraene. Dette skaper etterarbeid med å rekonstruere hvordan hendene beveget seg, for å unngå at markører ”bytter” hånd.

Oppsummerende kan man si at optisk-infrarøde systemer er den løsningen som gir høyest hastighet og best oppløsning, men ikke uten tekniske utfordringer. I motsetning til flere av de ovennevnte systemene tar det både stor plass og er kostbart; det krever dessuten mye arbeid for å fungere optimalt. Slike systemer er gjerne laget til bruk i et laboratorium. Det har blitt gjort noen forsøk med å bruke optisk-infrarøde systemer til interaktiv musikk og dans, av for eksempel Dobrian og Bevilacqua (2003), men dette har vist seg å være mindre fleksibelt og stabilt enn kinetiske og mekaniske systemer. Til analysebruk og i kontrollerte laboratorieopptak er derimot optisk-infrarøde systemer en populær metode.

Fysiologiske systemer

Alle systemene som er nevnt over, måler fysisk bevegelse i tid og rom på forskjellige måter. Fysiologiske systemer måler ikke bevegelse eller posisjon i seg selv, men informasjonen fra slike systemer kan allikevel fortelle oss mye om bevegelsene til en person. Det er ikke rom for å gå i detalj om slike systemer her, men det kan være verdt å nevne noen av de teknikkene som finnes.

Muskelspenning kan måles ved hjelp av elektromyografi (EMG), en teknikk for å registrere den elektriske aktiviteten i muskler ved å se på spenningsforskjeller som oppstår over tid. Det finnes flere forskjellige måter å gjøre dette på, både med overflate-elektroder og forskjellige typer nålelektroder. Måling av muskelspenning er direkte knyttet til bevegelsen som kommer etter, og er derfor relevant i musikalsk analyse. Det er også flere komponister og musikere som har arbeidet med bruk av muskelspenning for å styre musikalske systemer, som for eksempel Atau Tanaka (1993).

Pulsmåling kan også brukes til å studere bevegelsesaktivitet. Pulsen kan måles med elektrokardiografi (EKG), ved at et bånd med sensorer festes rundt brystet for å måle hjertets elektriske aktivitet. Det er også mulig å registrere pulsen med infrarøde sensorer som måler blodtilstrømning (BVP) i en finger. Sammen med respirasjonssystemer vil man da kunne se på hvordan pust og puls forandrer seg over tid. Dette kan være interessante mål i musikalsk sammenheng, særlig hvis de brukes i kombinasjon med en eller flere former for bevegelsesanalyse.

Også andre fysiologiske mål har vært brukt i musikalske studier. En relevant teknikk er galvanisk hudrespons (GSR) som måler endringer i fuktigheten i hendene. Denne teknikken er mest kjent fra de omdiskuterte ”løgndetektortestene”, men har også vært brukt til kontroll av musikalske parametre (Perez og Knapp 2008).

Hjerneaktivitet kan måles ved hjelp av lignende teknikker. I elektroencefalografi (EEG) fester man en serie elektroder på hodet for å måle elektrisk aktivitet i hjernen. EEG-systemer krever omfattende forberedelser og etterarbeid. Sensorer må festes på hodet, systemet må kalibreres, og ikke minst må data filtreres og bearbeides mye før man kan begynne selve analysen. EEG blir brukt til både analyse og syntese av musikk. En vanlig metode er å gi konkrete oppgaver samtidig som man måler EEG. Da kan man studere såkalte event-related potentials (ERP), endringer i den spontante elektriske aktiviteten knyttet til forskjellige kognitive oppgaver.

Av mer spesialiserte systemer for hjernemåling kan nevnes magnetoencefalografi (MEG). Den måler samme signal som EEG, men uten at det er nødvendig å koble til fysiske sensorer (Tanzer 2006). En annen teknikk som har blitt brukt til flere musikkognisjonsstudier, er funksjonell magnetresonanstomografi (fMRI) som måler funksjonell respons i hjernen ved å finne økt blodtilstrømning i aktive områder (Solso et al. 2005, 56). Dette krever imidlertid at forsøkspersonen sendes liggende inn i en magnetisk tunnel, noe som legger klare begrensninger på studiene som kan gjennomføres.

Observasjonsteknikker

Metodene som er nevnt over, går ut på å bruke forskjellige teknologiske systemer for å registrere bevegelser. Man kan også bruke observasjon som en systematisk metode for å registrere og analysere bevegelser med utgangspunkt i egen kunnskap og erfaring. Særlig fysioterapeuter har arbeidet aktivt med å utvikle metoder for å beskrive og analysere bevegelser fra et fysiologisk perspektiv. Et eksempel på dette er den funksjonelle bevegelsesanalysen utviklet av Haugstvedt og Melhus (2008). Mange slike observasjonsteknikker er utviklet i tilknytning til en bestemt type analyse og er derfor bare av begrenset nytte hvis man ønsker å bruke dem til andre formål.

Musikk har hatt et velfungerende og utbredt notasjonsapparat i mange århundrer, noe som har gjort det mulig å nedtegne og kopiere musikkstykker for senere spilling. Særlig i vestlig kunstmusikk har det vært vanlig å bruke noter, og lesing og skriving av noter har vært en integrert del av musikkopplæringen. Det enkle, symbolorienterte systemet har åpnet for en rekke analyseteknikker og har vært brukt i store deler av musikkforskningen. Det samme kan ikke sies om dans og andre former for bevegelse. Selv om det har blitt utviklet flere forskjellige notasjonsformer for bevegelse opp gjennom århundrene, er få av disse i bruk i dag. Det er heller ingen av disse notasjonsformene som har en like stor utbredelse blant dansere som notesystemet har blant musikere.

I musikalsk sammenheng har det blitt utviklet flere forskjellige metoder som kan ses som en kombinasjon av bevegelsesanalyse og ergonomiske studier, gjerne med utgangspunkt i skadereduksjon. Eksempler på dette er Alexander-teknikken (Barlow 1975), Rolfing (Feitis 1978), Expressive movement (Pierce og Pierce 1989) og Dalcroze (Findlay 1971). Flere av disse teknikkene har sitt utspring i arbeidet til danseren, koreografen og bevegelsesforskeren Rudolf Laban (1879–1954), og i resten av dette avsnittet skal vi se nærmere på to av hans metoder: Labanotasjon og Labans bevegelsesanalyse.

Labans notasjonsystem og bevegelsesanalyse

Laban arbeidet som danser og koreograf før han begynte å interessere seg for beskrivelse og analyse av bevegelser. Selv om hans teorier var dypt fundert i dans og dansebevegelser, var han opptatt av å lage et universelt system for bevegelsesanalyse. Han brukte derfor mye tid på å studere alle former for menneskelig bevegelse, blant annet hos fabrikkarbeidere. I 1928 presenterte Laban et system han kalte Schrifttanz i boken Kinetographie Laban (Guest 2004). Her hadde han utviklet en metode for å notere bevegelser ved hjelp av symboler langs en vertikal akse. Labans notasjonssystem, og hans omfattende bevegelsesanalyse har senere blitt utviklet i flere retninger, og dekker i dag mange forskjellige områder.

Når man skal nedtegne bevegelser ved hjelp av Labanotasjon er det ofte vanlig å begynne med en motivbeskrivelse. Dette er en redusert versjon av det fulle notasjonssystemet og muliggjør rask nedtegnelse av de viktigste elementene i en bevegelsessekvens. Tanken er at man kan starte med en motivbeskrivelse av de mest sentrale handlingene, for deretter å gå videre til en mer detaljert analyse og beskrivelse av bevegelsene.

Labanotasjon er et stort og omfattende system, og det krever mye tid å lære seg å skrive og lese notasjonen. Figur 11 viser eksempler på enkle bevegelsesmønstre nedtegnet med Labanotasjon. Her kan man se hvordan notasjonen tar utgangspunkt i en midtstrek som representerer sentrum i kroppen. Tiden løper vertikalt, så man leser Labanotasjon nedenfra og oppover. Forskjellige kroppsdeler er representert med egne symboler, og utstrekning og posisjon til kroppdselene angis med kursivering og punkter i symbolene.

Det teoretiske fundamentet for Labanotasjon ble utviklet i Labans bevegelseslære. Selv om mange ser notasjonen og bevegelsesanalysen som to sider av samme sak, har kanskje det teoretiske rammeverket fått en større generell betydning enn selve notasjonsapparatet. Man ser da også at bevegelsesanalysen ofte brukes som en selvstendig metode for å beskrive og forstå forskjellige bevegelseskvaliteter. Labans bevegelsesanalyse tar utgangspunkt i fire hovedkategorier: kropp, rom, form og kraft. Hver av disse kan igjen deles inn i underkategorier som beskriver kvaliteter ved bevegelsen. Her skal den siste av disse hovedkategoriene bli omtalt: kraft.

Begrepet kraft ble utviklet i boken Effort av Laban og Lawrence (1947), og ble der delt inn i fire underkategorier med tilhørende deskriptive akser:

• rom: direkte–indirekte
• tid: brå–utholdt
• tyngde: kraftig–lett
• flyt: bundet–fri

Rom beskriver hvordan man beveger seg gjennom det fysiske rommet man befinner seg i, og hvordan man forholder seg til kinesfæren, det maksimale området vi kan rekke hvis vi strekker oss i alle retninger fra en bestemt posisjon (det som ble kalt kroppsrom i kapittel 2).

Tid brukes for å beskrive bevegelsenes rytmikk. Laban var opptatt av at tid og rytme ikke kan skilles fra hverandre. Vi opplever rytmiske mønstre rundt oss hele tiden, og vi har vår egen grunnleggende rytme definert i pust og puls.

Tyngde er knyttet til tyngdekraften som virker på oss. Tyngdekraften er noe vi forholder oss til hele tiden når vi beveger oss. Når vi hopper, vil tyngdekraften trekke oss ned, på samme måte som tyngdekraften virker på armen vår når vi strekker den ut. Vi må bruke muskelkraft for å motvirke tyngdekraften, og dette samspillet mellom kropp og tyngdekraft er med på å skape bevegelsene våre.

Flyt beskriver hvordan en bevegelse utfolder seg i tid og rom. Aksen deles her opp i ytterpunktene fri og bundet flyt. Fri flyt kan ses når man klarer å få en avslappet sammenhengende bevegelse, for eksempel ved å male en vegg med lange strøk, mens bundet flyt oppleves når bevegelsene hindres.

Selv om de fire kraft-parametrene bare er en liten del av Labans bevegelseslære kan de være nyttige å bruke i studiet av musikkrelaterte bevegelser. Egil Haga (2008) brukte disse for å beskrive korrelasjoner mellom kvaliteter i bevegelse og lyd i studier av fridans til musikk i sin doktorgradsavhandling. Labans teorier har også blitt brukt i flere andre studier av musikkrelaterte bevegelser, blant annet i dirigentbevegelser (Gambetta 2005) og i fraseringsbevegelser hos klarinettister (Campbell et al. 2005).

For å bruke Labans metoder i egne bevegelsesanalyser stiller Schrader (2004, 75) forskjellige spørsmål om bevegelsene:

• Hvordan er bevegelsesmønstret strukturert i tid? Er det raskt eller langsomt? Finnes det en rytmisk struktur, og er den jevn eller ujevn?
• Hvordan er bevegelsesmønstret strukturert i rom? Hvilken retning går bevegelsen i? Er bevegelsen horisontal eller vertikal? Er den rett eller buet?
• Hvordan er bevegelsesmønstret strukturert i kraft? Er det bundet eller fritt? Er det noen bestemte fraseringer? Hvordan skiller mønstret seg fra andre mønstre?

I arbeidet med en slik analyse kan det være nyttig å forsøke å forestille seg at man er inne i kroppen til den man studerer. Utgangspunktet for Laban var nettopp at man skal forsøke å analysere med utgangspunkt i hvordan det kjennes fra ens egen kropp.

Sammendrag

Kapitlet startet med en gjennomgang av forskjellige systemer som måler bevegelser: elektromagnetisk, mekanisk, kinetisk, optisk-visuelt, optisk-infrarødt og fysiologisk. Det er vanskelig å trekke frem noen av disse som mer hensiktsmessige enn andre, ettersom alle har positive og negative sider. Hvilket system som velges, avhenger av hva man skal registrere, og hvilke begrensninger man ønsker å legge på forsøkspersonen. Bruken av et optisk-visuelt system fremstår kanskje som den enklest tilgjengelige metoden, ettersom de fleste har tilgang på et videokamera. Video er imidlertid også den metoden som har størst begrensninger når det gjelder hastighet og oppløsning. Til laboratoriebruk er det gjerne elektromagnetiske eller optisk-infrarøde systemer som gir høyest oppløsning og hastighet, men dette krever at forsøkspersonen må ha sensorer eller markører festet til kroppen. Til scenebruk og i interaktive systemer er mekaniske eller kinetiske systemer mest praktisk og stabilt, ettersom de åpner for små og mobile sensorløsninger.

I den siste delen av kapitlet så vi på kvalitative observasjonsteknikker, og da særlig Labanotasjon og Labans bevegelsesanalyse. Dette er metoder som har blitt utviklet for å beskrive bevegelser med utgangspunkt i det menneskelige øye og den menneskelige erfaringen. I noen sammenhenger vil dette være bedre enn de beste bevegelsessporingssystemene. Imidlertid vil disse metodene være mer avhengig av at det er en kvalifisert person som utfører nedtegnelsen, og presisjonsnivået i en slik analyse vil kunne variere mye.

Les mer

4. Visualisering av bevegelse

Fotografiske metoder

I forrige kapittel så vi på hvordan bevegelser kan registreres og lagres ved hjelp av forskjellige systemer. Det er mulig å spille av et slikt opptak og få en gjengivelse av den opprinnelige bevegelsen. En slik avspilling er imidlertid ikke spesielt godt egnet til sammenligning og representasjon av større mengder bevegelsesmateriale. Det gjelder dermed å finne én eller flere metoder for å visualisere bevegelser slik at de kan brukes til analyse og dokumentasjon.

Stillbilder, i form av fotografier eller et utsnitt fra en bevegelsessekvens, kan i noen tilfeller være en effektiv måte å representere en bevegelse på. Selv om et stillbilde bare viser en liten del av et bevegelsesforløp, kan det i noen tilfeller være nok intern dynamikk i et bilde til at man kan få en forståelse av bevegelsene som ble utført før og etter at bildet ble tatt. Ofte vil det allikevel være ønskelig å kunne vise hvordan bevegelsen utfoldet seg i både tid og rom, og da må man bruke andre representasjonsformer. I dette kapitlet skal vi se nærmere på forskjellige visualiseringsteknikker og hvordan de kan brukes for å studere musikkrelaterte bevegelser.

I forbindelse med utviklingen av fotografiet i andre halvdel av 1800-tallet ble det eksperimentert med ulike visualiseringsteknikker. Den britisk-amerikanske fotografen og bevegelsesforskeren Eadweard James Muybridge (1830–1904) er en av de tidlige pionerene på feltet med sine fotografier av hvordan dyr beveger seg. Han er særlig kjent for sine hestefotografier. På 1870-tallet kunne han vise at en hest i galopp har perioder der alle hovene er i luften samtidig, som vist i figur 12. Teknikken han brukte, ble kalt tidsseriefotografier. Han satte opp en rekke med kameraer med en lukkertid på 1/500 sekund. Utløsermekanismen i kameraene var koblet til kabler som var strukket over banen der hesten løp, slik at hesten utløste kameraet idet den passerte (Mozley, 1972). På den måten ble det tatt en serie med fotografier rett etter hverandre som til sammen gir en oversiktlig representasjon av bevegelsessekvensen.

På samme tid som Muybridge utførte sine fotografiske eksperimenter i California, holdt Étienne-Jules Marey (også 1830–1904) på med lignende studier i Paris. Han utviklet en teknikk som han kalte kronofotografi, eller ”bilder av tid”. En slik teknikk er strobofotografi, som er basert på å gjøre flere belysninger på den samme fotografiske platen. Hvis da personen eller dyret er i bevegelse, vil man kunne se denne bevegelsen i det endelige fotografiet. Et eksempel på et slikt strobofotografi av en flygende pelikan kan ses i figur 13 (Braun 1992).

Marey utviklet flere andre teknikker for å visualisere bevegelse i fotografiene. Én av disse kan ses i fotografiet av en gående mann i figur 14. Mannen har på seg en svart drakt med små refleksstriper på siden av drakten (Blake og Shiffrar 2007). Med sterk belysning vil disse stripene lyse opp, og bli synlige som striper når det gjøres mange eksponeringer etter hverandre på den samme fotografiske platen. På samme måte som i pelikanbildet er det mulig å få en fornemmelse av hvordan bevegelsen utfolder seg i både tid og rom.

Nesten hundre år etter Mareys eksperimentering med strobofotografi brukte den svenske psykologen Gunnar Johansson (1973) en lignende teknikk når han laget sine punktlysvideoer. Han festet reflekspunkter på forskjellige ledd på kroppen til forsøkspersonen og gjorde videoopptak med høy kontrast slik at bare punktene syntes. Ved det viste han hvordan vi oppfatter en redusert kinematisk representasjon av bevegelse. Denne teknikken har senere blitt brukt i en rekke forskjellige studier av bevegelse og menneskelig atferd, og har blitt videreført i moderne optisk-visuelle bevegelsessporingssystemer (se kapittel 3).

Videoanalyse

De forskjellige bevegelsessporingssystemene introdusert i kapittel 3 kan ta opp bevegelser som tall som kan plottes i en graf, eller brukes i statistisk analyse. Ett av problemene med en slik representasjon av bevegelser er imidlertid at de er basert på målinger av bestemte punkter på kroppen. Dette kan være hensiktsmessig hvis man ønsker å studere hvordan en bestemt kroppsdel beveger seg, eller hvordan bestemte ledd beveger seg i forhold til hverandre. Et videoopptak fanger derimot inn helheten, og selv om man bare får med to dimensjoner, og oppløsning og presisjon er lavere enn for andre bevegelsessporingssystemer, kan video være et nyttig redskap for å forstå mer av bevegelsen. De forskjellige visualiseringsteknikkene utviklet av Muybridge og Marey viser at fotografi eller video kan brukes til å studere forskjellige bevegelseskvaliteter. I resten av dette kapitlet skal vi se på forskjellige former for videoanalyse og visualisering av bevegelse fra et videomateriale.

Det har ingen hensikt å gå inn på spesifikk programvare her, siden utviklingen går så raskt at det ikke er mulig å gi en oppdatert oversikt. Det finnes imidlertid mange forskjellige programvarepakker tilgjengelig som muliggjør analyse fra et videomateriale. Generelt kan vi dele inn den programvaren som finnes i følgende kategorier:

• Overvåking: Det finnes en rekke programmer som tar opp video og gjør enkel kvantitativ videoanalyse basert på bevegelse. Slik programvare brukes til overvåking av for eksempel trafikkflyt og butikker.
• Sport og rehabilitering: Her er målet å finne måter å visualisere bevegelsen på slik at man kan se på endringer over tid og arbeide mot optimalisering av bevegelsene.
• Annotasjon: Dette er ofte beregnet på kvalitative observasjonsstudier, gjerne av atferd hos barn og voksne. Slike programmer gir muligheten til å spille av en videofil og skrive inn tekst langs en tidslinje.
• Programmering: Dette er åpne programløsninger som gjør det mulig å sette sammen forskjellige moduler for å skape et eget analyseprogram.

De to første kategoriene fokuserer hovedsakelig på kvantitative analyser, der målet er å få ut en tallbasert representasjon for videre behandling. Annotasjonsprogramvaren er ofte beregnet på kvalitative studier der kommentarer skrives ned mens man observerer en video. Den siste kategorien er den som er mest fleksibel, men den krever også at brukeren kjenner til noe programmering, for eksempel utviklingsverktøyene Matlab, Max/MSP/Jitter eller EyesWeb.

Alle disse programvarekategoriene kan være relevante å bruke i musikalsk sammenheng. Den største utfordringen er vanligvis å finne ut av hvordan man kan synkronisere forskjellige typer media og data. Ettersom de færreste analyseverktøyene som finnes er laget med tanke på musikalske anvendelser, er det også ofte dårlig støtte for lyd. For studier av musikk er det nødvendig at audio og video kan høres og ses samtidig, og at de er synkronisert. Tilsvarende kan det også være nyttig å kunne koble dette til en tradisjonell notasjonsform. Det har blitt utviklet flere forskjellige programvarepakker for analyse av musikkrelaterte bevegelser, slik som Camurri et al. (1999, 2004) og Jensenius et al. (2005). Noe av funksjonaliteten i disse programmene vil bli beskrevet i resten av dette kapitlet.

Digital video

Før vi ser på forskjellige analyse- og visualiseringsmetoder kan det være på sin plass å gi en kort innføring i digital video. På samme måte som en gammel filmrull er også en digital videofil en samling med stillbilder som spilles av etter hverandre. Hvis bildene spilles av med en hastighet på omtrent 25 bilder per sekund eller raskere, vil dette oppfattes som at bildet beveger seg (se figur 15). Hvert av disse bildene har en bestemt størrelse, og denne størrelsen angis gjerne i antall unike punkter eller piksler som finnes i høyden og bredden av bildet. Et bilde som oppgis til å ha 640 x 480 piksler, har da totalt 307 200 piksler. Det har lenge vært vanlig at fotografier, videobilder, TV- og dataskjermer var basert på forholdet 4:3. Nå har det blitt mer og mer vanlig å bruke andre forhold, og særlig bredformatet med forhold 16:9 har blitt standard i mange sammenhenger.

For å forstå hvordan man kan manipulere og analysere videofiler, er det viktig å huske på at et digitalt bilde egentlig bare er en samling av tall, det som gjerne kalles en matrise. Hvis vi bruker farger, består matrisen av fire plan. Hvert av disse planene inneholder en fargekomponent, og vanligvis er dette organisert med koden ARGB som står for alfa, rød, grønn og blå (se figur 15). Alfa-planet brukes til å definere gjennomsiktighet i bildet, mens hvert av de andre planene definerer hvor mye det er av den bestemte fargekomponenten i det endelige bildet. På samme måte som når man maler med farger er det blandingen av de forskjellige primærfargene som gir den endelige fargen vi opplever i et digitalt videobilde.

Oppløsningen til et bilde er også viktig. På samme måte som man snakker om at lyd gjerne registreres med 16-bits oppløsning, er det vanlig å registrere video med 8-bits oppløsning. Det vil si at hver piksel i hvert plan måles med en verdi som ligger mellom 0 og 255, der 0 er helt svart, og 255 er full fargegjengivelse. Det er mulig å lagre video med høyere oppløsning, men dette gjør at filstørrelsen øker tilsvarende, så her gjelder det å finne en balanse mellom tilfredsstillende oppløsning og lav filstørrelse.

Det siste begrepet som det er viktig å tenke på i arbeidet med video, er hastighet. Det er denne som definerer hvor fort bildene spilles av. I Europa brukes det en standard som heter PAL, og denne spilles av med 25 bilder per sekund. I USA og Japan brukes NTSC som spilles av med 30 bilder per sekund. High Definition Video (HDV) spilles av med 60 bilder per sekund.

Alle de nevnte faktorene (størrelse, plan, oppløsning og hastighet) er med på å påvirke filstørrelsen og hastigheten som avspilling og analyse kan gjøres i. Det finnes ingen regler for hva som er best, og man må gjerne prøve seg litt frem for å finne innstillinger som passer til ens eget bruk. Hvis man er interessert i å studere raske bevegelser, kan det være best å investere i et høyhastighetskamera og lagre filer med høy hastighet og lavere oppløsning. Hvis derimot et objekts plassering i rommet er viktig, kan det være verdt å ofre litt av hastigheten for å få en høyere oppløsning.

Alle som har forsøkt å eksportere en videofil fra et videoredigeringsprogram, vet at det finnes en rekke forskjellige formater å velge mellom. Man kan velge mellom å lagre i et format som bevarer all den opprinnelige informasjonen, eller et format som komprimerer videomaterialet. Best resultat får man ved å ikke komprimere, men det resulterer også i store datafiler. Valget må derfor gjøres på bakgrunn av hvor mye materiale man har, lagringskapasitet og kvaliteten man ønsker på analysen. Mange av komprimeringsstandardene har nå blitt så bra at det ikke blir merkbare forskjeller i analysen når man bruker komprimert videomateriale.

Generelt kan vi si at det finnes to hovedtyper av komprimering: temporal og spatial komprimering. Komprimeringsstandarder slik som MPEG-1, MPEG-2 og MPEG-4 er basert på temporal komprimering. Det betyr at man ser på forandringer mellom rammene i bildet over tid, og fjerner den informasjonen som er lik mellom rammene. Dette er den mest effektive formen for komprimering og gir også ofte et godt visuelt resultat. For analysebruk er imidlertid en slik komprimering ikke ideell. Mange av de mest vanlige videoanalysemetodene bruker nettopp endringen mellom rammer som utgangspunkt for analysen. Hvis komprimeringen allerede har fjernet mye informasjon fra videostrømmen, vil dette også kunne påvirke analyseresultatet.

For analyse er det ofte bedre å bruke en spatial komprimering som for eksempel Motion JPEG. Dette er et format som komprimerer hvert enkelt bilde separat. Det resulterer i større filer enn om man bruker temporal komprimering, men allikevel mye mindre enn ved ukomprimert video. En videofil med spatial komprimering er bedre egnet for å søke frem og tilbake, og å gjøre forskjellige typer bevegelsesanalyser.

Legg merke til at formater som QuickTime (.mov) og Audio Video Interleave (.avi) ikke sier noe om komprimeringen som er brukt. Disse formatene er bare en ”boks” som kan lagre video med mange forskjellige typer komprimeringer.

Videoopptak

Hvis man gjør videoopptak som skal brukes til dokumentasjon av musikk står man ganske fritt i forhold til kameraføring, vinkler og komposisjon. Da kan man jobbe med å fortelle en historie av det som skjer gjennom kameraet. Hvis materialet derimot skal brukes til systematisk analyse er det flere momenter man bør tenke over før man begynner opptaket. Det er ikke plass til å gi en utførlig beskrivelse av alle disse momentene her, men vi skal gå gjennom noe av det som er viktig å huske på når man gjør opptak som skal brukes i analyse.

Stativ: Bruk alltid stativ. Videomateriale tatt opp med håndholdt kamera blir sjelden bra, og kan være vanskelig å bruke i senere analyser. Det er bedre å bruke et ordentlig stativ slik at man er sikker på å få et stødig bilde uten bevegelse i selve bildet.

Kamera: Bruk det beste kameraet du har tilgang til, og gjerne flere. Ofte kan det være fint å gjøre opptak både forfra og fra siden. Hvis man gjør opptak med flere kameraer, kan opptakene synkroniseres ved å klappe på begynnelsen av opptaket. Da kan man senere sammenstille opptakene i et redigeringsprogram ved å lytte etter klappet. Det er ofte mest stabilt å gjøre opptak på kassett eller minnekort i kameraet, men ettersom datamaskiner hele tiden blir raskere og får større lagringskapasitet, kan det være et alternativ å ta opp video direkte på maskinen.

Zooming: Hovedregelen er å zoome inn så mye som mulig på det man ønsker å studere. Hvis man bare er opptatt av overkroppen til en pianist, er det ikke nødvendig å filme føttene og hele flygelet. Ved å få et så nært bilde som mulig er det større sjanse for å få med seg detaljer, samt å fjerne unødvendig informasjon fra bildet. Men husk at musikere og dansere ofte flytter seg rundt på scenen; tenk derfor gjennom opptaket på forhånd for å få med det som ønskes i bildet. Om man velger å stille inn kameraet slik at det dekker hele scenen, eller velger å zoome inn på ett bestemt område, avhenger av hva man ønsker å observere. Som nevnt over er det ikke ideelt å flytte kameraet for mye frem og tilbake ettersom det kan gjøre det vanskelig å analysere materialet. En løsning kan være å bruke to kameraer, ett som tar helheten og ett som brukes til nærbilder.

Orientering: Tenk over hvilken orientering kameraet skal ha. Hvis man skal filme personer som står oppreist, kan det lønne seg å snu kameraet 90 grader, slik at man kan utnytte høyden i bildet. Det er mulig å snu på bildet i mange videoprogrammer slik at det blir riktig på skjermen til slutt.

Autofokus: Hvis det er mulig å skru av autofokus på kameraet, vil det ofte være best. De fleste nye kameraer har en autofokus-funksjon som fungerer veldig bra. Problemet er at kameraet hele tiden vil forsøke å finne et fokuspunkt på det som til enhver tid befinner seg midt i bildet. Hvis man filmer en musiker som beveger seg litt frem og tilbake i bildet kan man risikere at kameraet hele tiden flytter fokus mellom forgrunn og bakgrunn. Dette er plagsomt for øyet, og det vanskeliggjør analysearbeidet. Hvis det er mulig kan det være best å sette fokus manuelt på ett punkt på scenen, der man vet at mesteparten av bevegelsene kommer til å skje.

Lys: De fleste har ikke tilgang på profesjonelt studiolys, men det kan allikevel være lurt å tenke på lyssettingen når man skal gjøre et videoopptak. Hovedregelen er å bruke alt det lyset man har, men pass på at det blir jevnt. Har du bare én stor lampe, så sett den slik at lyset kommer mest mulig forfra. Har du tilgang på to lamper, kan det være lurt å sette dem på hver sin side av personen som skal filmes. Da vil personen bli godt synlig, samtidig som skygger i bakgrunnen forsvinner. ”Kreativ” lyssetting er ikke tingen når man ønsker å gjøre videoanalyse, målet er å få frem mest mulig detaljer. Pass for øvrig på at det ikke blir for mye skygge på gulvet eller veggen bak personen ettersom dette også kan være med på å påvirke analyseresultatet.

Bakgrunn: Man bør forsøke å få til en så nøytral bakgrunn som mulig. Det viktigste er å unngå bevegelige elementer i bakgrunnen, for eksempel personer som går forbi. Det kan også være lurt å unngå en bakgrunn med mye visuell ”støy”, for eksempel en bokhylle. Det beste er å bruke en ensfarget vegg som bakgrunn, eller spenne opp et lerret eller laken. Fargen betyr ikke så mye, men det blir mindre skygger på en mørk bakgrunn, så et svart lerret eller sceneteppe kan være et godt alternativ. Hvis man har mulighet til det, kan det være smart å filme litt av bakgrunnen i noen sekunder før man begynner selve opptaket. Et slikt bakgrunnsbilde kan brukes til å fjerne bakgrunnen i et videoanalyseprogram.

Etter å ha gjort et videoopptak er neste skritt å få materialet inn på en datamaskin. Denne prosessen avhenger av kameratype og opptaksmåte, og er vanligvis godt beskrevet i manualene som følger med utstyret. Deretter kan det lønne seg å klippe til videofiler og navngi dem slik at det er enkelt å finne frem til det man ønsker. I denne forbindelse er det lurt å etterbehandle videomaterialet før man går i gang med analysen. Det er en rekke forskjellige metoder for dette, men her vil vi bare se på noen av de viktigste metodene.

Kontrast og lysstyrke: Det er en fordel å ha en best mulig balanse mellom de mørkeste og lyseste delene av bildet. De fleste videokameraer stiller inn dette automatisk ved opptak, men det kan være nødvendig å justere dette litt når man ser det endelige opptaket på skjermen. Særlig gjelder dette hvis man har gjort opptak i et mørkt lokale, for eksempel under en konsert, og trenger å få justert bildet slik at det fremstår lysere.

Farger: Det er mulig å justere fargebalansen i bildet hvis opptaket av en eller annen grunn fremstår med andre farger enn det man husker fra opptakssituasjonen. Tilsvarende kan man velge å justere fargemetningen i bildet, slik at man får enten svakere eller sterkere farger. Hvis man ikke skal bruke fargeinformasjonen i analysen, kan man vurdere å lagre videoen i gråtoner. Dette resulterer i mindre videofiler, raskere prosessering og ofte et bedre visuelt resultat, noe som igjen gir bedre analyse.

Beskjæring: Ofte viser det seg at man ikke har zoomet inn nok på personen man ønsker å observere. Da kan det være en fordel å gjøre dette i ettertid ved å beskjære bildet digitalt før man går videre med analysen.

I dette avsnittet er det vist hvordan man kan gjøre et godt videoopptak, og hvordan man i etterkant kan behandle bildet slik at det er best mulig egnet for videre analyse. I de etterfølgende avsnittene skal vi se på forskjellige metoder for å visualisere og analysere et digitalt videomateriale.

Tidsseriebilder

Ettersom vi omgir oss med stadig større mengder digital video, har det blitt viktig å utvikle teknikker for å presentere innholdet i videomaterialet på en enkel og oversiktlig måte. I første omgang er målet å få en oversikt over materialet som er samlet inn. Da kan man bruke tidsseriebilder som viser stillbilder trukket ut fra videoen langs en tidslinje. Teknikken minner om Muybridges tidsseriefotografier, og vil kunne gi en idé om bevegelsene i sekvensen. Tidsseriebilder er tilgjengelig i de fleste videoredigeringsverktøy, og gir brukeren mulighet til å navigere frem og tilbake i materialet.

Figur 16 viser et tidsseriebilde av de første 32 sekundene av en bevegelsessekvens hvor en danser beveger seg fritt til musikk. Dette eksemplet er hentet fra et videoopptak av en observasjonsstudie av fridans til musikk som blir nærmere beskrevet i kapittel 6. Vi vil bruke denne videoen som utgangspunkt for mange av eksemplene i dette kapitlet. I tidsseriebildet i figur 16 er det hentet ut ett stillbilde for annethvert sekund av sekvensen. Der hvor danseren står stille, slik som i begynnelsen av sekvensen, får vi flere bilder som er tilnærmet like. Her kunne man med fordel ha brukt et enda lengre tidsintervall mellom bildene for å få inn mer informasjon i tidsseriebildet. Tilsvarende ser vi at det kunne vært en fordel å ha et raskere oppdateringsintervall i de partiene der det er raske bevegelser.

Et alternativ til slike tidsseriebilder er hendelsesseriebilder. Istedenfor å plukke ut bilder basert på tid, er et hendelsesseriebilde laget ved å trekke ut bilder basert på hvor stor endring det er mellom bildene (Teodosio og Bender 1993). Et eksempel på et hendelsesseriebilde av fridans til musikk, er vist i figur 17. I dette hendelsesseriebildet vises flere enkeltbilder fra den delen av sekvensen der det er stor forandring i bevegelsene, og færre enkeltbilder der det er lite forandring. Et slikt hendelsesseriebilde er på mange måter mer interessant enn et tidsseriebilde ettersom man ser mer av bevegelsesinnholdet i sekvensen. Et problem er imidlertid at man mister følelsen av tid når bildene ikke følger en bestemt tidskode. Vi ser altså de viktigste stillbildene, men klarer ikke å se for oss hvordan disse utfoldet seg i tiden.

Det har blitt utviklet flere metoder for å lage sammensatte hendelsesseriebilder. Uchihashi et al. (1999) utviklet en metode for å sette sammen en tegneserielignende fremstilling av en videosekvens. Dette ble gjort ved å tilpasse størrelsen på hvert av enkeltbildene som var med i sekvensen etter hvor stor betydning dette utsnittet hadde i helheten. Girgensohn et al. (2001) utviklet en metode for å lage hierarkiske oversikter over bildesekvenser. Dette gjør at man kan manøvrere i en videofil ved å velge det hierarkiske nivået man ønsker. Begge disse metodene er imidlertid basert på uttrekk av statiske bilder fra en videosekvens, og gir ingen informasjon om bevegelsen som skjer i og mellom bilderammene.

En metode som i større grad fokuserer på å visualisere bevegelser som skjer i et videomateriale er de automatiske storyboards utviklet av Niikura et al. (1999) og Goldman et al. (2006). Her lager datamaskinen ett oppsummeringsbilde fra en videosekvens, hvor kameraforflytning og personers bevegelser er tegnet inn med piler. Resultatet er en visualiseringsform av videomaterialet som i stor grad tar hensyn til bevegelsesinnholdet. I de etterfølgende avsnittene skal vi se på forskjellige teknikker hvor bevegelse i bildet ligger til grunn for visualiseringen.

Bevegelsesbilder

En metode for å vise bevegelser i et videomateriale er å lage en video med bevegelsesbilder. Ettersom en video er bygget opp av enkeltbilder, som igjen består av tallmatriser, er det mulig å gjøre forskjellige matematiske operasjoner på disse bildene. Et bevegelsesbilde er laget ved å subtrahere ett bilde fra det foregående bildet. Da ender man opp med et bilde der bare de pikslene som er forskjellige mellom de to subtraherte bildene, synes. Et eksempel på et slikt bevegelsesbilde kan ses i figur 18.

Ofte vil et ubehandlet bevegelsesbilde inneholde visuell ”støy” i form av enkeltstående piksler i bildet. Dette kommer av endringer i lys eller problemer med komprimering i videoen. Det er flere måter å redusere slik støy i et bevegelsesbilde på. Én måte er ved å preprosessere den originale videoen ved å justere kontraster og farger slik at man får et renere originalbilde. En annen måte er ved å postprosessere bevegelsesbildet med et filter som fjerner enslige piksler. Et eksempel på forskjellige typer filtrering er vist i figur 19.

Senere skal vi se på hvordan det er mulig å bruke bevegelsesbilder som utgangspunkt for kvantitativ analyse. Bevegelsesbilder kan også være interessante å bruke som utgangspunkt for observasjon og kvalitativ analyse. Én av fordelene med å se på et bevegelsesbilde fremfor den originale videoen er at man lettere kan legge merke til hvor i bildet bevegelsen skjer.

Bevegelseshistoriebilder

Et bevegelsesbilde viser endringen mellom to bilder i en videostrøm, men det er også mulig å lage bevegelseshistoriebilder som viser endringen av flere bilder fra en sekvens (Camurri et al. 2003). Én måte å gjøre dette på er ved å bruke video-feedback, der ett bevegelsesbilde multipliseres med en faktor og legges til det neste bildet som kommer i sekvensen. Dette skaper en ”hale” på bevegelsen som effektivt viser hvordan bevegelsen har utviklet seg over tid. Eksempler på noen forskjellige typer bevegelseshistoriebilder er vist i figur 20 (videoeksempel).

En annen måte å lage slike bevegelseshistoriebilder på er ved å bruke en teknikk som minner om Mareys strobofotografi (se figur 13). Istedenfor å bruke feedback til å skape bevegelseshistorien, plukker man ut enkeltbilder fra videostrømmen som settes sammen til ett bilde. Antallet enkeltbilder som tas med, og hvor stor tidsavstand det er mellom dem, vil avgjøre hvordan bevegelseshistoriebildet ser ut. Eksempler på slike bevegelseshistoriebilder er vist i figur 21 (videoeksempel). Her er det også brukt et kantdeteksjonsfilter som finner omrisset til danserens kropp. Resultatet er at man ser en stilisert utgave av kroppen i tillegg til spor av bevegelsen.

En av utfordringene når man lager et bevegelseshistoriebilde, er å finne det riktige tidsvinduet til bevegelseshistorien. Med tidsvindu menes her den lengden i tid som analysen gjøres over. Hvis tidsvinduet er stort, vil man få med mer av bevegelsen, men man vil også oppleve at man mister detaljer ettersom bildet blir mer diffust. Dette er spesielt merkbart hvis det er mye bevegelse i sekvensen, slik man ser i noen av eksemplene i figur 20. Tilsvarende vil et for lite vindu kunne gi liten visuell effekt ettersom man ikke rekker å få med særlig mye av historien. En løsning på dette problemet kan være å justere lengden på tidsvinduet etter hvor mye bevegelse det er i bildet. Problemet er da at man ikke vil ha noe referansepunkt ettersom tidsenheten for bevegelseshistorien hele tiden forandrer seg. Ofte er den beste løsningen å prøve seg frem til man finner et tidsvindu som passer til materialet man studerer.

Erfaringsmessig egner bevegelseshistoriebilder seg best til å visualisere korte bevegelsessekvenser på opp til ti sekunder. Utover dette blir bildene vanskelige å tolke hvis det er mye bevegelse i sekvensen. En metode for å visualisere lengre bevegelsessekvenser kan være å lage tidsseriebilder hvor flere bevegelseshistoriebilder vises etter hverandre langs en tidslinje. Ett av problemene med tidsseriebilder laget fra den vanlige videostrømmen, er at man ikke visualiserer selve bevegelsen, men bare stillbilder fra videomaterialet. Hvis man derimot bruker bevegelseshistoriebilder som utgangspunkt for tidsseriebildet, vil man kunne få begge deler, både en visualisering av bevegelsen i bildet og en synliggjøring av hvordan bevegelsene utvikler seg over tid. Et eksempel på dette er vist i figur 22. Istedenfor å bare vise statisk informasjon om danserens posisjoner (se figur 16 og 17) ser man her hvordan hun faktisk beveger seg.

Ved å kombinere flere bevegelseshistoriebilder i ett bilde er det mulig å gjøre studier der man sammenligner ulike bevegelsesmønstre. Figur 23 (video) viser et eksempel på en fremstilling av tre dansere som beveger seg til det samme lydmaterialet.

I dette avsnittet er det vist hvordan bevegelsesbilder, bevegelseshistoriebilder og tidsserier av bevegelseshistoriebilder kan være praktiske visualiseringsformer for å vise bevegelser fra et videomateriale. Problemet er at ingen av disse metodene viser hvordan bevegelsene utvikler seg over lengre tidsstrekk. For lengre sekvenser kan det derfor være bedre å se på andre visualiseringsformer. I neste avsnitt skal vi se nærmere på en slik metode, nemlig bevegelseskurver.

Bevegelseskurver

Når vi arbeider med lydanalyse, er det vanlig å visualisere lydsignalet ved hjelp av bølgeformer eller spektrogrammer, slik som vist i figur 24. Bølgeformen viser hvordan amplituden til lyden forandrer seg over tid, og kan derfor brukes til å fortelle noe om hvordan lydstyrken endrer seg. Spektrogrammet gir på den andre siden informasjon om frekvensinnholdet i lyden, noe som kan brukes for å se på hvordan grunntonen og klangfargen til lyden endrer seg. Til sammen gjør disse to visualiseringsformene det mulig å få en oversikt over den kontinuerlige utviklingen av en lyd over tid.

Bevegelseskurver er en teknikk for å lage en tidsbasert fremstilling av et videomateriale med utgangspunkt i bevegelsesbilder (Jensenius 2006). Denne teknikken er inspirert av Mareys strobofotografier, og reduserer videostrømmen slik som vist i figur 25. Metoden tar utgangspunkt i at et videobilde er en matrise med størrelse M x N. M angir her antall kolonner, og N angir antall rader i matrisen. For eksempel vil et bilde med 640 x 480 piksler ha M = 640 og N = 480. For en horisontal bevegelseskurve begynner man med å regne ut gjennomsnittsverdien for hver rad i matrisen. Dette gir en ny matrise med størrelsen 1 x N, altså én piksel bred, og N piksler høy. Hvert punkt i denne matrisen kan ses på som en reduksjon av hver rad i bevegelsesbildet. Når disse 1 x N-matrisene settes etter hverandre, får man en representasjon av bevegelsen over tid. Tilsvarende vil man kunne lage en vertikal bevegelseskurve ved å beregne gjennomsnittsverdien for hver kolonne i matrisen; det gir en M x 1-matrise som kan vises over tid.

Én måte å se bevegelseskurvene på er at man trykker sammen hvert bevegelsesbilde i en videosekvens til en tynn stripe som så settes sammen over tid. Legg merke til at man ”mister” én dimensjon i denne prosessen. For en horisontal bevegelseskurve blir bare den vertikale bevegelsen representert, og tilsvarende vil man for en vertikal bevegelseskurve bare få en representasjon av den horisontale bevegelsen. Derfor er det viktig å tenke gjennom i hvilken retning bevegelsene i videoen utføres. Hvis det er mye horisontal bevegelse, bør man lage en vertikal bevegelseskurve, og hvis det er mye vertikal bevegelse, bør man lage en horisontal bevegelseskurve. Er man usikker, er det mulig å lage både horisontale og vertikale bevegelseskurver, for etterpå å velge én eller begge for videre analyse.

På samme måte som man må lære seg å tolke spektrogrammer av lyd, tar det gjerne noe tid å venne seg til hva en bevegelseskurve representerer. Bevegelseskurven i figur 26 er laget med utgangspunkt i en video av fem minutter med dansebevegelser til musikk. Her løper tiden fra venstre mot høyre, det vil si at begynnelsen av sekvensen er representert til venstre og slutten til høyre. Ettersom dette er en horisontal bevegelseskurve, viser den danserens vertikale bevegelse. Det vil si at håndbevegelser som går opp og ned vil komme tydelig frem som kurver som beveger seg opp og ned i bildet. Hvis hendene derimot bare beveger seg ut til siden vil dette ikke være synlig i bildet, bortsett fra at man kan se at det er aktivitet i det området hvor hendene beveger seg.

For å orientere seg i en bevegelseskurve kan det være lurt å se etter hvor det ikke er bevegelser, altså der hvor det er hvitt i bildet. Videoen som figur 26 er laget fra, er en dansesekvens på totalt fem minutter og består av fem forskjellige musikalske utsnitt som hver er repetert tre ganger. Ved å se nøye på bevegelseskurven er det mulig å identifisere både de fem forskjellige musikalske utsnittene, som i figuren også er markert med vertikale hvite streker, samt de tre repetisjonene for hvert utsnitt. Med litt trening er det enkelt å se dette direkte fra bevegelseskurven, og det er også mulig å se forskjeller i bevegelsesmønstre, for eksempel at danseren hovedsakelig beveger den øvre halvdelen av kroppen i begynnelsen (seksjon A), mens hun bruker hele kroppen mot slutten av sekvensen.

I motsetning til i et spektrogram der fargene ofte brukes for å vise energinivået i de forskjellige frekvensbåndene, vil fargene i en bevegelseskurve komme fra den originale videoen. Hvis ikke fargene spiller en viktig rolle, vil bevegelseskurver i gråtoner eller svart/hvitt ofte være enklere og klarere å se på. Noen ganger kan det imidlertid være praktisk å bruke fargene for å identifisere spesielle deler i bildet. I dansevideoen som er vist her, bruker danseren én rød og én gul hanske, noe som gjør at man i fargeversjoner av disse bevegelseskurvene kan bruke denne fargekodingen til å følge sporene av hver av hendene i tid og rom.

Bevegelseskurver i komparative studier

Bevegelseskurver er en effektiv måte å få et raskt overblikk over innholdet i en videofil på. Dette kan være nyttig for blant annet komparative studier. Figur 27 (video) viser bevegelseskurver for tre dansere som beveger seg til det samme musikalske materialet (fem minutter). Her får man raskt et overblikk over forskjeller og likheter i bevegelsene til danserne. Dette gjelder både hvor mye de beveger seg på forskjellige steder, og distribusjonen av bevegelsen i vertikal retning. I den midterste bevegelseskurven nummer kan man se at denne danseren beveget seg raskere enn de to andre danserne i de to siste musikalske eksemplene. Det er også mulig å legge merke til hvordan den tredje danseren utførte større armbevegelser, særlig i begynnelsen av sekvensen.

Figur 28 viser de første 40 sekundene av de tre dansesekvensene vist i figur 27. Her kan man se det første musikalske eksemplet, repetert tre ganger. Startpunktet for hver av repetisjonene er markert med svarte linjer. Disse bevegelseskurvene viser flere detaljer og gjør det mulig å følge konturene til hendene og hodene til danserne. Man kan for eksempel se at den første danseren brukte ganske like bevegelser i de tre repeterte utsnittene: én stor, langsom oppadgående bevegelse i armene, etterfulgt av et nedslipp. Slike strukturelle forskjeller kan tydelig ses i bevegelseskurvene, og kan senere brukes som utgangspunkt for en detaljert studie av den originale videoen.

Bevegelseskurver av instrumentalister

Bevegelseskurver kan brukes til mer enn å studere dansebevegelser. Figur 29 viser en bevegelseskurve og et spektrogram laget fra et videoopptak av en fiolinist som spiller en liten improvisasjon på 42 sekunder. Den første halvdelen av improvisasjonen er basert på lange, utholdte toner, mens avslutningen er preget av en serie raske, korte toner. Hovedlinjen som man kan se i bevegelseskurven kommer fra opp- og nedadgående strøkbevegelser av armen med fiolinbuen. I begynnelsen er det bare denne hovedlinjen som er synlig, noe som tyder på at utøveren står nesten stille med resten av kroppen. I andre halvdel kan man tydeligere se at hele kroppen er i bevegelse sammen med strøkbevegelsene. Ved å sammenligne bevegelseskurven og spektrogrammet kan man se hvilke bevegelser som er lydproduserende, samt legge merke til hvilke ikke-lydproduserende bevegelser som er tilstede i utøvelsen. Vi skal se nærmere på forskjellige typer musikkrelaterte bevegelser hos utøvere i kapittel 5.

Et annet eksempel på bevegelseskurver av instrumentalister kan ses i figur 30. Dette er et laget fra et videoopptak av en perkusjonist som spiller Fiolinkonsert i a-moll BWV 1041 av Bach på xylofon. I bevegelseskurven vises regulariteten i bevegelsesmønsteret gjennom stykket og hvordan det sammenfaller med lyden. Fraseringsbevegelser på utvalgte steder i forløpet, samt vektforflytning i føttene, kan også leses ut av kurven. Sekvensen avsluttes med et stort håndløft idet utøveren går tilbake til grunnposisjon.

Som disse eksemplene viser, kan bevegelseskurver være et effektivt hjelpemiddel for å visualisere bevegelser fra et opptak av instrumentalister. Dette kan brukes for å analysere fremføringen, men det kan også brukes av utøvere for å studere egen teknikk og spillestil.

Bevegelseskurver av musikkvideoer

Én av fordelene ved bevegelseskurver er at det er et verktøy for å visualisere bevegelser i lange videosekvenser. For å gjøre dette, kreves det et opptak gjort med et kamera som står i ro på stativ. Da vil bevegelsesbildet, og dermed også bevegelseskurven, gjengi bevegelsene til personen som beveger seg i bildet.

Men hva skjer hvis man forsøker å lage bevegelseskurver fra et videomateriale der det er kamerabevegelse, zooming, panorering og klipping mellom forskjellige kameravinkler? Figur 31 viser to bevegelseskurver av musikkdokumentarfilmen Bring on the Night av Sting (1985). Den øverste kurven representerer hele filmen (1 time og 40 minutter) og fremstår som fragmentert og visuelt vanskelig å forholde seg til. Den nederste kurven viser de første fem minuttene, og her er det i større grad mulig å se noe av strukturen og innholdet i filmen. Legg særlig merke til hvordan de lange inn- og utzoomingssekvensene i begynnelsen er tydelige, men også den harde klippingen mellom forskjellige opptak. Når man i tillegg kan se fargene, fungerer en slik fremstilling godt som et navigasjonsverktøy.

Figur 32 viser bevegelseskurver laget fra konsert-DVD-en Minimum–Maximum av Kraftwerk (2005). Her kan man tydelig se hvordan de forskjellige bildeklippene er lagt ut i et strukturert mønster som følger det musikalske innholdet. Det er dermed mulig å bruke bevegelseskurvene som utgangspunkt for å analysere form og struktur i lyd og bilde.

Et eksempel på en type videomateriale som ikke egner seg så godt til å lage bevegelseskurver, kan ses i figur 33. Dette er fra en konsert-DVD der Pierre Boulez dirigerer Chicago symfoniorkester i en fremføring av Alban Bergs Lulu (Boulez 2000). Produksjonen er typisk for orkestermusikk, her er det bilder av hele orkesteret på scenen med innklippede detaljbilder av musikerne. De mange innklippene gjør at bevegelseskurvene viser kuttene og ikke bevegelsene i bildet. I tillegg er lyssetting og farger uforandret gjennom hele videoen, noe som gjør at bevegelseskurven ser monoton ut. I kurven som viser de første fem minuttene, kan man allikevel ane strukturen i konserten, hvor titlene er, zooming og panorering, samt nærbilder av solisten. På denne måten kan man si at bevegelseskurvene er representative for innholdet i videoen.

Disse eksemplene har vist at det er mulig å bruke bevegelseskurver som utgangspunkt for både navigasjon og analyse av videomateriale der det både er bevegelig kamera og mange bildeskift. Da vil bevegelseskurvene gi mest informasjon om bevegelsene i kamera. Dette vil allikevel kunne gi en oversikt, og hjelp til å navigere i store videofiler.

Bevegelseskurver i andre sammenhenger

Bevegelseskurver ble opprinnelig utviklet som en metode for å visualisere forskjellige typer musikkrelaterte bevegelser, men har etter hvert også blitt tatt i bruk for å studere andre typer bevegelser. Blant annet har en forskningsgruppe ved NTNU brukt bevegelseskurver for å studere såkalte urolige bevegelser hos barn med tanke på å kunne identifisere symptomer på cerebral parese (Adde et al. 2009). Ved det medisinske fakultetet ved Universitetet i Oslo har metoden blitt brukt for å studere atferden til rotter med og uten ADHD (Sagvolden et al. 2005). Bevegelseskurver og andre former for videoanalyse har vist seg å være en effektiv måte å trekke ut bevegelsesmønstre fra videomaterialet av rottene. Figur 34 viser en rotte i ett av forsøksburene (video), og figur 35 viser bevegelseskurver for tre forskjellige rotter med og uten symptomer på ADHD. Bevegelseskurvene viser hvordan de to rottene med forskjellige former for hyperaktivitet (SHR og WKY ADD) beveger seg mer ukontrollert enn kontrollrotten (WKY).

Kvantitativ videoanalyse

Tidligere i dette kapitlet har vi sett på forskjellige former for visualisering av bevegelser med utgangspunkt i transformasjon (bevegelsesbilde og bevegelseshistoriebilder) og reduksjon (bevegelseskurver) av den originale videoen. Men det er også mulig å gjøre kvantitative analyser ved å trekke ut forskjellige egenskaper fra videobildet. Dette har etter hvert utviklet seg til å bli et stort forskningsområde, og det finnes en rekke forskjellige teknikker for å gjøre dette. Her skal vi se på noen metoder som egner seg til studier av musikkrelaterte bevegelser.

Mange kvantitative videoanalyseteknikker bruker bevegelsesbilder som utgangspunkt for videre uttrekk av egenskaper. På samme måte som et vanlig videobilde er også et bevegelsesbilde en matrise som består av tall som det kan gjøres forskjellige matematiske operasjoner på. Den enkleste beregningen er å finne bevegelsesmengden fra bevegelsesbildet. Dette kan gjøres ved å telle opp antall aktive piksler i bildet, og dele på det totale antallet piksler. Resultatet er en tallverdi mellom 0 og 1, der 0 betyr at det ikke er noe bevegelse i det hele tatt, mens 1 betyr at det er bevegelse over alt i bildet. Disse verdiene kan så plottes som en graf som illustrerer hvor mye bevegelse det er i en videostrøm over tid.

Figur 36 viser bevegelsesmengden som er beregnet fra dansesekvensen som ble beskrevet tidligere i dette kapitlet. Den lysere grafen viser en ufiltrert versjon av bevegelsesmengden, og den mørkere grafen viser en filtrert versjon av de samme tallene. På grunn av visuell støy i bildet, er det vanlig å måtte filtrere dataene for enklere å kunne se bevegelseskonturene. En slik graf illustrerer hvor mye bevegelse det er i de forskjellige delene av en bevegelsessekvens, og kan brukes som utgangspunkt for videre analyser.

Ved å sammenligne grafen av bevegelsesmengden i figur 36 med bevegelseskurven av det samme videomaterialet i figur 26, ser vi at de er forskjellige fremstillinger av det samme materialet. Mens bevegelsesmengden gir er et uttrykk for hvor mye bevegelse det er i bildet, gir bevegelseskurven i tillegg informasjon om hvilken del av kroppen som personen beveger på. Dette kan være en fordel i komparative studier, og til visualisering av bevegelse. Bevegelsesmengden egner seg bedre til kvantitative studier. Her kan man beregne for eksempel gjennomsnitt og variasjon i bevegelse fra bevegelsesmengden.

Med utgangspunkt i bevegelsesbildet kan vi også finne bevegelsesareal og bevegelsessentrum. Som vist i figur 37 er bevegelsesarealet størrelsen til en boks som trekkes rundt bevegelsesbildet. Dette relaterer seg til det vi kalte handlingsrom i kapittel 2. Bevegelsessentrum beregnes ved å finne midtpunktet ved hjelp av diagonalene mellom hjørnene i boksen som angir bevegelsesarealet.

Fra det originale videobildet kan man finne kroppsmengde, kroppsareal og kroppssentrum (figur 37). Kroppsmengden finnes ved å se hvor mange piksler kroppen dekker av bildet. Kroppsarealet er størrelsen på boksen som kan trekkes rundt kroppen i bildet, og er dermed relatert til det som ble kalt kroppsrom i kapittel 2. Kroppssentrum er punktet som ligger der diagonalene krysses i boksen som angir kroppsarealet.

Til sammen sier disse seks målene noe om størrelse og utstrekning til både kropp og bevegelse:

• Bevegelsesmengde
• Bevegelsesareal
• Bevegelsessentrum
• Kroppsmengde
• Kroppsareal
• Kroppssentrum

Videre arbeid med et slikt datamateriale forutsetter erfaring med bruk av regneark eller statistikkprogramvare. Da vil man kunne plotte tallene som grafer, og beregne ulike statistiske mål: gjennomsnitt, standardavvik, osv. Det er ofte vanlig å kombinere de ulike målene. Ett eksempel er å se på forholdet mellom kroppsareal og bevegelsesareal. Da kan man finne hvor i bildet personen står, og hvor i bildet bevegelsen skjer.

Ettersom de kvantitative analysene som er nevnt her kan kjøres i sanntid, er det mulig å bruke tallmaterialet til kontroll av lyd eller bilde. Figur 38 (video) viser et bilde fra en oppføring av stykket Whiteness I Remember på Blå i Oslo i desember 2005. Dette var et interaktivt stykke som ble utviklet sammen med Åshild Ravndal Salthe (dans) og Maria Fonneløp (sang). Ved hjelp av et videokamera og selvutviklet programvare ”spilte” danseren egen lyd i improvisasjon med sangeren. Her ble massesentrum, kroppsareal og bevegelsesmengde brukt for å styre parametre i den elektroniske lyden. I tillegg brukte vi 3 x 3 virtuelle soner der danseren kunne styre forskjellige lydhendelser separat i hver sone.

Metodene over tar utgangspunkt i bevegelsesbildet eller et gråtonebilde. En annen metode som ofte brukes i videoanalyse, baserer seg på fargene i bildet. Her kan man velge bestemte farger som man ønsker å følge. Ved å definere fargen til for eksempel hender og hode som egne objekter, kan man se på hvordan de forflytter seg over tid. Dette krever at det er stor forskjell på forgrunn og bakgrunn i bildet, og at objektene man følger ikke overlapper. I visuelt komplekse videobilder kan slik fargegjenkjenning være komplisert, særlig hvis fargene endrer seg over tid. I musikalsk sammenheng kan fargebasert videoanalyse være problematisk, særlig i konsertsituasjoner der scenelyset endres hele tiden. I slike sammenhenger vil videoanalyse som tar utgangspunkt i bevegelsesbilder eller gråtonebilder være mer stabile.

Selv om videoanalyse er en av de mest attraktive og enkelt tilgjengelige utgangspunktene for bevegelsesanalyse, har den begrensninger og uløste problemer. Alle teknikkene som er beskrevet her, reduserer det originale videomaterialet til en tallstrøm. Man må derfor gå tilbake til den opprinnelige videoen for å ha et referansepunkt å tolke dataene ut fra. Det er også viktig å balansere de forskjellige teknikkene opp mot hverandre, og velge den eller de metodene som passer best til det man ønsker å beskrive i videomaterialet.

Sammendrag

Dette kapitlet har vist forskjellige teknikker for å visualisere bevegelser. Én av hovedutfordringene er å finne egnede former for å synliggjøre bevegelser både i tid og rom. Eksempler på slike metoder er tidsseriebilder, bevegelsesbilder, bevegelseshistoriebilder og bevegelseskurver. Til sammen kan disse visualiseringsteknikkene vise bevegelsessekvenser som varer fra et par sekunder til flere timer. Kvantitativ videoanalyse kan gi informasjon om forskjellige egenskaper til kropp og bevegelse: kroppsmengde, kroppsareal, kroppssentrum, bevegelsesmengde, bevegelsesareal og bevegelsessentrum. Disse målene kan brukes videre til plotting og statistisk analyse.

Les mer

5. Bevegelser hos utøvere

Musikkrelaterte bevegelser

Vi kan grovt sett dele inn i tre grupper som utfører musikkrelaterte bevegelser: musikere, dirigenter og dansere. Her skal vi begynne med å se på bevegelsene hos musikere, med fokus på de funksjonelle kategoriene lydproduserende handlinger, støttebevegelser, lydakkompagnerende bevegelser og kommunikative bevegelser.

Bevegelsene til dirigenter kan ses på som lydkoordinerende, ettersom de ikke direkte leder til lydproduksjon; de er derimot viktige for organiseringen og koordineringen av lydproduserende bevegelser hos musikerne. Vi skal ikke se på dirigentbevegelser i denne boken, men interesserte lesere kan finne mye litteratur i for eksempel Nakra (2000), Kolesnik og Wanderley (2004) og Gambetta (2005). Den teatralske funksjonen til dirigenters bevegelser er beskrevet av blant annet Small (1998).

Bevegelsene til dansere er gjerne lydakkompagnerende ettersom de følger etter eller kontrasterer med den musikalske lyden. Selv om det kan være mange likheter, er det viktig å skille mellom dansebevegelser som utføres av utøvere og av publikum. En danseutøver har som mål å kommunisere med publikum gjennom sine bevegelser. Publikums dansebevegelser, for eksempel på en konsert eller et utested, er et resultat av en interaksjon med musikken som utøves av andre. Målet med publikums dansebevegelser er individuell tilfredsstillelse og kommunikasjon med personene i umiddelbar nærhet. Ulike typer dansebevegelser blir omtalt i kapittel 6.

For å forstå mer av de funksjonelle sidene av musikkrelaterte bevegelser kan vi ta utgangspunkt i fire kategorier, en kombinasjon av kategoriene presentert av Sylvie Gibet (1987), Claude Cadoz (1988), François Delalande (1988) og Marcelo M. Wanderley (2004):

• Lydproduserende handlinger er de handlingene som produserer lyd. Disse kan igjen deles inn i to kategorier: eksitasjon og modifikasjon.
• Støttebevegelser hjelper de lydproduserende handlingene på forskjellige måter. Disse bevegelsene kan videre deles inn i hjelpebevegelser, fraseringsbevegelser og tiltrekningsbevegelser.
• Lydakkompagnerende bevegelser er ikke involvert i lydproduksjon, men følger derimot kvaliteter i lyden. Disse kan være lydskisserende, ved at de følger etter konturer i lydobjekter, eller de kan mime lydproduserende handlinger.
• Kommunikative bevegelser er beregnet på mellommenneskelig kommunikasjon og kan være interne for en utøver, eller ses i relasjonene utøver–utøver eller utøver–sanser.

Figur 39 viser forskjellige typer musikkrelaterte bevegelser i pianospilling. De forskjellige kategoriene utelukker ikke hverandre; mange bevegelser kan ha flere funksjoner på samme tid. Når en pianist slår an den siste tonen i et stykke etterfulgt av et teatralsk løft, vil handlingen ha elementer av lydproduserende, støttende, akkompagnerende og kommunikative bevegelser på samme tid. Et slikt funksjonelt mangfold er illustrert i et dimensjonsrom i figur 40. Dimensjonsrom brukes ofte for å analysere interaktive systemer (Graham et al. 2000) og har blitt brukt for å analysere funksjonalitet i digitale musikkinstrumenter (Birnbaum et al. 2005). Her brukes et dimensjonsrom for å visualisere hvordan bevegelsene til en musiker og en danser dekker forskjellige musikkrelaterte bevegelsesfunksjoner.

Lydproduserende handlinger

Den franske musikkteknologiforskeren Claude Cadoz (1988) foreslo en oppdeling av lydproduserende handlinger i to hovedkategorier: eksitasjon og modifikasjon. Vi skal her se nærmere på disse to typene av lydproduserende handlinger.

I kapittel 2 ble det vist tre hovedtyper eksitasjonshandlinger: impulsive, utholdte og iterative handlinger. Hver av disse hovedtypene kan synliggjøres ved hjelp av sine energiprofiler (se figur 3). Eksitasjonshandlinger kan videre sies å være enten direkte eller indirekte avhengig av om det er et objekt mellom det lydproduserende elementet av instrumentet og objektet som utfører eksitasjonen. Ved fingerspill på en gitar, bruker man direkte eksitasjonshandlinger, mens når man spiller med plekter, er det en indirekte eksitasjonshandling. Andre typer indirekte eksitasjonshandlinger er bruken av bue på strengeinstrumenter eller bruken av stikker og køller på perkusjonsinstrumenter. I mer sammensatte instrumenter, som et piano, er det en lang mekanisk kjede mellom fingerens anslag på tangenten til hammeren som slår mot strengen.

Modifikasjonshandlinger er den andre underkategorien av lydproduserende handlinger. Det er handlinger som ikke produserer lyd i seg selv, men som modifiserer lyden i instrumentet. Når man spiller gitar, utfører den høyre hånden lydproduserende handlinger ved å slå an strengen, mens den venstre hånden utfører lydmodifiserende handlinger ved å velge hvilke bånd strengen skal klinge fra. Cadoz (1988) foreslår to underkategorier av lydmodifiserende handlinger:

• Parametriske: Handlinger som forandrer en parameter kontinuerlig, for eksempel buetrykk i fiolinspilling.
• Strukturelle: Handlinger som modifiserer eller forandrer strukturen til et objekt, for eksempel åpen eller lukket klaff på et blåseinstrument.

De fleste musikkinstrumenter spilles med både eksitasjons- og modifikasjonshandlinger. I noen instrumenter er de to handlingstypene tydelig separert, som i strykeinstrumenter der de to hendene spiller helt forskjellige roller: Venstrehånden styrer hovedsakelig tonehøyde, mens høyrehånden fører buen som eksiterer strengen og styrer dynamikk og klang. Blåseinstrumenter har også en arbeidsfordeling mellom forskjellige kroppsdeler: Eksitasjonen skjer hovedsakelig fra munn og lepper, mens modifikasjonshandlinger utføres av fingrene.

I mange tilfeller kan det være en kobling mellom eksitasjons- og modifikasjonshandlinger. I blåseinstrumenter utfører munnen eksitasjonshandlinger, men kan også modifisere klangfargen. Tilsvarende kan man på strengeinstrumenter bruke venstrehånden for å utføre eksitasjonshandlinger med fingrene rett på strengene, mens høyrehånden kan være modifiserende ved for eksempel å dempe strengene.

På noen instrumenter er det ikke så lett å skille mellom eksitasjons- og modifikasjonshandlinger, det gjelder særlig for perkusive instrumenter. En pianist har liten kontroll over lyden etter at en tangent er slått an. Det samme gjelder for de fleste slagverksinstrumentene, der anslaget styrer både eksitasjon og modifikasjon av lyden.

Som disse eksemplene viser, er det ikke lett å finne et system for å klassifisere de forskjellige typene lydproduserende handlinger. Det er heller ikke et mål i seg selv; noe av gleden ved å spille på et instrument er nettopp de uendelige kombinasjonsmulighetene som finnes. Kategoriene som er nevnt over, er snarere ment for å forstå mer av funksjonene de musikkrelaterte handlingene spiller i en musikalsk sammenheng.

Støttebevegelser

De lydproduserende handlingene som ble beskrevet i forrige avsnitt, er nødvendige for å skape lyd, men dette ville ikke vært mulig uten forskjellige typer av støttebevegelser. Støttebevegelsene er ikke direkte involvert i lydproduksjonen, men er allikevel viktige for det klingende resultatet. Når man spiller piano, er det fingrene som utfører de lydproduserende handlingene (indirekte), men bevegelsen starter i overkroppen og videreføres gjennom armen til hånden og til fingrene. Vi kan her skille mellom tre forskjellige hovedtyper av støttebevegelser:

• hjelpebevegelser
• fraseringsbevegelser
• tiltrekningsbevegelser

Disse kalles bevegelser istedenfor handlinger, siden de ikke er målrettede på samme måte som de lydproduserende handlingene.

Hjelpebevegelser er de bevegelsene som er en direkte støtte til selve lydproduksjonen. I pianospilling inkluderer dette arm-, albue- og håndleddsbevegelser som gjør at fingrene treffer de ønskede tangentene. En fingerbevegelse er resultatet av at et komplekst, flerleddet system (armen) klarer å finne riktig bane og hastighet for at fingeren skal treffe riktig tangent til riktig tid. Prefiks og suffiks av disse bevegelsene er koordinert slik at man er klar til å bevege seg videre til neste tangent. De som har spilt piano, husker nok pianolærerens oppfordring om å huske å legge tommelen godt under hånden når man spiller oppadgående skalaer, slik at man tidlig forbereder seg på det kommende anslaget.

Fraseringsbevegelser er støttebevegelser som ikke er direkte koblet til lydproduksjonen, men i større grad knyttet til det musikalske innholdet. Marcelo M. Wanderley (2002) har gjennom flere år studert bevegelsene til klarinettister og funnet at fraseringsbevegelser er en integrert del av musikerens utøvelse. Dette har han kunnet dokumentere ved å bruke både optiske og elektromagnetiske bevegelsessporingssystemer som registrerer hvordan forskjellige punkter på kroppen beveger seg over tid. Ved å sammenligne flere opptak av klarinettister som spiller det samme stykket, har han funnet at musikerne gjør de samme fraseringsbevegelsene på de samme stedene i musikken. Dette er også tilfellet når musikeren blir bedt om å spille mer eller mindre ”ekspressivt”. Selv når en musiker blir bedt om å stå helt stille under utøvelsen, kan man se at de samme bevegelsesmønstrene gjentar seg.

Wanderley og hans kolleger har også funnet at slike fraseringsbevegelser er stabile over tid. I en studie der flere klarinettister ble bedt om å komme tilbake og spille et stykke senere, fant man like bevegelsesmønstre på samme sted i det musikalske forløpet (Wanderley et al. 2005). Dette viser at bevegelsene til musikerne er reproduserbare, noe som støtter opp under ideen om at musikkutøvelsen begynner som bevegelse.

Selv om fraseringsbevegelser ikke er direkte lydproduserende, har Wanderley (1999) vist at slike bevegelser påvirker den produserte lyden hos klarinettister. Normalt er klarinetten rettet mot bakken, og lyden man hører, er et resultat av en serie refleksjoner og lydabsorpsjon i gulv, stoler, notestativ, andre musikere osv. Når derimot klarinetten rettes mer direkte mot den som lytter, vil lyden ha en skarpere klang. På denne måten kan man si at det som begynner som en fraseringsbevegelse, en oppadgående bevegelse av klarinetten for å tydeliggjøre fraser i musikken, ender som en lydmodifiserende handling når klangfargen endrer seg.

En tredje type støttebevegelser er det som i den engelskspråklige litteraturen ofte kalles entrained movements, og som vi på norsk kan kalle tiltrekningsbevegelser. Ideen om at to eller flere fysiske systemer kan ha en tiltrekningskraft på hverandre og lede til synkronisering, har blitt studert innenfor en rekke fagområder, inkludert fysikk, biologi, fysiologi og kulturstudier (Strogatz og Stewart 1993; Glass 2001). Det er også flere musikkforskere som har begynt å interessere seg for hvordan tiltrekningsbevegelser kan ha en funksjon i oppbygningen av musikalske strukturer og rytmer. I musikalsk sammenheng kan tiltrekningsbevegelser finnes på flere forskjellige nivåer: internt hos en musiker, i relasjonen mellom musiker og instrument, eller mellom musikere. Et eksempel på en tiltrekningsbevegelse er det å trampe takten med foten eller bevege på kneet mens man spiller. Det kan være vanskelig å si om en slik bevegelse kommer som et resultat av den rytmiske figuren man spiller, eller om rytmen i den musikalske lyden kommer som et resultat av bevegelsen. Ofte vil lyd og bevegelse påvirke hverandre gjensidig, og det vil ikke være mulig å si hva som kom først.

I studier av indisk folkemusikk har forskningsgruppen til den britiske musikkforskeren Martin Clayton sett på hvordan lyd og bevegelse gjensidig påvirker hverandre. Konklusjonen fra disse studiene er at tiltrekningsbevegelser er viktige for hver enkelt musiker, men også for å hjelpe flere musikere til å spille sammen (Clayton et al. 2005). I tillegg har Clayton og hans kolleger sett at publikum også utfører tiltrekningsbevegelser som støtter opp under utøvelsen.

Tiltrekningsbevegelser er viktige i forskjellige typer dansemusikk og ”groove-basert” musikk. Her er det et poeng at kroppen rives med, og at man kan ”kjenne” grooven i kroppen. Den norske musikkforskeren Hans T. Zeiner-Henriksen (2009) argumenterer for at det nettopp er en slik synkronisering på et underliggende nivå som skaper følelsen av groove i musikk. Tiltrekningsbevegelser kan dermed ses på som en generator for rytme og timing i musikk, på samme måte som rytme og timing i musikk kan generere bevegelser (Clarke 1999).

Selv om tiltrekningsbevegelser kanskje er mest synlige i forskjellige former for rytmisk musikk, kan det argumenteres for at denne typen bevegelser finnes i alle typer musikk. Selv under konserter med vestlig kunstmusikk, som ofte er preget av en stram bevegelsesregi, kan man finne tiltrekningsbevegelser hos både musikere og publikum. Det er ikke uvanlig å se orkestermusikere som tramper takten med foten mens de spiller. Tilsvarende kan vuggende bevegelser i overkroppen hos musikerne også ses som et eksempel på tiltrekningsbevegelser, som hjelper til å synkronisere utøvelsen.

På samme måte som for de lydproduserende bevegelsestypene, er det ofte vanskelig å skille mellom de forskjellige typene av støttebevegelser. Alle disse bevegelsene overlapper og danner et komplekst bevegelsesmønster som også påvirker lyden, selv om de kanskje ikke var ment som lydproduserende til å begynne med. De ulike støttebevegelsene er en integrert del av bevegelsesmønsteret til en musiker, og de er på ingen måte tilfeldige. Snarere burde det legges større vekt på denne typen bevegelser i musikkopplæring. Mange musikklærere har nok en tendens til å be elevene om å fokusere på de lydproduserende bevegelsene, og har i liten grad oppmuntret til, eller kanskje til og med begrenset, utviklingen av støttebevegelsene. Med tanke på musiseringen, inkludert frasering og musikalsk hukommelse, ville det heller vært en idé å fokusere mer på hvordan man kan lære seg å forbedre slike støttebevegelser.

Andre typer bevegelser

Lydakkompagnerende bevegelser er den tredje type musikkrelaterte bevegelser som ble nevnt i innledningen til dette kapitlet. Dette kan være bevegelser der man følger konturene til en melodi med hånden i luften eller mimer en lydproduserende handling (såkalt luftinstrumentspilling). Vi skal se nærmere på slike bevegelser i kapittel 6.

Alle bevegelser kan tolkes som en form for kommunikasjon, men det kan allikevel være praktisk å skille ut en egen kategori med kommunikative bevegelser. Dette er bevegelser som kan være kommunikative i lingvistisk forstand, slik som gestene omtalt i kapittel 2. Et eksempel er en sanger som utfører håndgester som passer med teksten som synges. På samme måte som i tale kan slike kommunikative bevegelser være tett koblet til lyden, og brukes til å støtte opp under det meningsbærende innholdet i lyd og tekst.

Kommunikative bevegelser kan også være helt fristilt fra lyden, og brukes da aktivt i kommunikasjon mellom utøver og publikum. Mange musikere bruker slike bevegelser som et effektivt virkemiddel for å skape spenning før de begynner å spille. Forflytning på scenen og gestikulering til publikum er andre eksempler på kommunikative bevegelser som er vanlige i en konsertsammenheng. Særlig i populærmusikken bruker artistene mye tid på å rendyrke forskjellige kommunikative bevegelser som brukes i konserter eller i musikkvideoer. I mange tilfeller koreograferes disse bevegelsene, noe som gjør at de nærmer seg dansebevegelser.

I dette kapitlet er det omtalt en rekke forskjellige typer musikkrelaterte bevegelser. Selv om vi her har sett på hvordan de kan deles opp i forskjellige funksjonelle kategorier, er det også viktig å se på hvordan de forskjellige bevegelsene fungerer sammen. Alle mennesker har et eget og unikt bevegelsesmønster, og musikere utvikler et eget bevegelsesrepertoar som de kan gjenkjennes på. Ofte kan et slikt bevegelsesrepertoar være konsistent over tid. Mange musikere har egne særtrekk, som for eksempel hvordan Jimmy Hendrix svinger armen over hodet når han når klimaks i sine gitarsoloer. Det er ikke lett å si om denne armbevegelsen er en lydakkompagnerende bevegelse som følger etter lyden i gitaren, eller om det er en støttebevegelse som hjelper til med å skape den utholdte lyden. Eller kanskje det rett og slett begynte som en teatralsk bevegelse som etter hvert har blitt internalisert? Sannsynligvis har den komponenter av alle disse funksjonene. En slik armbevegelse kan også ses hos en rekke andre rockegitarister. Det kan derfor se ut som forskjellige bevegelsessekvenser inngår i repertoaret til enhver rockegitarist, på samme måte som forskjellige riff har blitt ”standardisert”. Dette er et eksempel på hvordan yngre musikere tar etter og imiterer mer anerkjente musikere og deres spillestil.

Det har i liten grad blitt forsket systematisk på bevegelsesrepertoar og overføring av bevegelsesmønstre mellom musikere, og her er det er mye å hente. Kanskje vil man kunne finne at bevegelsesmønstrene hos en artist formes relativt tidlig i karrieren og utvikles gradvis på linje med den generelle musikalske utviklingen. Tilsvarende vil man kunne se en overføring av bevegelsesmønstre fra eldre til yngre artister på samme måte som andre musikalske ferdigheter overføres.

Sammendrag

I dette kapitlet er det beskrevet forskjellige typer funksjonelle bevegelser hos musikere. De lydproduserende handlingene kan deles opp i eksitasjonshandlinger som skaper lyd, og modifikasjonshandlinger som forandrer lyden. Støttebevegelser kan deles opp i hjelpebevegelser som støtter opp under de lydproduserende handlingene. Andre typer støttebevegelser er fraseringsbevegelser som er med på å forme den musikalske fraseringen, samt tiltrekningsbevegelser som er viktige i forhold til rytmisk frasering. Lydakkompagnerende bevegelser følger etter kvaliteter i lyden, og vil bli tatt opp i neste kapittel. Kommunikative bevegelser kan sammenlignes med gester i tale, og kan være helt frikoblet fra lyd. I de fleste praktiske eksempler vil en bevegelse være sammensatt og inneholde komponenter fra flere eller alle de forskjellige bevegelsestypene. Målet med en funksjonell klassifikasjon er dermed ikke å finne ut nøyaktig hvilke typer de representerer, men heller forsøke å se på hvilken funksjon bevegelsene kan spille i vår opplevelse av musikken som fremføres.

Les mer

6. Bevegelser til lyd

Spontanbevegelser

På T-banen ser man folk som sitter og nikker på hodet eller rister på foten mens de lytter til musikk på en mobil mediespiller. I parken jogger folk med propper i ørene og bruker musikken som hjelp til å yte litt mer. På konsert spiller noen luftgitar ved å etterligne bevegelsene til musikeren på scenen, og på en nattklubb holder musikken dansen i gang. Disse eksemplene viser spontane bevegelser som på forskjellig vis er knyttet til den musikalske lyden. Bevegelsene kan også fortelle noe om musikken det lyttes til, hvilke musikalske kvaliteter det fokuseres på, og hvordan man synkroniserer en kroppslig respons til lyden. Der ord kommer til kort for å beskrive en musikalsk opplevelse, kan bevegelsene si noe om hva en person legger merke til i det musikalske forløpet.

I det forrige kapitlet så vi på forskjellige typer bevegelser hos utøvere, og hvilken funksjon slike bevegelser kan ha for vår oppfatning av musikken. En annen måte å observere musikkutfoldelse på kan være å studere bevegelsene til den som opplever musikken. Dette er et tema som i liten grad har vært systematisk utforsket, så det er relativt lite forskningsmateriale å hente kunnskap fra. I dette kapitlet skal vi derfor se nærmere på noen observasjonsstudier vi har utført ved Universitetet i Oslo de siste årene. Gjennom arbeidet med lytteres spontane bevegelser til musikk har vi identifisert flere forskjellige bevegelsestyper:

• Mimebevegelser som er beregnet på å mime bevegelsene hos utøveren, for eksempel luftinstrumentspilling.
• Lydakkompagnerende bevegelser som følger bestemte kvaliteter i lyden, men ikke så direkte som mimebevegelser.
• Lydskisseringsbevegelser som mer generelt følger lyden, for eksempel å følge konturene i en melodi med hånden.
• Dansebevegelser som ofte er knyttet til rytmiske kvaliteter i den musikalske lyden.

I de følgende avsnittene skal vi se nærmere på disse bevegelsestypene og hvordan det er mulig å utvikle teorier og metoder for å studere slike bevegelser.

Luftinstrumentspilling

La oss begynne med å se på det som kan kalles mimebevegelser. Dette er forskjellige typer bevegelser som har som mål å etterligne bevegelser som er sett (eller hørt) hos utøvere av den musikken man beveger seg til. Et eksempel på slike mimebevegelser er luftinstrumentspilling, der man ”spiller” et instrument i luften. Det er mulig å mime at man spiller alle instrumenter, men det er mange som tenker på luftgitar som et av de mest populære luftinstrumentene. Dette skyldes nok at gitaren er et instrument som ofte er i fokus i mange musikalske sammenhenger.

Luftinstrumentspilling viser ofte hvilke kvaliteter i lyden man oppfatter og fokuserer på, men det kan også være en indikator for vår hukommelse for bestemte lydproduserende handlinger. En som spiller i luften, viser evnen til raskt å trekke ut de viktigste elementene fra et komplekst lydbilde og reprodusere disse ved hjelp av kroppsbevegelser. Dette er noe Rolf Inge Godøy har kalt motormimetisk skissering, ettersom det er en tilnærmet miming av motoraktiviteten som ligger til grunn for den opprinnelige lydproduserende handlingen (Godøy et al. 2006b).

Motormimetisk skissering kan ses på som en type målrettet imitasjon (Wohlschlager et al. 2003), der ”målet” kan være anslaget av en tone eller toppunktet i en melodilinje. Motormimetisk skissering ser ut til å være noe alle kan gjøre, og virker som et av fundamentene for menneskelig utvikling. Fra vi blir født er det meste av vår læring basert på å imitere mennesker i våre omgivelser. Det er på denne måten vi lærer å stå, gå, snakke og spise. Imitasjon er også en viktig del av musikkopplæringen, der man utvikler ferdigheter på et instrument ved å gå i lære hos en eldre og mer erfaren musiker.

Med utgangspunkt i at vi gradvis lærer å imitere mye av det vi har sett andre gjør, vil vi også kunne forvente at alle burde klare å imitere spilling på vanlige instrumenter. Dette har vi erfart i våre observasjonsstudier av luftinstrumentspilling. Kvaliteten på luftinstrumentspillingen varierer, men vi har enda ikke møtt en eneste person som ikke var i stand til å imitere et instrument de kjenner til. Det er også interessant å legge merke til at denne typen musikalsk utfoldelse oppøves til et virtuost nivå i forbindelse med det årlige verdensmesterskapet i luftgitar som har vært organisert i forbindelse med Oulu Music Video Festival i Finland siden 1996.

Utgangspunktet for våre studier av luftinstrumentspilling var å se på forskjellen mellom noviser, folk som har liten eller ingen musikalsk erfaring, og eksperter, det vil si profesjonelle musikere. Eksperter har årelang erfaring med å spille et ekte instrument, og det ville derfor være naturlig å anta at de også ville klare å mime et instrument med høy grad av presisjon. De som aldri har spilt et instrument har sin kunnskap fra det de har sett og hørt av musikk i hverdagen. Med utgangspunkt i ideen om en aktiv kognisjon, ville vi allikevel kunne anta at noviser burde klare å spille et luftinstrument med begrenset presisjon.

Som beskrevet i kapittel 5 består musikkutøvelse av sammensatte bevegelser med mange forskjellige funksjoner. Tilsvarende ville man kunne forvente at luftinstrumentspilling viser noe av den samme kompleksiteten. Det er naturlig at både lydproduserende handlinger og andre typer musikkrelaterte bevegelser blir imitert: ulike typer støttebevegelser, lydakkompagnerende og kommunikative bevegelser. For mange vil nettopp kombinasjonen av alle disse ulike bevegelsestypene være målet med å spille et luftinstrument. Hvis man mimer en rockegitarist, ligger mye av ekspressiviteten nettopp i mange av de ikke-lydproduserende bevegelsene. Imitasjon av slike ekspressive bevegelser vil da være en viktig komponent for å videreformidle den emosjonelle kvaliteten i musikkopplevelsen.

Ved Universitetet i Oslo har vi gjort flere observasjonsstudier av luftgitarspilling, men på grunn av kompleksiteten i materialet fant vi det enklere å studere luftpianospilling i detalj. Luftgitarister beveger seg gjerne mer enn luftpianister, noe som gjør en systematisk tilnærming vanskeligere. I resten av dette avsnittet skal vi derfor se nærmere på en studie av luftpianister og hvordan deres bevegelser kan ses i tilknytning til kvaliteter i lyden. En mer detaljert fremstilling finnes i Godøy et al. (2006b).

Ettersom målet med studien var å se på forskjeller i luftinstrumentspilling mellom personer med ulik musikalsk bakgrunn, ble det rekruttert forskjellige deltagere – fra novise til ekspert. Her skal vi se på tre av dem: deltager A (ingen musikalsk trening), deltager B (litt musikalsk trening) og deltager E (profesjonell pianist). Deltagerne ble bedt om å lytte til musikken og umiddelbart forsøke å imitere hvordan de forestilte seg at pianisten spilte. Fem musikalske eksempler ble valgt ut med tanke på å dekke forskjellige typer pianoteknikker og musikalske parametre. Fire av disse var hentet fra det klassiske repertoaret, mens ett var fra en jazz-improvisasjon.

For å analysere materialet bestemte vi oss for å bruke en kvalitativ analysemetode basert på samsvar mellom musikk og bevegelse. Begrepet samsvar brukes her for å beskrive forholdet mellom observerte bevegelser og de bevegelsene som ble brukt for å produsere lyden i det musikalske utdraget. Følgende syv samsvarsegenskaper ble brukt som utgangspunkt for den kvalitative vurderingen:

• generell aktivitet
• generell tonehøydeplassering
• detaljert tonehøydeplassering
• generell tidsplassering
• detaljert tidsplassering
• dynamisk forløp
• artikulasjon

Vi begynte med å se på generelle sammenhenger mellom musikk og bevegelse, for deretter å gå nærmere inn på de detaljerte sammenhengene. Den generelle aktiviteten beskriver tetthet av handlinger knyttet til tonetetthet i musikken, uavhengig av tonehøyde og rytmisk plassering. Dette kan ses som en indikasjon på hvordan man oppfatter generelle kvaliteter i musikken. Generell og detaljert tonehøydeplassering dreier seg om den romlige plasseringen av hender. Dette kan gi en indikasjon på hvordan personen oppfatter tonehøyder. Generell og detaljert tidsplassering beskriver hvordan handlingene struktureres i tid i forhold til oppfattede toner. Dynamisk forløp dreier seg om størrelse og hastighet på bevegelser i tilknytning til hvordan man oppfatter dynamikken i lyden. Artikulasjon beskriver musikalske kvaliteter som for eksempel aksenter, staccato, legato, accelerando og rubato. De syv forskjellige kategoriene dekker dermed en rekke forskjellige musikalske parametre som det er vanlig å forholde seg til når man evaluerer utøvelse av musikk.

I analysen av materialet bestemte vi oss for å vurdere hvert av de ovennevnte samsvarene ved at hver av forskerne i studien individuelt vurderte hver video. Dette kan dermed ses som en kvantitativ studie basert på kvalitative data, der hver deltager ble tildelt en karakter på en skala fra 0 til 3. Her betyr karakter 0 at det ikke er samsvar mellom bevegelser og de nødvendige lydproduserende handlinger, mens karakter 3 ble tildelt når det var godt samsvar.

Gjennomsnittsresultatene fra evalueringen av utøverne er oppsummert i tabell 1. Ikke overraskende er det tett samsvar mellom graden av musikalsk skolering og poengnivået som ble oppnådd i studien. Mer overraskende fant vi at deltagerne med minst musikalsk skolering gjorde det relativt godt når det kom til samsvar mellom musikk og bevegelse på et overordnet nivå. Dette er også en generell oppfatning vi sitter igjen med etter å ha sett hundrevis av deltagere spille luftgitar i forskjellige sammenhenger. Generell oppfattelse av tonehøyde og distribusjon av bevegelser i tid og rom ser ut til å være godt innarbeidet hos de fleste. Eksempler på dette kan ses i figur 41 (video), der deltager A, B og E spilte en oppadgående bevegelse med et løft på slutten i et musikalsk utdrag av en oppadgående skala.

	Egenskap	A	B	C	D	E
1.	Generell aktivitet	1.4	1.8	2.6	2.6	3
2.	Generell tonehøydeplassering	0.8	1.4	2.0	2.4	2.8
3.	Detaljert tonehøydeplassering	0.2	0.6	0.8	1.6	2.4
4.	Generell tidsplassering	1.6	1.4	1.8	2.6	2.6
5.	Detaljert tidsplassering	1.0	0.2	0.8	1.8	2.2
6.	Dynamisk forløp	1.0	0.8	2.2	2.8	2.8
7.	Artikulasjon	0.2	0.2	0.8	1.8	2.4

En tydelig forskjell mellom deltagerne gjaldt responstid. Figur 42 (video) viser hvordan eksperten raskt gjenkjenner et stort registersprang, mens de to andre bruker lengre tid før de tilpasser bevegelsene etter lyden de hører.

Når det kom til detaljert romlig og tidsmessig samsvar, samt dynamikk og artikulasjon, var det bare eksperten som utmerket seg. Bevegelseshistoriebildet i figur 43 (video) viser hvordan eksperten utfører et løft for å forflytte seg fra lavt til høyt register. Her starter sekvensen med at øynene ser på den virtuelle øvre delen av instrumentet, deretter følger hodet med, og så løftes hendene i forventet bane. Det er en slik respons man kunne forventet i ekte pianospill og vitner derfor om mye erfaring.

Vi skal være forsiktige med å trekke for bastante konklusjoner basert på det begrensede materialet i denne observasjonsstudien, men det er noen punkter som peker seg ut, og som det kan være interessant å se nærmere på i videre studier. Først det at luftinstrumentspilling er noe alle kan gjøre, uavhengig av musikalsk og bevegelsesrelatert trening. Det ser også ut til å være en jevn progresjon i ferdighetsnivå fra novise til ekspert, noe som vitner om en økende grad av bevissthet når det gjelder både lytting og forståelse av musikalsk lyd, samt motoriske ferdigheter til å gjenskape bevegelser relatert til lyden. I observasjonsstudien hadde vi valgt eksempler både med og uten en klar puls. Som forventet syntes deltagerne det var enklere å spille utdragene der de kunne bruke rytmen i musikken til å forberede sine bevegelser.

Det er flere utfordringer knyttet til studier av luftinstrumentspilling. Én utfordring er at deltagerne ikke er fysisk begrenset av et instrument. Dette gjør at flere beveger seg over et større område enn de ville ha gjort hvis de spilte et fysisk instrument. Dette var en av grunnene til at vi valgte stillestående luftpianister fremfor luftgitarister som beveget seg mye friere i rommet.

En annen utfordring er mangelen på fysisk kontakt med et instrument. De lydproduserende handlingene man utfører på et instrument, er basert på den fysiske motstanden man møter i instrumentet. Når man slår på en tangent, vil fingeren nødvendigvis stoppe når man treffer tangenten, og resten av kroppsbevegelsen vil følge etter. På et luftinstrument må man selv skape denne motstanden i armen når man spiller. Så energimessig kan luftinstrumentspilling ses på som det motsatte av det å spille et instrument. På instrumentet fokuserer man på energieffektivisering, mens man på et luftinstrument må bruke dobbelt så mye energi, både kraft og motkraft. At man likevel får til dette, vitner om en grunnleggende forståelse av de prosessene som ligger til grunn for det å spille et instrument.

Dans til musikk

Det finnes mye litteratur som forsøker å få dansere til å danse bedre til musikk. Tilsvarende finnes det noe litteratur for å hjelpe musikere til å spille til dans, for eksempel Teck (1990). Det finnes derimot ikke så mange studier som tar for seg spontandans til musikk. Etter å ha gjennomført studien av luftinstrumentspilling var vi interessert i å se på hvordan personer spontant danser til musikk. Her var også målet å studere forskjeller mellom noviser og eksperter, så vi rekrutterte personer med forskjellig erfaring. I dette avsnittet skal vi konsentrere oss om opptakene av tre studenter i moderne dans. Alle tre hadde bakgrunn fra klassisk og moderne dans, og hadde også spilt ett eller flere musikkinstrumenter som barn. Ved å velge tre deltagere med så lik bakgrunn for studien, er det mulig å utføre en komparativ analyse der de individuelle forskjellene kommer tydelig frem.

Deltagerne fikk beskjed om at de skulle høre fem forskjellige musikkutdrag, og at hvert av utdragene skulle spilles av tre ganger. Musikkeksemplene var valgt ut for å dekke forskjellige musikalske dimensjoner (se Jensenius (2007) for detaljer). Instruksjonen var at de skulle begynne å bevege seg med en gang de hørte lyd, og at de skulle bevege seg fritt til musikken. De fikk ikke høre musikkeksemplene før vi startet opptaket, og de fikk heller ikke se hverandre danse.

Som vi så i kapittel 3, er Labans bevegelsesanalyse en kvalitativ metode som egner seg godt for å trekke ut forskjellige bevegelseskvaliteter. Utfordringen når vi ønsker å se på hvordan bevegelser forholder seg til den musikalske lyden, er å finne en metode for å kunne sammenligne kvaliteter i bevegelse med kvaliteter i lyd. I studien av luftinstrumentspilling definerte vi et sett med samsvar mellom mimebevegelser og de lydproduserende handlingene. Disse samsvarene er ikke direkte relevante for fridans til musikk, der målet er å se på generelle kvaliteter i bevegelsene versus egenskaper i den musikalske lyden. Dette kan vi kalle paralleller mellom musikk og bevegelse.

Det har blitt gjort flere forsøk på å definere paralleller mellom musikk og bevegelse, og ett av disse systemene er Hodgins (1992) modell for koreomusikalsk analyse. De koreomusikalske parallellene ble utviklet for å analysere koreografert dans, men vi har sett at modellen også kan være nyttig når man skal studere fridans til musikk. Hodgin foreslår i sin modell et sett paralleller mellom egenskaper i dans og musikk: rytmikk, dynamikk, tekstur, struktur, kvaliteter og mimetikk (se Tabell 2).

	Dans	Musikk
Rytmikk	Bevegelseshastighet	Aksentuering, takt, handlingstetthet
Dynamikk	Bevegelsesvolum	Musikalsk dynamikk
Tekstur	Antall personer	Antall instrumenter, homofoni vs. polyfoni
Struktur	Fraser, motiver	Fraser, motiver
Kvalitet	Bevegelsesnatur	Klangfarge, artikulasjon
Mimetikk	Imitasjon, bilder	Bilder

Noen av parallellene er enklere å forholde seg til enn andre, særlig rytmikk, dynamikk, tekstur og struktur. Den rytmiske parallellen kan forstås med utgangspunkt i temporale aspekter ved både lyd og bevegelse. Den dynamiske parallellen er knyttet til utstrekning og volum i bevegelser i forhold til dynamikk i lyden (for eksempel intensitet og lydnivå). Den teksturale komponenten relaterer seg til tettheten i enheter i både bevegelse og lyd, og kan knyttes direkte til antall personer som danser eller antall instrumenter som spiller. Den strukturelle kvaliteten dreier seg om likheter i fraser og motiver mellom bevegelse og lyd. Eksempler på disse parallellene kan ses i Figur 44. Her vises et utsnitt fra to musikkeksempler som hver er repetert tre ganger. Det første eksemplet er preget av en blanding av utholdte og iterative toner i lavt register, mens det andre eksemplet har mer dynamikk og ligger i et høyt register. Bevegelseskurvene for hver av de tre danserne viser mindre og mer utholdte bevegelser i det første eksemplet, og stor variasjon i dynamikk, rytmikk og tekstur i det andre eksemplet.

De to siste parallellene til Hodgins refererer til henholdsvis kvaliteter i bevegelse og lyd, samt hvordan slike kvaliteter brukes metaforisk. Et eksempel på en slik mimetisk parallell kan ses i et utsnitt fra dansestudien i figur 45. Her beveger danserne hendene oppover samtidig som de også ser oppover, noe som korresponderer med de oppadgående arpeggioene i musikken. Denne oppadgående bevegelsen hos danserne kan forstås som at lyden er med på å ”løfte” danserne og deres bevegelser.

Flere lignende korrelasjoner kan ses i materialet, selv om de ofte er utført forskjellig av danserne. En ”flytende” bevegelse kan for eksempel gjøres med en fot, en hånd eller hele kroppen; de underliggende kvalitetene kan allikevel være like. Når man studerer et slikt materiale kan det være en fordel å begynne med en bred, kvalitativ analyse. Deretter er det mulig å finne frem til noen parametre som kan brukes som utgangspunkt for en kvantitativ studie av bestemte egenskaper i bevegelse og lyd.

Lydskissering

Studiene som ble presentert i de foregående avsnittene, har fokusert på full kroppsbevegelse til musikalsk lyd. En annen tilnærming er å studere bevegelser fra bare én del av kroppen, for eksempel håndbevegelser. I boken Det musiske menneske skriver den norske musikkforskeren Jon-Roar Bjørkvold om hvordan barn tegner til musikk. Han undersøker hvordan bevegelsene de gjør på arket, på forskjellig måte kan relateres til elementer i den musikalske lyden (Bjørkvold 1989, 80–82). Vi ønsket å studere slik tegning til lyd i mer detalj og laget en studie der målet var å se hvordan man skisserer opplevelsen av musikalsk lyd med en penn.

Tegning til musikk kan ses på som en rask skisse av de kvaliteter i lyden man legger merke til, og vi brukte derfor begrepet lydskissering i en artikkel om denne observasjonsstudien (Godøy et al. 2006a). Dette var nettopp fordi den grafiske fremstillingen var mindre viktig enn bevegelsene som lå til grunn for tegningen. Studien ble gjennomført ved at deltagerne brukte en digital tegneflate der de ikke kunne se resultatet av det de tegnet. Dette gjorde det også enklere å gå gjennom mange forskjellige lyder i løpet av kort tid.

Vår hovedinteresse var å se på hvilke kvaliteter i lyden som ble oppfattet av deltagerne, og hvordan disse ble skissert med den digitale pennen:

• miming av den lydproduserende handlingen (for eksempel impulsiv, utholdt eller iterativ)
• skissering av egenskaper i lyden (for eksempel dynamisk utvikling, tonehøydeforandringer, klangutvikling)
• skissering som på forskjellige måter gjenspeiler emosjonelle kvaliteter i lyden (for eksempel følelsen av å bli ”løftet” eller følelsen av ”flyt”)
• kombinasjoner av de ovennevnte kategoriene eller andre egenskaper

Disse kategoriene kan ses som en kombinasjon av samsvarene mellom musikk og bevegelse som vi fokuserte på i luftinstrumentstudiene, og Hodgins paralleller fra dansestudien. Noen av disse alternativene er knyttet til bestemte egenskaper i lyden, andre til mer generelle kvaliteter. Vi passet på å ikke be deltagerne om å velge én av disse tilnærmingene for å se hva de selv ville fokusere på. Ideen var at vi kan oppfatte både spesifikke og mer generelle kvaliteter i lyden på samme tid.

Et annet aspekt ved denne studien, og til en viss grad også i de tidligere studiene, er ideen om motorekvivalens som ble beskrevet i kapittel 2. Motorekvivalens forklarer vår evne til å utføre den samme handlingen på forskjellige måter, som at man kan åpne en dør med hånden, albuen eller haken. Tilsvarende er det mange måter å bevege seg til lyd på, alt fra å bruke hele kroppen til å tegne med en penn. Alle slike bevegelser kan ses på som en kroppslig manifestasjon av den mentale representasjonen vi har av lyden, og bevegelsene kan derfor gi oss informasjon om de egenskapene i lyden vi oppfatter som viktige.

Som i luftinstrumentstudien ønsket vi å se på ulikhetene mellom deltagere med forskjellig musikalsk bakgrunn. Vi valgte ut fire personer som hadde lite eller ingen musikalsk erfaring, og fem musikkstudenter på universitetsnivå. Studien ble utført ved at forsøkspersonen satt ved et bord med en grafisk tegneflate foran seg. Lydene ble spilt fra en datamaskin, og pennens bevegelser på tegneflaten ble registrert og lagret på maskinen. I tillegg gjorde vi videoopptak som dokumentasjon av studien.

Deltagerne hørte totalt 50 korte lyder, og mellom hver lyd var det en pause som var like lang som selve lyden. Instruksjonen var at de først skulle lytte og deretter lage en skisse av lyden med den digitale pennen. De fikk ingen nærmere beskjed om hva de skulle fokusere på i lyden, eller hvordan de skulle utføre skisseringen. Dette var fordi vi ønsket å se deltagernes spontane bevegelser, og hvilke egenskaper i lyden de valgte å fokusere på.

Lydene varte mellom to og seks sekunder, og dekket forskjellige handling–lyd-typer (impulsiv, utholdt og iterativ), samt forskjellige tonale og klanglige kombinasjoner: stabil, ustabil og udefinert. De første 30 lydene inneholdt bare ett eller noen få lydobjekter, mens de 20 siste lydene var mer komplekse, enten sammensatt av de enkle lydene eller utdrag fra musikkstykker. Her var ideen å se på hva det var deltagerne ville fokusere på i lydene, og om man kunne se noen mønstre i lydskisseringen.

Som ventet fant vi at deltagerne brukte ulike strategier i lydskisseringen. Figur 46 (ekstern lyd) viser ni forskjellige skisser til lyden av en symbal. Én deltager valgte å følge den dynamiske utviklingen av lyden, andre imiterte den lydproduserende handlingen ved bare å trykke ned i brettet (som resulterer i en prikk). Andre igjen tegnet en sirkel eller spiral, noe som kan virke som en imitasjon av sirkulariteten i klangen. Denne variasjonen i uttrykk er en god oppsummering av hele studien. Noen av deltagerne fokuserte primært på imitasjon av lydproduserende handlinger, andre fokuserte på klangkvaliteter og andre igjen fokuserte på utviklingen av lyden over tid. Det virker også som deltagerne valgte én av disse strategiene og holdt på den gjennom hele studien.

Figur 47 (lyd) viser skissene som ble laget til en iterativ lyd fra en bambusstang. Her tegnet alle den iterative klangkvaliteten med taggete linjer. Det er interessant å legge merke til at deltagerne valgte å tegne i forskjellige retninger, selv om de fleste begynte fra venstre. Dette kan nok knyttes til vår trening i å skrive fra venstre mot høyre i vår kultur. Tilsvarende var det en tydelig tendens at deltagerne assosierte den øverste delen av brettet med lysere tonehøyde. Dette kan igjen være kulturelt betinget og styrt av metaforer vi lærer om at lyse toner er høyere oppe, og mørke toner er lenger nede.

Vi fant også en høy grad av likhet i hvordan deltagerne identifiserte lydhendelser. Et eksempel på dette kan ses i figur 48 (lyd) der alle deltagerne tegnet tre like hendelser når de hørte en lydfil med tre nedadgående skarpe lyder. Det var allikevel forskjeller mellom tegningene, noen tegnet oppover, noen nedover og noen ned og opp. De fleste tegnet tre hendelser som var like i størrelse, form og retning, mens noen laget dem litt forskjellige. Men selv med disse små forskjellene var det tydelig at alle gjenkjente og klarte å gjenskape de tre lydobjektene uten større problemer.

Mer varierende resultat var det for lydsettet med sammensatte lydobjekter. Figur 49 (lyd) viser skissene av en kompositt lyd som består av en impulsiv lyd fra et triangel, en nedadgående glissando i fiolin og cello og avslutningsvis en kort og iterativ lyd. Her er det interessant å legge merke til at alle forsøkspersonene bare skisserte én strek for å representere de to nedadgående lydene, noe som tyder på at man opplever at disse to smelter sammen i en figur. Ingen av skissene viser antydning til å merke triangelanslaget i begynnelsen, og bare noen få registrerte den iterative avslutningslyden. Det er uvisst om personene som ikke tegnet den iterative lyden, hørte den som en selvstendig enhet, eller om de tenkte at den hørte sammen med de utholdte lydene.

Selv om denne studien ikke fokuserte på deltagernes tegneferdigheter, er det klart at slike ferdigheter vil påvirke resultatet. En person som har tegnet mye, vil nødvendigvis ha en fordel i det å kunne bruke en penn til å uttrykke seg. På den andre siden vil en person som har liten tegneerfaring, men som er musikalsk godt trenet, allikevel kunne lage en skisse som presist uttrykker opplevde egenskaper i den musikalske lyden. For å få en idé om subjektive forskjeller mellom personene kan vi se på hvordan alle skissene fra en bestemt person skiller seg fra alle skissene til en annen person. Figur 50 viser alle skissene av de korte lydene som ble tegnet av deltager 1. Denne personen hadde liten musikalsk erfaring, men hadde lang erfaring med dans og tegning. Dette kan man kanskje se i skissene, ettersom personen brukte pennen aktivt og hovedsakelig fulgte overordnede klanglige kvaliteter i lydene. Figur 51 viser skissene til deltager 9. Dette var en musikkstudent som brukte pennen mye mer sparsomt, og som i større grad så ut til å imitere de lydproduserende handlingene og ikke bare følge konturene i lyden. Generelt fant vi at personer med musikalsk trening i større grad skisserer med utgangspunkt i lydproduserende handlinger. Dette er kanskje ikke uventet; mange som har spilt et instrument i lang tid, vil nok bruke denne kroppslige erfaringen som utgangspunkt også for å lytte til musikk.

I sin doktorgradsavhandling gjennomførte Egil Haga (2008) en oppfølgingsstudie basert på datamaterialet som ble samlet inn i denne studien. Her ba han en ny gruppe forsøkspersoner om å vurdere sammenfallet mellom lyden og skissene som var laget med utgangspunkt i lyden. Han konkluderer med følgende:

- Tonehøyde vises i brattheten og retningen til kurvene.
-Klangfarge vises i måten linjen tegnes på (jevn, oppdelt, lett, stram).
-Lydproduksjon vises i lengden på linjen, kort og rett for impulsive, lengre for utholdte, og ujevn for iterative lyder.
-Handlingstetthet i lyden vises i taggethet i linjen.

Et aspekt vi ikke har studert i denne omgang, men som vil stå sentralt i senere studier, er tidsaspektet i skisseringen. Generelt la vi merke til at de fleste deltagerne begynte å tegne rett etter at de hadde hørt anslaget i de korte lydene. I flere tilfeller gjorde de ferdig tegningen før etterklangen til lyden hadde dødd helt ut. Dette gjorde de selv om vi helt eksplisitt hadde sagt at de skulle vente med å tegne til etter at de hadde hørt ferdig lyden. En forklaring på dette kan være at de opplevde selve anslaget som den viktigste komponenten, og at resonansen som fulgte, ikke ville bringe noe nytt. Dette støtter Godøys (2001) idé om en tydelig forskjell mellom hvordan vi oppfatter eksitasjon og resonans, noe som blir diskutert nærmere i kapittel 7. For de komplekse lydene ventet derimot alle deltagerne til det ble helt stille, før de begynte å tegne. Dette tyder på at deltagerne her la merke til kompleksiteten og derfor ventet med å tegne til de hadde hørt helheten.

Når det gjelder forskjeller mellom deltagerne med og uten musikalsk skolering, er det også noe som peker seg ut. Deltagerne med liten musikalsk skolering fokuserte mer på overordnede kvaliteter, for eksempel omhyllingskurven til lyden. Deltagerne med musikalsk skolering fokuserte i større grad på opplevde kvaliteter i de lydproduserende handlingene som lå til grunn for lydproduksjonen. Disse personene var også generelt bedre til å skille mellom ulike lydobjekter i de sammensatte lydene, mens deltagerne med liten musikalsk skolering behandlet dem som ett sammenhengende lydobjekt. Vi skal allikevel være forsiktige med å generalisere for mye fra en begrenset studie som dette, og heller oppfordre andre til å gjennomføre lignende studier.

Sammendrag

Dette kapitlet har beskrevet tre forskjellige observasjonsstudier av bevegelse til musikalsk lyd: luftinstrumentspilling, fridans og lydskissering. Selv om alle studiene hadde det samme utgangspunktet, representerer de tre forskjellige metodiske tilnærminger. I studien av luftinstrumentspilling brukte vi en karakterskala for å kvantifisere resultatene fra en kvalitativ vurdering av samsvar mellom de imiterte bevegelsene og antatt lydproduserende handling. I fridansstudien så vi på hvordan Hodgins koreomusikalske paralleller kan brukes for å forstå sammenhenger mellom egenskaper i lyd og bevegelse. I den siste studien brukte vi en todimensjonal fremstilling av ”tegninger” for å se på likheter og forskjeller i hvordan man skisserer egenskaper i lyd ved hjelp av en digital penn.

Studiene viser at alle kan bevege seg til musikk uavhengig av musikalsk trening. Hva man følger etter i lyden, ser derimot ut til å variere. Noen fokuserer på lydproduserende handlinger, andre følger mer overordnede kvaliteter i musikken. Dette vil nok i stor grad være avhengig av musikalsk trening og erfaring. Det må bemerkes at mennesker opererer med mange forskjellige nivåer på en gang, og denne kompleksiteten er ikke enkel å fange opp i kontrollerte studier som vi har sett på her.

Disse begrensede studiene viser at alle, uavhengig av musikalsk trening og erfaring, opplever koblinger mellom bevegelse og lyd, og at alle er i stand til å bevege seg etter lyden de hører. Dette støtter ideen om at koblinger mellom bevegelse og lyd er en integrert del av vår opplevelse av musikk. Også det at deltagerne som kalte seg selv ”umusikalske”, ikke hadde noen problemer med å følge overordnede egenskaper i den musikalske lyden, støtter opp under dette.

Les mer

7. Koblinger mellom handling og lyd

Et glass som faller

Tenk på en hånd som holder et vannglass, og som deretter slipper glasset slik at det faller mot gulvet. Mens det fremdeles er i luften, vil du kunne forestille deg både det visuelle og lydlige resultatet når glasset treffer gulvet og knuser. Siden du vet at lyden som kommer, kan være ubehagelig, forsøker du kanskje å dekke ørene for å beskytte hørselen. Denne intuitive forståelsen av sammenhengen mellom objekter, handlinger som utføres med objektene, og lyden som oppstår av handlingen, er basert på det vi kan kalle en kobling mellom handling og lyd. Vi kan skille mellom to hovedtyper av slike koblinger:

• En naturlig handling–lyd-kobling er basert på en mekanisk overføring av energi mellom objekter. Slike koblinger finner man i naturen.
• En kunstig handling–lyd-kobling er basert på en elektronisk overføring av tall fra en sensor til en lydenhet. Slike koblinger finner man i elektroniske instrumenter, datamaskiner, osv.

Disse definisjonene beskriver oppbygningen av en kobling og ikke vår oppfattelse av resultatet av koblingen. Vi kan forklare forskjellen mellom en naturlig og en kunstig kobling ved å sammenligne et digitalt og et akustisk piano. I et akustisk piano finner man en naturlig kobling, ettersom lyden skapes ved hjelp av et mekanisk system der man slår an en tangent, og energien overføres videre til en hammer som slår an en streng. I et digitalt piano er det derimot ingen direkte energioverføring mellom handling og lyd. Energien som skapes når man slår ned tangenten, registreres av en sensor som sender digital informasjon videre til en lydenhet som produserer lyden.

Selv om opplevelsen av en kobling på et digitalt piano kan oppleves som naturlig, vil den allikevel skille seg fra koblingen man finner i et akustisk instrument. En kunstig kobling vil aldri kunne være så sterk som en naturlig kobling, hverken fysisk eller perseptuelt. Uansett hvor bra et digitalt piano er konstruert, og uansett hvor naturlig det måtte høres ut, så vil koblingen brytes i det øyeblikket strømmen til instrumentet kuttes. Et akustisk piano derimot vil alltid gi en eller annen form for respons. Man får til og med en fysisk og lydlig tilbakemelding fra instrumentet selv om strengen man spiller på har røket. Denne grunnleggende forskjellen mellom naturlige og kunstige koblinger vil stå sentralt i resten av diskusjonen i dette kapitlet.

Naturlige koblinger

Grunnlaget for en naturlig kobling mellom handling og lyd er at det må være minst to objekter og én lydproduserende handling involvert, slik som det er skissert i figur 52. Et objekt brukes her for å beskrive alle fysiske objekter som kan brukes til lydproduksjon. Dette kan være for eksempel en hånd, et vannglass, en trommestikke, eller en pianohammer. I en naturlig sammenheng er det de materielle egenskapene til objektene, og de mekaniske eller biomekaniske egenskapene til handlingene, som er grunnlaget for lyden som produseres. Gjennom vår erfaring med forskjellige objekter og handlinger har vi bygget opp en forståelse for slike akustiske og mekaniske egenskaper. Det er denne forståelsen som ligger til grunn for vår evne til å forestille oss det klingende resultatet av en lydproduserende handling.

En viktig del av den økologiske psykologien til Gibson (som beskrevet i kapittel 1) er basert på at et objekt har egenskaper som muliggjør en bestemt type handling med objektet. Gibson (1977) brukte begrepet affordance om dette på engelsk. På norsk kan dette begrepet oversettes til oppfordringsegenskaper (Helstrup og Kaufmann 2000). Ofte holder det med å se på et objekt for å forstå hvordan objektet skal brukes. Hvis man for eksempel ser en krakk, vil det være naturlig å tenke at man kan sitte på den. ”Å sitte” vil dermed være en av oppfordringsegenskapene til krakken.

Ettersom det er en så tett kobling mellom handling og lyd, er det mulig å argumentere for at et objekt også har lydlige oppfordringsegenskaper. Hvis vi går tilbake til eksemplet med glasset som slippes mot gulvet, så vil denne handlingen alltid lede til lyden av glass som treffer bakken. En slik handling vil aldri resultere i lyden av en ringeklokkelyd. Dette er fordi et slikt lydlig resultat ligger klart utenfor forventede koblinger mellom handling og lyd. Resultatet ville bli at vi måtte lete etter andre forklaringer på hvor lyden kom fra, for eksempel at noen ringte på døren. Digital teknologi har derimot åpnet for at vi kan skape mange flere lydlige resultater, siden det ikke er noen mekaniske og akustiske begrensninger knyttet til objektene og handlingene som er i bruk. Dette gjør at kunstige koblinger mellom handling og lyd skiller seg tydelig fra de naturlige koblingene.

I Gibsons teori ligger også muligheten for at et objekt kan oppfordre til flere forskjellige handlinger. En krakk kan brukes til å sitte på, men den kan også brukes som bord ved behov. På samme måte kan vi si at objekter kan tilby flere lydlige resultater. Vi vil anta at glasset knuser når det treffer gulvet. Hvis glasset derimot er laget av plast, er det naturlig at det bare vil ”sprette”. At et glass spretter istedenfor å knuse ville være overraskende, men det ville allikevel ligge innenfor rammene av det vi kan forvente av et glass. Vår forståelse av objektene vi omgir oss med er ofte omtrentlige, så det er mulig å snakke om en palett av forskjellige koblinger mellom handling og lyd. En slik palett har tydelige grenser som definerer hvilke typer lyder vi kan forvente oss når det handles med bestemte objekter.

For å forstå mer av hvordan vi oppfatter naturlige koblinger, må vi først se nærmere på deres konstruksjon og produksjon. Figur 53 viser en skjematisk oversikt over utførelsen av en lydproduserende handling, for eksempel å slå på en tromme med hånden. Dette forløpet begynner med nevral aktivitet i hjernen etterfulgt av fysiologisk aktivitet i en serie med muskler. Dette leder videre til biomekanisk aktivitet i de involverte kroppsdelene (for eksempel arm og hånd) etterfulgt av selve anslaget når hånden treffer trommeskinnet. Når trommeskinnet eksiteres, begynner det å vibrere, og lyden skapes.

Legg merke til at det fra alle nivåer i forløpet skissert i figur 53 er tilbakemelding til brukeren. Denne tilbakemeldingen kan ses på som del av det Gibson (1979) kalte en aktiv kognisjonsprosess. Tanken her er at vi hele tiden bruker sansene våre for å korrigere handlingene vi utfører. Et eksempel på dette fra musikalsk utøvelse er hvordan det ofte er nødvendig å gjøre små justeringer i anslaget for å kunne tilpasse seg til varierende mikrodetaljer. Her er det tilbakemeldingen fra de forskjellige nivåene i forløpet som hjelper oss å korrigere handlingen.

I kapittel 2 så vi på en modell for hvordan en handling er bygget opp av en eksitasjon med et prefiks og et suffiks (figur 5). Prefikset er den delen av anslaget som skjer før eksitasjonen, mens suffikset er returen tilbake til baseposisjon eller en overgang til neste prefiks. Godøy (2009) argumenterer for at prefikset og suffikset spiller en viktig rolle i både utøving og sansning av en lydproduserende handling. Prefikset er med på å skape en forventning om hva som kommer til å skje i eksitasjonsøyeblikket. Tilsvarende vil vi i eksitasjonsøyeblikket sette opp en forventning om hvordan suffikset vil forløpe, samt se begynnelsen av et nytt prefiks. For eksempel, når vi ser en perkusjonist løfte en paukekølle, vil vi forvente at det snart kommer en kraftig lyd. Vi vil også forvente at energinivået i suffikset skal tilsvare energinivået i prefikset samt det klingende resultatet. På den måten kan vi si at både prefikset og suffikset hjelper oss med å justere vår persepsjon av lyden

Med utgangspunkt i de tre forskjellige handlingstypene som ble beskrevet i kapittel 2, kan vi definere tre likelydende handling–lyd-typer: impulsiv, utholdt og iterativ (Godøy 2006). En skjematisk oversikt over disse tre typene er vist i figur 54. Den stiplete linjen indikerer hvor eksitasjonen skjer, og viser at lyden alltid oppstår litt etter at handlingen er påbegynt. Dette er fordi det kreves noe energitilførsel for at det klingende objektet skal begynne å resonnere. Tilsvarende er det vanlig at lyden varer lenger enn eksitasjonshandlingen, på grunn av resonans og klang i instrument og rom.

Impulsive handlinger er basert på en diskontinuerlig energioverførsel, og den etterfølgende lyden resulterer også i et raskt lydlig anslag etterfulgt av en utdøende resonans. Impulsive koblinger er vanlige i perkusjons- og tangentinstrumenter samt på strengeinstrumenter som spilles med fingrene. De utholdte koblingene er basert på en lang eksitasjonsfase der det er en kontinuerlig energioverførsel mellom de involverte objektene. Her skapes det lyd gjennom store deler av eksitasjonsfasen. Dette er vanlig i de fleste stryke- og blåseinstrumenter.

Iterative koblinger er en kombinasjon av de to foregående typene. Eksempler på iterative koblinger finner man i perkusjonsinstrumenter som guiro, cabasa og klokkespill. Her er eksitasjonen basert på en utholdt handling, men instrumentet er konstruert slik at denne handlingen leder til en serie av korte og impulsive anslag. Det er også mulig å observere slike iterative koblinger i andre sammenhenger, for eksempel ved raske håndbevegelser i gitarspill, eller en trille på et piano.

Meningen med en klassifikasjon av forskjellige koblinger mellom bevegelse og lyd er ikke å gruppere instrumenter, men snarere ha en modell for å forstå hvordan vi oppfatter forskjellige lydkvaliteter med utgangspunkt i de lydproduserende handlingene. Det finnes derfor mange eksempler på instrumenter som dekker alle de tre typene. På fiolin kan man spille impulsiv pizzicato, utholdt legato og iterativ tremolo. At disse tre spilleteknikkene kan identifiseres fra det lydlige resultatet, noe som vitner om at vi har en klar forståelse av koblingen mellom handling og lyd.

Persepsjon av handling–lyd-koblinger

Ikke bare er vi mennesker flinke til å raskt identifisere naturlige lyder som kommer fra forskjellige objekter og handlinger, men vi kan også assosiere forskjellige kvaliteter til lydene vi hører (Gaver 1993a, 1993b). I eksemplet med glasset som faller i gulvet, kan lyden i seg selv gi oss informasjon om alt fra hvilket materiale glasset er laget av, underlaget det traff, avstanden det falt, om det ble kastet eller sluppet osv. Når det gjelder menneskestemmer har den svenske psykologen Patrik Juslin funnet at lyden av stemmen er nok til at vi kan si noe om en persons kjønn, alder, oppvekststed, sosial status og helse (Juslin og Scherer 2005). Det at vi er i stand til å identifisere egenskaper basert på lyd, gjelder ikke bare når vi lytter aktivt til en lyd, men også når vi registrerer lyder i hverdagen (Rocchesso og Fontana 2003). Fra et økologisk perspektiv er dette viktig læring, ettersom evnen til å gjenkjenne og identifisere lydkilder er viktig for vår overlevelsesevne.

I tillegg til at vi kan identifisere egenskapene til objekter og handlinger fra lyd, er vi også ut fra erfaring dyktige til å forestille oss hvordan en lyd vil høres ut bare ved å se objekter og handlinger. For å forklare slik multimodal sansning av handling og lyd, foreslo Godøy (1997) en modell som viser hvordan handling, lyd og våre mentale bilder av både handling og lyd er knyttet sammen (figur 55). Bruken av begrepet mentalt bilde refererer her til en opplevelse som minner om en perseptuell opplevelse, men uten et eksternt sanseinntrykk. Slike mentale bilder er multimodale, og er ikke bare knyttet til én sans slik ordet kan henlede en til å tro. Snarere kan mentale bilder ses på som et begrep som forklarer evnen til å ”se gjennom det indre øyet” eller ”lytte i hodet”.

I Godøys modell kan lytting forstås som en kontinuerlig og multimodal prosess der den musikalske lyden blir kodet om til multimodale bilder av handling–lyd-koblinger (Godøy 2006). Ideen er ikke at vi ser et objekt, for eksempel en fiolin, når vi hører fiolinlyd, men snarere at vi får en fornemmelse av objektene og handlingene som er involvert i produksjonen av lyden. Legg merke til at det er en toveis kommunikasjon i modellen, noe som betyr at de mentale bildene av handling–lyd-koblinger ikke bare er resultatet av å lytte til den musikalske lyden, men at de også er aktive i selve lytteprosessen.

Godøy (2001) har videre foreslått at våre mentale bilder av handling–lyd-koblinger kan deles i motorbilder og materialbilder (figur 56). Her er motorbildene en mental fremstilling av eksitasjonen i den lydproduserende handlingen, mens materialbilder er en fremstilling av resonansen som oppstår som resultat av handlingen. Til sammen dekker motorbilder og materialbilder kvaliteter i både lydproduserende handling og objekt.

Godøys modeller av koblinger mellom handling og lyd bygger på det som kalles motorteorier om talepersepsjon. I disse teoriene forsøker man å forklare hvordan vi oppfatter tale ved hele tiden å simulere det vi hører i vokaltrakten (Liberman og Mattingly 1985). Disse motorteoriene møtte stor motstand opp gjennom årene, men fikk fornyet interesse etter at gruppen til den italienske hjerneforskeren Vittorio Gallese fant et område i hjernen med det de kaller speilnevroner (Gallese et al. 1996). Dette ble funnet gjennom studier på aper, og forskerne fant at et bestemt sett nevroner i hjernen ble aktivert både når en ape utførte en målrettet handling, og når den observerte en tilsvarende handling bli utført av en annen ape.

Det virker med andre ord som om vi mentalt ”simulerer” handlingene vi ser, noe som kan forklare hvordan vi kan lære bare ved å observere andre utføre en handling. Slike speilnevroner kan også forklare vår evne til å forutse hva som kommer til å skje når vi ser begynnelsen av en handlingssekvens, ettersom vi mentalt simulerer handlingen og dermed kan forestille oss det forventede utfallet. Wilson og Knoblich (2005) argumenterer for at en lignende simulering pågår parallelt med at vi utfører egne handlinger. Denne mentale simuleringen brukes for å hjelpe oss til å justere våre handlinger underveis i forløpet.

I det videre arbeidet med speilnevroner, har forskningsgruppen til Gallese også funnet det de kaller audiovisuelle speilnevroner i hjernen hos aper. Her fant de at disse speilnevronene ble aktivert enten apen bare hørte lyden, bare så handlingen, eller både hørte lyden og så den lydproduserende handlingen (Kohler et al. 2002; Keysers et al. 2003). Dette støtter dermed teorien om at det er en tett kobling mellom handling og lyd.

De ovennevnte eksperimentene ble utført på aper, men det er også studier som har vist tilsvarende motorområder i menneskehjernen. Ved hjelp av en medisinsk bildeteknikk som kalles positronemisjonstomografi (PET), fant Rizzolatti og Arbib (1998) at speilnevroner ble aktivert under talepersepsjon. Det har også blitt vist at hjerneaktiviteten hos forsøkspersoner var lik når de bare lyttet til tale eller musikk, og når de også nynnet til musikken (Hickok et al. 2003).

Noen av de tidlige studiene av audiovisuelle speilnevroner ble kritisert for bare å fokusere på korte, hverdagslige lyder som klapping eller banking. Men det har også vært studier av mer komplekst lydmateriale. Haueisen og Knösche (2001) brukte en teknikk som heter magnetoencefalografi (MEG) for å måle hjerneaktivitet og fant at pianister viste ufrivillig motoraktivitet når de lyttet til stykker som de kjente godt. Med andre ord ”spilte” pianistene stykket i hodet mens de lyttet.

En nyere studie viser en lignende type ufrivillig motoraktivitet også hos ikke-musikere (Lahav et al. 2007). Eksperimentet begynte med at ikke-musikere øvde inn en melodi på piano etter gehør. Etter dette viste funksjonell magnetresonanstomografi (fMRI) at motorområder i hjernen ble aktivert når personene lyttet til den melodien de hadde øvd inn, selv om de satt helt stille. Denne aktiveringen skjedde bare når de lyttet til den samme melodien som de hadde øvet inn; variasjoner av melodien resulterte i lite eller ingen aktivering. En stadig økende grad av nevrovitenskapelige undersøkelser støtter opp under ideen om at koblinger mellom handling og lyd ikke bare er en teoretisk mulighet, men snarere en integrert del av vårt kognisjonsapparat.

Kunstige handling–lyd-koblinger

Naturlige koblinger mellom handling og lyd er basert på de mekaniske og akustiske egenskapene til objektene og handlingene som er involvert. Men vi omgir oss i økende grad også med en rekke kunstige handling–lyd-koblinger som er designet og laget elektronisk. Vi kan skille mellom tre forskjellige hovedtyper av slike kunstige koblinger:

• direkte
• indirekte
• virtuelle

De direkte koblingene inkluderer alt fra ringeklokker til mobiltelefoner og elektroniske musikkinstrumenter. I slike enheter blir lyden produsert elektronisk og kommer ut gjennom en høyttaler i eller i nærheten av enheten. Interaksjonen med enheten skjer gjerne gjennom en form for mekanisk kontrollenhet, slik som en knapp, bryter eller joystick.

Indirekte koblinger finner man på datamaskiner og i dataspill. Her bruker man gjerne en fysisk kontroller til interaksjon, men denne kontrolleren er ofte løsrevet fra interaksjonen man gjør på skjermen. Et eksempel på dette er når man bruker en joystick til å styre et bilratt på skjermen. Her vil bevegelsene man gjør med joysticken være annerledes enn det man ville gjort med et bilratt. Interaksjonen fungerer allikevel ettersom vi lærer å tilpasse de fysiske bevegelsene vi gjør til de animerte bevegelsene vi ser på skjermen. Selv om mange dataspill benytter generelle kontrollere (joystick, gamepad, osv.), finnes det også en del spesialdesignede kontrollere der det er en tilnærmet en-til-en-relasjon mellom den fysiske og den virtuelle verden. Eksempler på dette er bilratt og pedaler, flykontroller, pistoler, gitarer, osv.

Virtuelle koblinger finner man i film og på TV. Her utfører vi ikke selv en handling, men vi observerer handlinger som skjer i et annet medium. Disse koblingene skiller seg allikevel fra naturlige koblinger som vi observerer i den virkelige verden, ettersom vi ikke kan være sikre på hvor stabil koblingen er når den er gjengitt gjennom et medium som en TV-skjerm. Asynkront bilde og lyd i en TV-sending viser hvordan en slik virtuell kobling skiller seg fra en naturlig. Andre eksempler kan være hvordan kunstige lydeffekter legges på for å skape en ny kobling mellom handling og lyd.

Som nevnt tidligere er vår persepsjon av naturlige koblinger styrt av vår kunnskap om, og erfaring med, de materielle egenskapene til de involverte objektene og de mekaniske egenskapene til handlingene som utføres. Dette er kunnskap som kontinuerlig utvikles i vårt møte med nye objekter og handlinger. Tilsvarende kan vi si at vår kunnskap om kunstige koblinger kontinuerlig oppdateres, ettersom vi omgir oss med stadig mer teknologi. Allikevel kan det argumenteres for at slike kunstige koblinger aldri vil kunne oppleves som like sterke som de naturlige koblingene. Den viktigste grunnen er at vi ikke kan stole på stabiliteten til den kunstige koblingen. Tenk for eksempel på en elektronisk ringeklokke. Den direkte kunstige koblingen i ringeklokken virker intuitiv og sterk ettersom man alltid får en umiddelbar respons når man trykker på knappen. Men uansett hvor mange ganger ringeklokken har virket, kan man aldri være sikker på at den kommer til å fungere neste gang. Uten elektrisitet kommer det ingen lyd når man trykker på knappen. Ettersom vi har lært oss at det er en kunstig kobling i ringeklokken, vil ikke dette føles som et brudd mot naturlovene, vi vil snarere tenke på forskjellige forklaringer på hvorfor det ikke kommer lyd. Én grunn kan være at strømmen har gått, en annen kan være at en del av mekanismen har sluttet å fungere. Vi vil bli overrasket, men ikke på samme måte som hvis det ikke kommer lyd når man mister et glass i gulvet.

Som nevnt over kan vi snakke om en palett av mulige koblinger mellom handling og lyd i en enhet. For naturlige koblinger er disse mulighetene begrenset av de akustiske egenskapene til objektene og de mekaniske egenskapene til handlingene som er involvert. Et glass som knuser, vil være begrenset av materialet, størrelsen og formen til glasset, samt høyden det falt fra. Disse parametrene kan variere noe, men antallet mulige koblinger er allikevel begrenset. Paletten til kunstige koblinger er derimot tilnærmet uendelig. Før vi trykker på en dørklokke, har vi ingen mulighet til å forutsi om lyden som kommer, vil være ”ding dong”, ”pip”, ”brrrrr” eller en kort melodi. Dette er rett og slett fordi vi vet at det er snakk om en kunstig kobling, og vi har lært oss til at de kan variere mye. Vi vil kanskje forvente et ”ding dong”, men vi blir ikke overrasket hvis det spilles en melodi. På den måten kan vi si at en melodi oppleves som perseptuelt svakere enn det ”ding dong” ville ha gjort. Kunstige koblinger kan derfor variere fra å være perseptuelt sterke til å være perseptuelt svake, slik som skissert i figur 57.

I musikalsk sammenheng ser vi at konstruksjon av nye handling–lyd-koblinger, både naturlige og kunstige, er en viktig del av den kreative prosessen hos komponister og utøvere. Musikkhistorien er full av eksempler på hvordan nye koblinger kan lede til spennende musikalske uttrykk. Dette har vært gjort ved å utvikle nye instrumenter, både akustiske og elektroniske. Det har også vært gjort ved å utvide klangmulighetene på de eksisterende instrumentene. Én måte å gjøre dette på er ved preparere et instrument med forskjellige mekaniske deler slik som mynter, binderser, stålull osv. En annen er å bruke forskjellige effektpedaler eller en datamaskin for å forandre lyden som spilles.

I noen tilfeller kan slike utvidelser av handling–lyd-koblinger bli så vanlige at de regnes som en standardisert del av et instrument. Det er for eksempel vanskelig å forestille seg en rockegitarist uten forskjellige effektpedaler. I den senere tiden har det også blitt vanlig at datamaskiner overtar en del av funksjonene som separate bokser har hatt tidligere, samt åpner for mer avansert lydbehandling. Slike nye koblinger mellom handling og lyd kan i noen tilfeller fungere godt, men ikke alltid. Eksempler på dette er digitale musikkinstrumenter der koblingen mellom kontroller og lydenhet er svak. I dag ser man ofte at pianolignende kontrollere brukes til å styre alle former for elektronisk lyd. Resultatet kan være at koblingen ikke føles naturlig eller spennende hverken for utøver eller for publikum. Det er derfor et stigende behov for et mer bevisst forhold til design av handling–lyd-koblinger, noe vi skal se nærmere på i kapittel 8.

Sammendrag

I dette kapitlet har vi sett på forskjellen mellom naturlige og kunstige handling–lyd-koblinger. Det lydlige resultatet i en naturlig kobling er basert på de mekaniske egenskapene til handlingen og de akustiske egenskapene til objektene som er involvert. Vår livslange erfaring med naturlige koblinger danner grunnlaget for vår evne til å forestille oss lyden av en handling vi bare ser, eller forestille oss handlingen til en lyd vi bare hører. Dette gjør vi ved hjelp av multimodale mentale bilder som representerer både bevegelse og lyd. En slik teoretisk modell støttes av funnet av audiovisuelle speilnevroner i hjernen. Dette er nevroner som aktiveres når man ser en lydproduserende handling, hører lyden av handlingen eller både ser og hører handlingen. Kunnskap om naturlige koblinger mellom handling og lyd er viktig når man designer kunstige koblinger i elektronikk. Ettersom de kunstige koblingene kan designes fritt, vil koblingens perseptuelle kvalitet være avhengig av hvordan den ligner på, eller bryter med, naturlige koblinger som den minner om.

Les mer

8. Design av handling og lyd

Handling–lyd-koblinger i musikk og film

I forrige kapittel så vi på hvordan naturlige koblinger mellom handling og lyd er bygget opp, og hvordan vår mentale representasjon er knyttet til både handlingen og lyden. Nettopp denne sterke koblingen mellom handling og lyd kan brukes aktivt for å forsterke, men også for å forvirre, sansene våre. Komponister kan bruke disse koblingene aktivt i arbeidet med å utvikle nye og spennende klanger, både akustisk og elektronisk. Mange orkesterkomponister arbeider med utvidelser av klangkvaliteter ved å blande lydene fra forskjellige instrumentgrupper. Et eksempel på en slik utvidelse kan være å legge en lang, utholdt tone til et impulsivt anslag. På den måten vil man få en sammensatt lyd som er både impulsiv og utholdt på samme tid.

Eksperimentering med nye og sammensatte klanger står sentralt i mye av den elektroakustiske musikken, musikk som skapes elektronisk og spilles av over høyttalere. Mye av forskningen innenfor dette feltet dreier seg om utviklingen av teknikker for å skape lyder som utfordrer vår økologiske kunnskap om naturlige handling–lyd-koblinger. Et eksempel på dette er lydmodellen blotar, en kombinasjon av fløyte, elektrisk gitar og mandolin (Cook 1997). Når man hører en slik lyd, kan man oppleve flere forskjellige og motstridende mentale bilder, noe som kan åpne for en spennende musikalsk opplevelse.

Ved hjelp av digital signalbehandling er det mulig å ta utgangspunkt i en naturlig lyd, for så å forandre den på forskjellige måter. I elektronisk dansemusikk hører man ofte symballyder som spilles baklengs. Et slikt reversert anslag utfordrer vår økologiske erfaring med prefiks, eksitasjon og suffiks ved å snu på rekkefølgen. Resultatet kan være at man får en kroppslig reaksjon som skaper spenning og intensitet i musikkopplevelsen.

Design av handling og lyd er en viktig del av TV- og filmproduksjoner. I de fleste filmer blir lyden designet for å virke så naturlig som mulig og for å gi publikum en bedre totalopplevelse. Filmlyd tas gjerne opp, eller lages kunstig, helt uavhengig av bildene. Ofte dubbes stemmene til skuespillerne, det vil si at dialogen tas opp i ettertid mens skuespilleren forsøker å synkronisere med leppebevegelsene. Tilsvarende skaper foley-artistene de andre lydene, som fottrinn, dører som åpnes og lukkes, eksplosjoner osv. Det er ikke uvanlig at andre materialer og handlinger enn de opprinnelige, blir brukt for å skape den ”riktige” lyden. Dette er fordi man har funnet at et autentisk opptak ikke virker naturlig når det spilles av over høyttaleranlegget i en kinosal.

I film kan handling–lyd-koblinger strekkes til det ekstreme. Komedier og animasjonsfilmer bruker ofte sterkt overdrevne koblinger for å skape spenning eller humor. I tegnefilmer lydsetter man ofte at en person faller ved å spille en nedadgående tone etterfulgt av et stort brak idet personen treffer underlaget. Lignende overdrevne koblinger ble også brukt i slapstick-komedier, og allerede i stumfilmens dager var det vanlig at akkompagnatøren la inn lydlige hendelser som støttet opp under eller kontrasterte med handlingen. I de fleste slike tilfeller er lyddesignet så overdrevet at vi umiddelbart forstår det morsomme i situasjonen. Ved i tillegg å legge til kunstig latter i bakgrunnen, som er populært i mange TV-serier, ønsker produsenten å skape en opplevelse av at vi ser på serien sammen med et større publikum. Lydeffektene brukes da aktivt for å simulere personer og handlingsaktivitet som ikke egentlig er til stede.

Handling-lyd-koblinger kan brukes for å skape en tvetydig effekt i filmer. En vanlig overgangsteknikk mellom scener er å klippe inn lyden av neste scene noen sekunder før bildet kommer. Her skaper lyden en forventning om hva som kommer til å skje, enten det er lyden av omgivelser eller av noen som snakker. Andre eksempler er hvordan to lyder kan gli over i hverandre i overgangsscener. Et kjent eksempel på dette er åpningen av Apocalypse Now (Coppola 1979) der lyden og bildet av et helikopter blandes sammen med lyd og bilde av en vifte på rommet. Dette skaper en tvetydig situasjon både for hovedpersonen, men også for de som ser på. Her er det igjen vår økologiske erfaring med forskjellige lyder og handlinger som påvirker måten vi oppfatter de kunstige koblingene.

Lydinteraksjonsdesign

Design av koblinger mellom lyd og handling i musikk og film har mye til felles med fagfeltet lydinteraksjonsdesign. Innen det generelle feltet interaksjonsdesign er fokuset å skape interaksjon mellom bruker og produkt, der produktet kan være alt fra en melkekartong til en nettleser på en datamaskin. Målet er å se på hvordan man kan utforme dette produktet slik at det blir enklest og best mulig tilgjengelig for brukeren. I lydinteraksjonsdesign er målet å se hvordan lyd kan spille en vesentlig rolle i designet.

Mange av hovedutfordringene innen interaksjonsdesign er beskrevet i boken The design of Everyday Things av Donad A. Norman (1990). Her tar Norman et oppgjør med dårlig design og viser til en rekke eksempler på hvordan hverdagslige ting, alt fra dørhåndtak til telefoner, kan designes bedre. Med utgangspunkt i en Gibsoniansk tenkemåte fokuserer Norman på at vi må designe objekter slik at man umiddelbart kan forstå hvordan det skal brukes.

Norman trekker frem et miksebord som et eksempel på et lite brukervennlig design. De fleste miksebord er konstruert med en rekke rader av brytere, knapper og lys. Dette ser kanskje logisk og helhetlig ut, og det er enkelt å montere og billig å bygge, men uendelige rader med rekker av identiske brytere kan forvirre. Selv om mange mennesker har lært seg å bruke miksebord effektivt, kan man undre seg over at det ikke har blitt designet bedre og mer intuitive systemer for å kontrollere lyd. Tvert imot er mye av den kommersielt tilgjengelige musikkteknologien designet ut fra de tekniske begrensningene til komponentene man hadde til rådighet for flere tiår siden.

Når det gjelder design av kunstige koblinger mellom handling og lyd kan vi identifisere to forskjellige designstrategier: praktisk eller spennende. En praktisk designstrategi fokuserer på å skape kunstige handling–lyd-koblinger som ligger tettest mulig opp til naturlige koblinger. En slik designtilnærming vil være viktig når man designer systemer der effektiv kommunikasjon og interaksjon er det mest sentrale, for eksempel i varslingsanlegg eller kontrollsystemer der det ikke bør skje feil. Strategier som fokuserer på et spennende design, finner man ofte i underholdingselektronikken. Her er det viktigste å skape interessante, morsomme og overraskende koblinger, og det legges mindre vekt på om koblingene kan forstås av brukeren.

Disse to designstrategiene kan ses på som uavhengige og til en viss grad motstridende kategorier. Den praktiske siden fokuserer hovedsakelig på å skape koblinger som gjør at designet virker enkelt og intuitivt å bruke. Den spennende siden er mer opptatt av å skape en interessant opplevelse. Når det gjelder opplevelsen, kan man fra brukerens perspektiv se at de praktiske koblingene ofte kan oppleves som kjedelige og lite interessante, mens de spennende koblingene ofte kan være så lite fundert i en økologisk tradisjon at de er vanskelige å forstå og derfor fremstår som kaotiske. Utfordringen blir å finne en balanse mellom disse to sidene, slik at praktisk design kan føles interessant, og spennende design kan virke naturlig.

I kapittel 7 så vi at kunstige koblinger aldri kan bli like sterke som de naturlige. Hvis vi ønsker å skape praktiske koblinger kan det derfor være en fordel å ta utgangspunkt i en naturlig kobling når vi designer en kunstig kobling. I tilfeller der interaksjonen i seg selv forsøker å simulere en naturlig kobling, slik som i et digitalt piano, er utfordringen å utvikle løsninger som kommer så nærme som mulig til den koblingen man forsøker å simulere. I tilfeller der det ikke finnes noen naturlig handling–lyd-kobling å sammenligne med, kan det være verdt å se på noen av de underliggende kvalitetene i interaksjonen. For eksempel burde en impulsiv handling styre en impulsiv lyd, og en utholdt handling burde styre en utholdt lyd. På samme måte bør klangkvalitetene og lydstyrken til lyden tilpasses til egenskapene til den lydproduserende handlingen. Dette kan virke som et enkelt prinsipp, men realiteten er at veldige mye lydinteraksjonsdesign ikke tar hensyn til dette. Dårlig design av handling–lyd-koblinger finner vi ikke bare i minibanker eller mobiltelefoner, men også i mange elektroniske instrumenter.

Instrumenter

Musikkinstrumenter, både akustiske og elektroniske, kan ses som et bindeledd mellom handling og lyd (figur 58).

I et akustisk instrument produseres lyden ved å tilføre energi til et objekt som så begynner å vibrere. Et elektronisk instrument er bygget opp av en kontroller, en lydenhet og koblingene mellom kontrolleren og lydenheten (figur 59). Betegnelsen kontroller refererer her til den fysiske enheten som man utøver med. En kontroller kan ikke produsere lyd i seg selv, den bare registrerer en handling og sender informasjon om denne handlingen videre til lydenheten. Lydenheten kan være en fysisk boks som inneholder elektroniske komponenter som skaper eller forandrer lyd (effektpedal, synthesizer osv.), eller den kan være et program som kjører på en datamaskin.

Det er mulig å kjøpe ferdige elektroniske instrumenter, for eksempel et keyboard, men det er også blitt vanlig å kjøpe kontrollere og lydenheter separat. Da er utfordringen å finne ut hvilke kontrollsignaler som skal styre hvilken type lyd, altså skape en kunstig handling–lyd-kobling. Dette skiller seg radikalt fra designet av akustiske instrumenter der kontrollenheten og lydenheten vanskelig lar seg skille. Når man bygger en akustisk gitar, er halsen og gripebrettet nødvendigvis en del av det klingende instrumentet, og dette må det tas hensyn til i konstruksjonen. Ettersom det ikke finnes noen direkte kobling mellom kontrolleren og lydenheten i et elektronisk instrument, må man rett og slett teste ut forskjellige koblinger for å se hva som fungerer. Design av elektroniske instrumenter gjør det derfor mulig å eksperimentere med koblinger mellom handling og lyd.

Frikoblingen av handling og lyd i elektroniske instrumenter kan på mange måter ses som en lettelse, siden kontrollere og lydenheter kan utvikles i separate prosesser. Men det skaper også utfordringer når det gjelder hvordan utøver og publikum opplever koblingene som er laget. En designprosess som ikke tar hensyn til koblingenes betydning, vil nødvendigvis resultere i et instrument som ikke oppleves særlig intuitivt.

Vi kan identifisere tre retninger innen dagens kommersielle musikkontrollere:

• Kontrollere som er basert på tangentinstrumenter. Variasjonen ligger her i størrelsen på klaviaturet, om det er lette eller tunge tangenter, samt antall ekstra knapper og brytere.
• Kontrollere som er basert på miksepulter. Her synes det som om målet er å få inn så mange knapper og brytere som mulig.
• Andre typer kontrollere. Disse kan være basert på akustiske instrumenter, for eksempel blåsekontrollere og trommekontrollere, eller et friere design.

Det er særlig de to første kategoriene som har stor utbredelse. Slike kontrollere kan være hensiktsmessige til mange formål, men et ensidig fokus på kontrollere med mange knapper og brytere påvirker også i stor grad musikken man kan lage med denne teknologien. Eksempler på dette kan ses i mange elektroniske instrumenter der man bruker pianolignende kontrollere for å styre alle former for lydenheter. Hvis man styrer fiolinlyd med pianobevegelser, vil nok dette oppleves som en unaturlig kobling for mange, ettersom det bryter med den grunnleggende forståelsen av sammenhengen mellom handling og lyd.

Problemet med MIDI

Piringer (2001) argumenterer for at selv om bruken av musikkteknologi har eksplodert de siste tiårene, så har innovasjonen gått sterkt tilbake. Dette kan til en viss grad tilskrives MIDI-standarden som ble introdusert i 1983. MIDI, eller Musical Instruments Digital Interface som forkortelsen står for, fungerer fremdeles som standard i de fleste kommersielle musikkteknologisystemer. MIDI revolusjonerte bransjen ved å åpne for en enkel og standardisert måte å sende informasjon fra kontrollere til lydenheter, slik at en hvilken som helst kontroller kunne brukes til å styre en lydenhet. Selv om det ikke var spesifisert i den opprinnelige standarden, gjorde General MIDI (GM) og GS-spesifikasjonene fra Roland det mulig å standardisere hvilke klangfargemuligheter de fleste MIDI-baserte systemene skulle støtte. Dette gjør det mulig å spille MIDI-filer på forskjellige systemer med tilnærmet samme lydlige resultat.

MIDI er en av de eldste og mest suksessfulle standardene i digital teknologisammenheng. Den store utspredelsen har gjort at standarden fremdeles er i bruk, og det er lite sannsynlig at den blir erstattet i den nærmeste fremtid. Selv om MIDI fungerer fint i seg selv, har standarden noen uheldige begrensninger som gjør det vanskelig å komme vekk fra kontrollere som baserer seg på tangenter eller brytere. Flere av disse begrensningene ble påpekt allerede kort tid etter at MIDI ble introdusert (Loy 1985; Moore 1988). Ett problem var overføringshastigheten mellom systemene, noe som gjorde at det var vanskelig å spille mange toner samtidig uten at det hørtes ut som en arpeggio. Dette har blitt bedre nå som de fleste MIDI-baserte systemene bruker USB-kabler i kommunikasjonen.

Et mer grunnleggende og alvorlig problem med MIDI er at standarden er basert på et temperert 12-tonesystem, og er begrenset til 128 forskjellige toner. Dette holder for å beskrive tangentene på et pianoklaviatur, men gjør det tilnærmet umulig å representere mikrotonalitet, glidende overganger mellom toner og andre former for sammensatte tonebevegelser som er vanlig i de fleste stryke- og blåseinstrumenter. Dette kompliseres ytterligere ved at en tone i MIDI-systemet representeres med én beskjed når en tone slås an (”noteon”), og én beskjed når tonen avsluttes (”noteoff”). Det er mulig å legge inn såkalte ”pitch bend”-beskjeder for å forandre på mikrotonaliteten, men dette må allikevel kobles sammen med en ”noteon”-beskjed for å skape lyden. Problemet ved det er at standarden legger opp til at kontrollere bare sender impulsiv handlingsinformasjon, og åpner i liten grad for å lage kontrollere der lyd kan spilles og modifiseres kontinuerlig. Derfor er størsteparten av dagens kommersielle kontrollere utformet med tangenter som på et piano.

MIDI som standard har vært med på å påvirke måten lyd blir designet på. Nettopp fordi kontrollinformasjonen som sendes, er basert på impulsive handlinger, har utøveren mistet muligheten til å kontrollere lyden kontinuerlig. Dette blir kompensert for ved å designe omhyllingskurver som bestemmer hvordan lyden skal utvikle seg over tid. Resultatet er at når man slår an en tone, så ”spiller” lyden seg selv. En slik funksjon ville vært unødvendig hvis man hadde hatt en kontinuerlig kontroller der brukeren selv kunne tilføre energien som trengs for å holde liv i lyden.

Tilsvarende blir såkalte lavfrekvente oscillatorer (LFO) gjerne tatt i bruk for å variere lyden. En oscillator er en funksjon som endrer seg kontinuerlig over tid, og som dermed egner seg godt for å skape variasjon i et signal. Problemet med slike funksjoner er imidlertid at man mister den direkte kontrollen over lyden, ettersom funksjonen lever sitt eget liv. Dette kunne vært unngått hvis kontrolleren hadde åpnet for en mer kompleks kobling mellom handling og lyd. Så hvis man sammenligner akustiske og elektroniske instrumenter, finner man ofte at de akustiske gir musikeren full kontroll over instrumentet, mens de elektroniske instrumentene brukes for å sette i gang forhåndsprogrammerte funksjoner. Mange tror derfor at elektroniske instrumenter er mindre ekspressive eller ”dårligere” enn akustiske instrumenter, uten at man har reflektert over hva som faktisk skjer i instrumentet.

Mange av de fysiske og teknologiske begrensningene som har ligget til grunn for utviklingen av elektroniske instrumenter, er ikke-eksisterende når man beveger seg over til programvarebaserte instrumenter. Da kunne man tro at økningen innen ny musikkteknologiprogramvare skulle åpne for nye paradigmer og måter å tenke om lydinteraksjonsdesign på. Dette har i liten grad skjedd. Mye ny programvare er basert på å implementere funksjonalitet som man finner i de gamle systemene. Resultatet er virtuelle miksepulter med de samme begrensningene man finner i de fysiske enhetene. Faktisk fungerer ofte slike virtuelle lydenheter dårligere enn de fysiske enhetene de forsøker å kopiere, ettersom man bare har én mus til å styre alle parametrene man før hadde separate knapper og brytere for. Dette har igjen ført til at det produseres stadig nye MIDI-kontrollere med enda flere brytere og knapper for å styre de virtuelle enhetene. Det er derfor behov for å tenke nytt rundt hvordan fremtidens musikkteknologi kan se ut; da bør man sette mennesket, kroppen og menneskets handlinger mer i fokus.

Alternativ musikkteknologi

Som en motvekt til det kommersielle musikkteknologimarkedet har det vokst frem en sterk undergrunnskultur innenfor det som kalles nye instrumenter for musikalsk ekspressivitet (NIME). Utviklingen av nye former for elektroniske kontrollere og instrumenter skjer her både innenfor og utenfor akademiske institusjoner, og det har etter hvert blitt organisert egne konferanser og festivaler der denne nye teknologien presenteres og diskuteres. Det er verdt å legge merke til at mye av denne utviklingen skjer utenfor de mer tradisjonelle musikalske arenaene og med en tverrfaglig tilnærming. Ofte arbeider folk med bakgrunn fra informatikk, psykologi, arkitektur, kunst og musikk sammen om nye tilnærminger til lydinteraksjon i musikalsk sammenheng.

Utviklingen av nye kontrollere og instrumenter forandrer ikke bare måten vi spiller på, men endrer også vår oppfatning av hva musikk er og kan være. Moderne teknologi er her med på å bryte ned grensene mellom utøver og publikum, og gjør at begge disse gruppene kan være delaktige i musikkskapingen. Her kan vi snakke om en form for aktiv musikk, for å låne et begrep fra den amerikanske komponisten og musikkforskeren Tod Machover (2004). En aktiv musikkopplevelse kan være at brukeren selv kan være med på å påvirke musikken innenfor gitte rammer, ved hjelp av teknologi. Dette blir altså en mellomting mellom å passivt ”lytte” til musikk på en mediespiller og å aktivt spille musikk selv på et instrument. Den økte bruken av musikkdataspill, karaokelignende systemer og enkel musikkproduksjonsprogramvare viser at dette er noe mange ønsker.

Mye av dagens musikkteknologiforskning dreier seg om å utforske hvordan vi kan tenke nytt om musikkopplevelsen. Ved Universitetet i Oslo ser vi på hvordan det er mulig å lage musikkteknologi som kan tilpasses brukeren, og ikke at brukeren må tilpasse seg teknologien. Her bruker vi kunnskap fra observasjonsstudiene som ble beskrevet i kapittel 6 til å se hvordan vi kan lage musikalske systemer som kan styres fra kroppen. Ett eksempel er hvordan videoanalyse av kroppsbevegelser kan brukes som utgangspunkt for å styre plasseringen av lyder i et rom fylt av høyttalere. Et annet eksempel er hvordan vi kan bruke en digital penn til å ”tegne” lyder vi ønsker å finne i en stor samling av digitale lydfiler.

Figur 60 viser noen eksempler på alternative musikkinstrumenter som vi har utviklet. Dette er en serie med forskjellige typer musikkballer der det er mulig å lage og styre lyd ved å klemme, riste, trekke og dra i ballene (videoeksempel). Flere slike baller ble satt sammen i et musikktroll, et instrument som åpner for at flere kan spille sammen. Her var tanken å utfordre den vante ideen om at hver utøver har sitt eget instrument som de spiller på. Musikktrollet er konstruert slik at det blir mer spennende å spille på jo flere som spiller sammen.

Disse eksemplene viser at det er mulig å tenke nytt om hvordan et musikkinstrument skal se ut, hvordan det skal brukes og hvordan det skal lyde. De utfordrer også vante ideer om hva musikk er og hvem som kan skape musikk. Her har ny musikkteknologi muligheten til å virke demokratiserende ved å gi flere mennesker muligheten til å glede seg over å skape musikk.

Sammendrag

I dette kapitlet har vi sett på hvordan handling–lyd-koblinger brukes aktivt for å skape både spenning og realisme i film og musikk. Vi har også sett på forskjellige tilnærminger til lydinteraksjonsdesign. En praktisk designstrategi vil være å skape en kunstig kobling som ligger nært opp til en naturlig kobling. Dette vil gjøre at koblingen fremstår som mer intuitiv for brukeren. En designstrategi som legger vekt på en spennende kobling vil kunne være mer interessant, men kan også være vanskelig å forstå for brukeren. Forskning på nye instrumenter for musikalsk ekspressivitet (NIME) forsøker å utfordre vante forestillinger om hva et musikkinstrument er, hvordan det skal spilles og hva slags lyd det lager. Dette åpner for å utforske kunstige koblinger mellom handling og lyd i praksis.

Les mer

Postludium

Denne boken kan ses som en oppsummering av det jeg har lest, lært og gjort de siste årene. Den kan også ses som et første skritt mot studier som ligger foran oss. Jo mer jeg arbeider med musikkrelaterte bevegelser, jo mer ser jeg at slike bevegelser er en integrert del av vår musikkopplevelse. I arbeidet som leder frem til denne boken har fokuset vært å beskrive og forstå musikkrelaterte kroppsbevegelser, og bevegelsenes forhold til musikalsk lyd. Nå som mye av dette grunnarbeidet er gjort, vil det være anledning til å gå nærmere inn på bevegelsenes musikalske funksjon i fremtidige studier.

Det er spennende å se hvordan kroppsbevegelser i løpet av kort tid har gått fra å være en kuriositet i musikkforskningen, til å bli tema på flere store, internasjonale konferanser. Flere bøker er også utgitt om temaet, og flere er på vei. Dette vitner om at kropp og bevegelse begynner å bli akseptert som en naturlig del av musikkfaget. Det kan her være på plass å minne om hva Manfred Clynes skrev allerede for 25 år siden:

There is much music in our lives — yet we know little about its function. […] [T]he coming years are likely to see much progress towards providing answers and raising new questions. These questions are different from those music theorists have asked themselves: they deal not with the structure of a musical score […] but with music in the flesh: music not outside of man to be looked at from written symbols, but music-man as a living entity or system. (Clynes 1982, vii)

Bibliografi