Mobilno-in-interaktivno-učenje-Nauka-o-glasbi-s-pomočjo-nadgrajene-resničnosti

Nauk o glasbi (Solfeggio) z glasbenimi dejavnostmi na vseh nivojih izobraževanja spodbuja razvoj glasbenega posluha, sposobnosti in znanj. Učenci imajo danes na voljo samo klasične tiskane učbenike, ki jim le delno omogočajo uvajanje v razumevanje glasbenega zapisa. Klasično poučevanje poteka tako, da učitelj pred učenci zaigra na inštrument in jih posluša. V Sloveniji in tudi v Evropi še niso razširjene računalniško podprte aplikacije za usvajanje razumevanja glasbenega zapisa. 

V tem projektu smo s študenti iz različnih učnih programov (računalništvo, medijske komunikacije in glasbena pedagogika) oblikovali inovativni in interaktivni sistem za učenje Solfeggia, ki učencem omogoča, da kamere na mobilnih napravah, kot so pametni telefon ali tablica, usmerijo na tiskani notni zapis in si tako notni zapis predvajajo s pomočjo nadgrajene resničnosti (angl. Augmented Reality). S to tehnologijo se na zaslonu mobilne naprave v živo združita zajeta video slika tiskanega notnega zapisa, ki jo učenec vidi s pomočjo video kamere na mobilni napravi, in virtualni video posnetek igranja na inštrument, skupaj z ustrezno opremljenim zvočnim posnetkom. Kot dodatek lahko učenec za vajo po uspešno izvedenem kvizu sam sebe zvočno posname, aplikacija pa mu sporoči, ali je pravilno ponovil vajo.

Na ta način se kaže velika priložnost in možnost, da se obstoječa zbirka vaj za Solfeggio dodatno opremi za uporabo z mobilnimi napravami, kar bi zelo popestrilo pouk in omogočilo tudi samostojno učenje in ponavljanje vaj za učenje notnega zapisa tudi v domačem okolju, ne samo v šoli. Ker je v tem projektu zajeta problematika razvoja sodobnih računalniških grafičnih aplikacij za nadgrajeno resničnost, video in zvočno snemanje ter zajemanje in razpoznavanje zvokov, ter poučevanja na glasbenem področju, je s tem nastala zanimiva interdisciplinarna razvojna skupina.

V projektu sta poleg dveh pedagoških mentorjev s Fakultete za elektrotehniko, računalništvo in informatiko ter s Pedagoške fakultete, ki sta bila zadolžena za področje računalništva in glasbe, sodelovali še dve organizaciji, Glasbeno društvo Festival Maribor in Razvojno svetovanje Olga Pregl s.p., ki sta bili zadolženi za marketing in raziskavo trgov. Strokovnjaki iz teh ustanov so imeli nalogo, da študente usmerjajo in preverjajo njihove rezultate dela ter jim predstavljajo raziskovalne in tržne možnosti pri razvoju produktov za glasbeno področje.

Na spodnjih slikah je predstavljen prototip uporabniškega vmesnika aplikacije iSolfeggio. Na treji sliki je razvidno, da sistem sproti prikaže z modro barvo že odigrane dele s pomočjo nadgrajene resničnosti. Hkrati pa ima uporabnik možnost, da kadarkoli izbere pomožne informacije.

Prototip uporabniškega vmesnika aplikacije iSolfeggio

za igranje notnega zapisa

Ekipa študentov tudi po koncu projekta skrbi za prepoznavnost projektnih rezultatov. Tako so študentje aktivno sodelovali na Festivalu Maribor, ki je potekal med 8. in 18. septembrom 2015 v Mariboru. Prav tako so se odlično odrezali s predstavitvijo mobilne aplikacije iSolfeggio na študentskem tekmovanju 24. Mednarodne Elektrotehniške in računalniške konference Slovenske sekcije IEEE, kjer so zasedli tretje mesto. V novembru 2015 se bodo s predstavitvenim videom predstavili še na UX Day Graz, dogodku ob svetovnem dnevu uporabnosti.