(a félév során az órák tartalma online elérhető lesz)
TRACKELÉS
A trackeléshez használható példa patch. Kössünk egy kamerát a géphez (sima webkamera teljesen megfelelő). A laptopokba integrált kamera szintén egyszerűen használható. A kinyomtatott alakzatokat a kamera felé mutatva a rendszer felismeri azokat, és közli velünk az alak egyedi azonosítóját (ID), x, y pozícióját, elfordulási szögét. Próbáljuk ki, mi történik, ha például az elfordulási szög számdobozát a korábbi loopMachine lejátszási sebességéhez rendeljük.
FONTOS:
Ahhoz, hogy a trackelés működjön, mindig a patch mellé mentsük a mellékelt all.trees file-t, mert minden indításkor ezt be kell töltenie a programnak (Ez tartalmazza az ábrák topológiájának leírását, ez alapján "értelmez" a rendszer).
(A file-ok letöltése a szokott módon, jobb klikk, save as...)
nehezen sikerült elsőre átadni, ezért, illetve hogy hatékonyan tudjunk
haladni, készítettem egy egyszerű, dinamikus, variábilis sebességű
hanglejátszót. A loopMachine-t bárhány példányban meg lehet hívni,
felépítése dinamikus, minden példány saját bufferbe tölti a betöltendő hangfile-t.
ingyenes hangok letöltéséhez javaslom a freesound közösségi weboldalt.
Bevezetés a digitális hang világába. Mikrofon, hangfalak használata.
Hangszintézis alapok. Hangminta betöltése, lejátszása.
A dsp (digital signal processing) fogalma, hangdigitalizálás alapjai
(mintavételezési ráta, rezgés mértékegységei)
az openGL 3D rendszer. megjelenítő ablakkezelés, alap transzformációk.
textúra: állókép, videokép, élő kamerakép használata textúraként
(patch letöltése: ikonra jobb-klikk, save as...)
1. ÓRA: TEMATIKA, AJÁNLOTT VIDEÓK
A Pure Data egy ingyenes, nyílt forrású programozási nyelv, amelyhez nem szükséges korábbi programozói ismeret (bár előnyt jelent). A programnyelvet számos helyen fejlesztik és alkalmazzák is szerte a világban, hangkészítéshez, színházi látványhoz, videóinstallációkhoz, robotikai vezérléshez, hálózati rendszerekhez egyaránt.
Az órákon főként a kamerával, mint bemeneti eszközzel foglalkozunk (computer vision), és megismerkedünk a különböző trackelési technikákkal (color tracking, motion tracking, blob tracking, multiblob tracking).
A tervezési feladat megoldásához egy képfelismerő rendszert fogunk használni (fiducial tracking), amely segítségével különböző, specifikus ábrák megkülönböztethetőek az élő kameraképen, így az aktuális, fizikai térben ezeket az ábrákat mozgatva a virtuális térben animációkat, videókat, hangokat irányíthatunk.
Ajánlott videók:
/////////////////////////////////////////////////////////////////////////////////////////////////
Elektroplankton Experiment
interaktív hang- és képrendszer, érintőképernyőre. a hangokat a képre rajzolt absztrakt ábrák mozgatásával hozzák létre. a rendszer pd-vel készült.
/////////////////////////////////////////////////////////////////////////////////////////////////
KNIFE.HAND.CHOP.BOT
az ismert játék átértelmezése egy pszichikai játékká. a résztvevő bőrének nedvességtartalmát folyamatosan vizsgálja a gép szenzorok segítségével. ha nyugodt az ember, a gép is az. ha nem, a gép sem... az egész rendszer robotikai, és szenzoriális irányítása pd-ben történik.
/////////////////////////////////////////////////////////////////////////////////////////////////
This is not a book
szép példa trackelésre. a könyben lévő ábrákat a kemra felismeri, és más tartalmakat illeszt a helyére. ez a példa VVVV-vel készült.
/////////////////////////////////////////////////////////////////////////////////////////////////
^
Tangitable
a reacTable-hez hasonló hangszer, egy plexilapra helyezett tárgyakat alulról
figyel a kamera, és felismeri a tárgyakra helyezett alakzatokat. a felismert alakzatok egy program segítségével hangokat keltenek.
/////////////////////////////////////////////////////////////////////////////////////////////////
Spatial memory game
a kocka oldalaira helyezett ábrákat felismeri a szoftver, és térbeli forgatásra értelemszerűen animációkat rendel hozzá, és ráhúzza a kocka látható oldalára textúraként.