(Edurne Arizu, Fèlix Pastor, Josep Marimon, Enric Guaus)
| Descripció | Description |
| ArInt és un duet que busca establir un diàleg musical entre un intèrpret i un algorisme basat en intel·ligència artificial. Inicialment, el paper de l’intèrpret és propositiu i l’algorisme reacciona mentre aprèn. A mesura que la peça avança, i amb l’ajut d’eines visuals de generació de partitures gràfiques, els papers s’inverteixen.El diàleg s’organitza en tres estadis articulats per dos models numèrics. El primer estadi estudia les articulacions de l’instrument a partir d’un material gestualment molt rígid per entrenar un primer model. Les diferents articulacions musicals van construint una textura per capes. El segon estadi estudia els gestos musicals en base un material musical improvisat inspirat per la projecció d’imatges de fragments de partitures gràfiques preelaborades a partir de les articulacions. La combinació d’aquestes, apreses al primer model, interactuen per crear la textura d’acompanyament i processar el so de l’intèrpret. Mentrestant, s’entrena un segon model per reconèixer la interpretació lliure que fa l’intèrpret de la informació visual. En el tercer estadi és quan el diàleg és ple: el segon model genera imatges gràfiques en funció dels gestos musicals que detecta de l’intèrpret. Tant els processaments de so del primer model com les grafies generades pel segon model li proposen a l’intèrpret diferents espais d’improvisació que el fan sentir còmode o incòmode d’acord amb una línia estètica preestablerta.
Però, de fet, no hi ha res de nou a ArInt. Usa la tecnologia com s’ha fet sempre, i usa la Intel·ligència artificial perquè és la tecnologia actual. ArInt usa la IA com a part de la interacció entre l’intèrpret i el so. Per això parlem d’intel·ligència augmentada, assumint que en el diàleg presentat, la intel·ligència principal és la de l’intèrpret. És en la part de la retroalimentació entre el so i l’intèrpret on hi intervé la intel·ligència artificial. Aquesta retroalimentació la condiciona i provoca un nou paradigma musical on cal repensar el rol de la partitura (es crea segons la improvisació de l’intèrpret), l’intèrpret (perquè improvisa sobre la partitura que ell mateix engendra) i l’oient (ha de ser capaç de percebre i, si vol, entendre on acaba l’home i comença la màquina, amb l’ajut de visuals). La proposta escènica té una certa finalitat didàctica. En l’estat actual de la recerca musical i tecnològica, les propostes poden esdevenir un xic massa críptiques. Cal que el públic entengui el que està passant a l’escena i, per això, ArInt proposa unes visuals i una estructura del propi espectacle que faciliten aquest fet: una complexitat creixent però ordenada i explicada que permet a tothom poder seguir el fil. Els visuals tenen un paper clau en la lectura i comprensió del que està passant a l’escenari. El codi generat és a disposició de la comunitat en un repositori de lliure accés (Github). Amb aquesta acció es vol aconseguir posar el coneixement adquirit a disposició de la comunitat per la seva exploració artística. Entenem que aquest és el camí per seguir avançant l’ús de la intel·ligència artificial en les arts. |
ArInt is a duo that seeks to establish a musical dialogue between a performer and an algorithm based on artificial intelligence. Initially, the interpreter’s role is proactive and the algorithm reacts as it learns. As the piece progresses, and with the help of visual graphic score generation tools, the roles are reversed.The dialogue is organized in three stages articulated by two numerical models. The first stage studies the articulations of the instrument from a gesturally very rigid material to train a first model. The different musical articulations build a layered texture. The second stage studies musical gestures based on an improvised musical material inspired by the projection of images of fragments of pre-made graphic scores based on articulations. The combination of these, learned in the first model, interact to create the accompanying texture and process the performer’s sound. Meanwhile, a second model is trained to recognize the interpreter’s free interpretation of the visual information. In the third stage is when the dialogue is full: the second model generates graphic images based on the musical gestures it detects from the performer. Both the sound processing of the first model and the graphics generated by the second model offer the performer different spaces of improvisation that make him feel comfortable or uncomfortable according to a pre-established aesthetic line.
But in fact, there is nothing new in ArInt. Use technology as it has always been done, and use artificial intelligence because it is the current technology. ArInt uses AI as part of the interaction between the performer and the sound. That is why we speak of augmented intelligence, assuming that in the dialogue presented, the main intelligence is that of the interpreter. It is in the part of the feedback between the sound and the performer that artificial intelligence intervenes. This feedback conditions it and causes a new musical paradigm where it is necessary to rethink the role of the score (it is created according to the improvisation of the performer), the performer (because he improvises on the score he himself generates) and the listener (has of being able to perceive and, if you want, understand where the man ends and the machine begins, with the help of visuals). The stage proposal has a certain didactic purpose. In the current state of musical and technological research, the proposals can become a little too cryptic. The audience needs to understand what is happening on the stage and, for this reason, ArInt proposes visuals and a structure of the show itself that facilitate this fact: an increasing complexity but ordered and explained that allows everyone to follow the thread. Visuals play a key role in reading and understanding what is happening on stage. The generated code is available to the community (open knowledge) in a freely accessible repository (Github). With this action, the aim is to make the knowledge acquired available to the community for its artistic exploration. We understand that this is the way to continue advancing the use of artificial intelligence in the arts. |
Videos
Images
Links