description complète de chessynthesis, projet de réinterprétation en son d’une partie d’échecs en temps-réel /

complete description of chessynthesis, chess gameplay to sound transcoding project.
[ chessynthesis // maxime marion (2006-2007) // échiquier préparé - caméra DV - notebook - enceintes / reacTIvision - Processing - PureData ]

description :

Chessynthesis est à l’origine un projet de performance/concert. Il consiste en un jeu d’échecs traditionnel, mais où les positions des pièces sont dynamiquement analysées par un système de captation vidéo. Les informations de positions obtenues sont alors interprétées par un logiciel qui va retranscrire, en temps-réel, l’état de la partie en son.
Le but est de reinterpréter au plus près toutes les incidences tactiques et stratégiques du jeu, d’une manière sonore et harmonique. Le son se présente comme une nappe, feutrée et à peine audible avant le début de la partie. Le long du jeu, le son évolue en crescendo, aboutissant à des variations parfois même tonitruantes.

L’échiquier est un ancien échiquier traditionnel, en bois de noyer et agrémenté de marquetterie. Le damier central a été retiré et remplacé par une plaque en verre, rétro-éclairée, où ont été peintes les cases à l’aide d’une peinture transparente. Sous la table se tient une caméra DV reliée à un ordinateur portable, qui analyse la position des pièces.
Les pièces sont classiques elles-aussi, mais sous leur socle est inscrit un symbole simple, qui va permettre au logiciel de les identifier.
Le son, généré par synthèse granulaire, provient de 5 ou 8 enceintes, installées circulairement autour de la table afin de permettre une spatialisation assez fine.

Le code échiquéen de notation des coups (e4-e5 par exemple) devient le système de partition de chessynthesis ; le rythme et les variations dynamiques du joueur sont laissées à “la liberté du musicien”.
Les joueurs/musiciens sont donc confrontés à un double enjeu : gagner la partie, et… composer de la bonne musique.

spécifications techniques :

Le système de captation vidéo est géré grâce au logiciel reacTIvision. Il permet d’interpréter la position d’une pièce même lorsque celle-ci est mouvante, dans la main du joueur. Ainsi le joueur/musicien peut disposer d’un aperçu (mais d’un aperçu seulement) des conséquences de son choix final (Aux échecs, lorsqu’une pièce est posée, on ne peut plus y toucher.)

Ces informations sont envoyées au logiciel Processing, où un programme va analyser l’état de la partie. Sont notamment pris en compte :
- la position de chaque pièce
- la position moyenne (centre de gravité) de chaque type de pièce

- le centre de gravité de chaque camp, prenant compte des positions ainsi que la valeur matérielle théorique des pièces (1 pour le pion, 9 pour la dame, etc.)
- l’éloignement de chaque pièce, type de pièce, et centre de gravité du camp par rapport au camp opposé

- le nombre de cases contrôlées, de protections et de menaces pour chaque pièce
- s’il y a échec et le type d’échec.

Ces informations, conjointement analysées permettent une interprétation assez fine de l’état de la partie. Toutes les informations obtenues sont alors envoyées au logiciel Puredata, qui va créer le son par synthèse granulaire. Cette technique, développée par Ianis Xenakis, permet de traiter le son comme de “petits grains”.
Il faut donc imaginer le résultat comme une masse unique, une “boule sonore” qui va se déformer, s’étendre et se transformer au fil du déroulement du jeu.

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
[english]

[ chessynthesis // maxim marion (2006-2007) // prepared chess-board - DV camera - notebook - loudspeakers / reacTIvision - Processing - PureData ]

description :

Chessynthesis is a performance project. It consists of a traditional chessgame set, but where the positions of the pieces are dynamically analyzed by a system of video capture. Information of positions obtained is then interpreted by a software which will retranscribe, in realtime, the game status in sound.
The goal is to reinterpret each tactical and strategical position in a sonic and harmonic way. The sound plays continuously, but before the start of the game, it’s felted and harded audible. Along the game, the sound moves in crescendo, outcome with variations sometimes even thundering.

The chess-board is an old traditional chess-board of wood, decorated with marquettery. The central checkerwork was withdrawn and replaced by a plate out of glass, backlighted, where the boxes using a transparent painting were painted. Under the table is held a DV camera, connected to a notebook, which analyzes the position of the pieces.
The pieces are traditional they-also, but under their base is drawn a simple symbol, which will make it possible the software to identify them.
The sound, generated by granular synthesis, comes from 5 or 8 loudspeakers, circularly installed around the table in order to allow a rather fine spatialization.

The chess code of notation (e4-e5 for example) becomes the system of partition of chessynthesis ; the rhythm and the dynamic variations of the player are “the freedom of the musician”.
The players/musicians have thus a double goal : to win, and… to compose good music.

technical specifications :

The system of video capture is managed with the reacTIvision software. It makes it possible to interpret the position of a piece even when this one is moving, in the hand of the player. Thus the player/musician can have a sample (but a sample only) of the consequences of his final choice (In the chess game, when a piece is posed, one cannot touch there any more.)

This information is sent to the Processing software, where a program will analyze the game status. Are in particular taken into account:
- the position of each piece
- the average position (gravity center) of each type of piece
- the gravity center of each camp, determined by the positions as well as the theoretical material value of pieces (1 for the pawn, 9 for the queen, etc)
- distance of each piece, type of piece, and gravity center of the camp compared to the opposite camp
- the number of controlled boxes, protections and threats for each piece
- if there is a checkmate and the type of checkmate.

These informations, jointly analyzed allows a rather fine interpretation of the game status. All information obtained is then sent to the Puredata software, which will create the sound by granular synthesis. This technique, developed by Ianis Xenakis, makes it possible to treat the sound like “small grains”.
It is thus necessary to imagine the result like a single mass, a “sound ball” which will become deformed, extended and changed during the game.