Sinestesia.
Trasformazione di immagini in suoni, e viceversa.
Performance digitale, 2020.
Synesthesia.
Transformation of images into sounds, and vice versa.
Digital performance, 2020.
Il progetto si basa sugli studi di Evgeny Murzin con il sintetizzatore ANS (1938), che permetteva di ottenere un’immagine da un’onda sonora, oppure viceversa di ricavare un suono da un’immagine. Il sintetizzatore ANS fu usato da Stanislav Kreichi, Alfred Schnittke, Edward Artemiev e da Andrej Tarkovskij in “Solaris”, “The mirror” e “Stalker”.
Il software legge le immagini come se fossero spettrogrammi, traducendoli in suoni. Viceversa, si possono trasformare suoni in spettrogrammi che, se letti, riproducono il suono che li ha generati.
The project is based on the studies of Evgeny Murzin and the synthesizer ANS (1938), which allowed to obtain an image from a sound wave, or vice versa to obtain a sound from an image. The ANS synthesizer was used by Stanislav Kreichi, Alfred Schnittke, Edward Artemiev and by Andrej Tarkovskij in “Solaris”, “The mirror”, and “Stalker”.
The software reads the images as if they were spectrograms, translating them into sounds. Conversely, sounds can be transformed into spectrograms, and reading them reproduces the sound that generated them.
Esempio:

…e sua conversione in suono.
Esempi di conversioni di opere famose
in letture spettrografiche, e procedimento inverso:
dal suono alla produzione di uno spettrogramma.




——-
Passi nella neve.
Da immagine a suono.
Performance digitale, spettrogramma, 2020.
Footsteps in the snow.
From image to sound.
Digital performance, spectrogram, 2020.
Questa è un’opera d’arte.
Da suono ad immagine.
Performance digitale, spettrogramma, 2020.
This is an artwork.
From sound to image.
Digital performance, spectrogram, 2020.
——-
Zeno Rogue – a short interview.
Andrea Roccioletti: How did the idea of HyperRogue come about?
Zeno Rogue: I have attended a course on hyperbolic geometry for highschool students with interest in math, and as an aspiring game designer, I wanted to create a game in such a world. At the time the thing I wanted to do was closer to a first-person shooter. With time, I have started being fascinated by roguelikes, but the usual hyperbolic tessellations were not that applicable for a game. When I have learned about the the “hyperbolic soccerball” tiling, I thought that it would work great, and immediately implemented the first version of HyperRogue. See also these for more history:
roguetemple.com/z/hyper/history
zenorogue.blogspot.com
AR: If you had to summarize for a newbie the main feature of HyperRogue that set it apart from any other game, in a nutshell, what would they be?
ZR: I usually say “puzzle roguelike in the hyperbolic plane”, but unfortunately summarizing the idea to a newbie sounds impossible, especially that both the words “roguelike” and “non-Euclidean” are used here in their traditional meanigs, while they are more commonly used to mean something else. You just need to try it, I guess 🙂
AR: In HyperRogue you have made precise stylistic choices (aesthetic, plot, game mechanics). What are they and why?
ZR: Many of these choices have been made because HyperRogue is a roguelike. Traditionally roguelike used character graphics (maps composed of characters such as ., #, etc.). They have their advantages over more realistic styles: they let the player to use their imagination, they are read easily because of their simplicity, they are very easy for a programmer with no drawing skills to create. At the same time, they have a big disadvantage: they are not approachable for beginners. I have been hesitating a lot before trying such games myself. The simplistic graphics style of HyperRogue is intended to keep these advantages while avoiding the approachability problem.
The geometry has limited the choice of the art style. Many indie games use pixel art, but that would not work in HyperRogue, as the images are scaled, rotated and twisted in non-Euclidean projections, which would not work well with pixel art. Also most top-down games show the character from an angle, rather than from above. But that would not work in HyperRogue where the image can be arbitrarily rotated, so I had to use straight top-down graphics, and symmetric images for most walls. The floor graphics are a reference to the works of M. C. Escher, such as the Circle Limit series.
Regarding the plot and game mechanics — the game takes place in a practically infinite world (the reachable area can be said to be a number with about 7000 digits), which makes many plot elements or game mechanics (especially balance) typical for bounded games inapplicable. So the plot is very light (as usual in roguelikes), but many game mechanics typical to other roguelikes would not work in an infinite world — new mechanics had to be created.
AR: HyperRogue can be played on multiple levels. At the deeper level there is a lot of math, geometry, references to Escher… how will the game evolve again?
ZR: We will see 🙂 HyperRogue started as a rather minimalistic game, now it is simultaneously a not-so-minimalistic game and a non-Euclidean visualization engine for teaching and research. We do lots of experiments, some of them are successful, some are not. HyperRogue now can be played in 3D geometries, which is nice for visualization, but it appears that the roguelike style does not work that well in 3D. On the other hand, there are recently several cool projects of 3D games based on non-Euclidean geometry, so it’s great that they are going to fill that niche. We are currently working on making it a VR experience, but it is not really clear where we will go next — but the original 2D roguelike mode will be improved too 🙂
——-
Grazie! Articolo molto interessante sotto il profilo artistico e scientifico!!
"Mi piace""Mi piace"
Ciao Marcello, grazie. Il passo successivo sarebbe ri-trasformare i suoni ottenuti dalle immagini in spettrogrammi visibili, e confrontarli con le opere originali. Ma il tempo (Kronos) è tiranno…
"Mi piace"Piace a 1 persona
Hai ragione sul tempo. Sarebbe interessante anche il passo successivo, ma questo per la mia ignora già e sufficiente !!
"Mi piace""Mi piace"
Anzi, sai che quasi quasi… mi hai dato un’idea. Aggiorno l’articolo.
"Mi piace"Piace a 1 persona
Figata! Molto bella come idea e realizzazione
"Mi piace""Mi piace"
Ciao Francesco, grazie 😉
"Mi piace""Mi piace"
rimasta incantata dai passi, la camminata risulta in fischiettio 😀
"Mi piace""Mi piace"
Ha folgorato anche me.
"Mi piace"
🙂
"Mi piace""Mi piace"
Molto interessante! in particolare mi colpisce il riferimento ai film di Tarkovskij, che sarebbe ora di rivedere, magari con un orecchio attento a questi suoni particolari
"Mi piace""Mi piace"
Ciao Silvia, grazie del commento. Sì, sono film che, a rivederli, si coglie sempre qualcosa di nuovo. E hanno una poetica che in qualche modo travalica il tempo.
"Mi piace""Mi piace"
E’ una figata, però per uno come me è difficilissimo pensare a come un’immagine possa diventare suono!
"Mi piace""Mi piace"
Ciao, grazie per aver lasciato un commento. In realtà ci sono molti modi di trasporre un’immagine in suoni. Può essere basato sui toni: chiari, scuri, percentuale rispetto al totale dell’immagine, eccetera. Questo che propongo è uno: leggere l’immagine da sinistra verso destra, come se fosse uno spettrogramma – quello che lasciano tutti i suoni – e riprodurlo. E viceversa, prendere lo spettrogramma di un suono, e trasportarlo “sulla carta” da destra a sinistra. E’ interessante, in questa scelta, il fatto che il passaggio immagine > spettrogramma > suono > spettrogramma > immagine conservi parte dell’informazione iniziale, e che altra invece vada persa.
"Mi piace"Piace a 1 persona
Grazie per la spiegazione molto esaustiva 🙂
"Mi piace""Mi piace"
Non so ancora di che cosa ti occupi, ma disponibile a collaborare a nuovi progetti! A presto!
"Mi piace""Mi piace"
In realtà nella vita sono impiegato marketing ma ho un contratto fino a gennaio. Nel frattempo sto cercando di sviluppare il mio blog e la mia pagina social per provare a farlo diventare un lavoro anche se non so come.
"Mi piace""Mi piace"