syn2: simulando sinestesia

E se você pudesse ouvir sons? Com a tecnologia certa, você pode.

Em 2014, concebi a ideia de um programa de computador capaz de transformar um input de vídeo em sons: o objetivo era emular, usando câmeras e sintetizadores, a experiência de pessoas com sinestesia, e nos deixar ouvir imagens.

A ideia desembocou no projeto e execução do simulador de sinestesia, ou syn², instalação de arte digital interativa que transforma imagens em paisagens sonoras, montado na exposição Zonas de Compensação 2.0, no Instituto de Artes da UNESP, em 2014.

A instalação foi montada com um computador e um projetor de vídeo. Imagens do Google Street View compunham o campo de visão do visitante, e o programa syn² (escrito em Processing) mapeava a informação dos valores HSV e RGB dos pixels da tela em notas de diferentes timbres em um sintetizador MIDI. Paisagens visuais se transformavam em paisagens sonoras pelo algoritmo.

A obra foi desenvolvida no contexto do Projeto Híbrida, que reuniu iniciativas artísticas abordando o transhumanismo e cognições extendidas. Mais detalhes no meu post e no site do projeto. Detalhes técnicos e passo-a-passo para reprodução do projeto estão disponíveis na wiki do Garoa Hacker Club.

Algumas fotos da instalação na exposição Zonas de Compensação 2.0:

Abaixo, descrição do simulador na dissertação de mestrado de Paloma Oliveira, criadora do Híbrida:

Idealizado por Rafael V. Ribeiro e desenvolvido por Alex Tso, Gloria Fernandes, Loren Bergantini e Vinicius Franulovic.

O Simulador de Sinestesia, a.k.a. syn² propõe a interação entre visão e audição, espaço e tempo, virtual e atual, por meio da interpretação de imagens do Google Maps pelo computador e sua tradução em sínteses sonoras.

Syn² talvez seja a obra que crie de forma mais direta uma possibilidade de ampliar a percepção humana através de dispositivos digitais. Sua primeira etapa de prototipagem, desenvolvida no inovaLab@Poli em São Paulo, produziu uma instalação em que o participante tinha a possibilidade de ouvir as imagens do GoogleMaps e GoogleStreetView. É feita uma leitura de pixels da imagem convertida em timbres dependendo dos tons de matiz, luminância e brilho de cada pixel, convertidos, por sua vez, em timbres sonoros pré-determinados pelos artistas. Mas, além do aspecto técnico, o trabalho toca em questões como memória e percepção sensível, ao unir mais de um tipo de percepção para revelar um local. Isso acontece quando o participante, por exemplo, escolhe visualizar a rua de sua infância no StreetView, somando a visão à audição. Com a união dos seus sentidos, compreendo que partes de seu sistema límbico, responsável pelas emoções, deva ser tocado de forma mais eficaz que somente ao ver a imagem, desta forma, acionando dispositivos, como já dito, de memória e percepção, de uma forma criativa e única.

O conceito da obra gira em torno da simulação de conexões sinestésicas estabelecidas entre cor e som, que proporcionam a criação de novas relações de identidades entre sujeito e espaço real e virtual. O sistema de funcionamento da instalação baseia-se na análise da cor, saturação e brilho das imagens por códigos computacionais da linguagem de programação Processing.

Os dados analisados são armazenados temporariamente e convertidos em tempo real em sons MIDI sintetizados. Cada cor, cinza, violeta, azul, verde, amarelo, laranja e vermelho, recebe a sonoridade de um timbre distinto, enquanto a relação entre o brilho e a saturação determinam, respectivamente, a altura (grave ou aguda) e intensidade (forte ou fraca) do som gerado.

A interação com a obra pressupõe o tempo de aprendizagem para que o público possa reconhecer o timbre de cada cor e a relação sinestésica se estabeleça. A escolha da localidade e do ponto de vista do que se pretende “ouvir” permite uma grande combinação de sonoridades e até, em alguns casos, o controle composicional da sequência sonora pelo usuário.

O sistema criado baseia-se na interdependência entre: (i) escolha individual; (ii) reconhecimento das relações sinestésicas; (iii) disponibilidade virtual do espaço (controlado pelas relações políticas e econômicas da empresa Google com o resto do mundo) e (iv) a velocidade da rede de internet disponível, que pode limitar ou expandir o ritmo da navegação.