РедактироватьСоздать страницу
Вывод экрана в звуковой поток

Синестетика

Я написал небольшой майндфак, для передачи цвета пикселей звуковыми сигналом. Водишь мышкой по экрану и слушаешь визуальный контент. Как смотреть, только по другому. Простыми словами, хак переводит шестнадцатиричный идентификатор цвета, например #ff0088 в три звуковые волны длинной и интервалом по 256 Герц. Почему 3? Потому что цвет состоит из 3-ех составляющих (красного, зеленого и синего). При этом на каждый цвет в этой записи выделяется по 256 значений (которые мы переводим в герцы), а интервал нужен для того чтобы цвета не пересекались. В прочем с нулевым интервалом они тоже не пересекаются, но значения базовых составляющих цвета всё равно могут путаться из-за похожего звучания. Я выбрал интервал 256 как наиболее удобный. Таким образом на все 256 оттенков каждого из трех базовых цветов модели RGB выделяется по 256 значений, и получаются следующие диапазоны 256-512 Герц, 768-1024 Герц, и 1280-1536 Герц, соответствующие трем составляющим векторам цветового базиса - красному, зеленому и синему цвету (в данном случае это розовый цвет, шестнадцатиричная запись соответствует числам 136 синий (n=0), 0 зеленый (n=1), 255 (n=2)). Эту информацию можно представить в виде трех одновременных звуковых волн (color[red]+256*5), (color[green]+256*3), (color[blue]+256*1). Алгоритм проще простого.


По сути это надмозг синестетика. Но остается вопрос в восприятии. Пока не известно насколько выбранные диапазоны, формат передачи данных(одновременно, а не по очереди) и пропускная способность подходят для человеческого восприятия. Я так сказать взял настройки по дефолту: с ними слышна разница между разными цветами и все частоты воспринимаются человеческим ухом (но для того чтобы успешно конвертировать в своей голове, с помощью этой программы, аудио-поток в зрительный центр вероятно требуется некоторый опыт).

Алгоритм работает на главной странице сайта, режим захвата пиксельного изображения в аудио-поток активируется двойным щелчком мыши. Потом можно потрогать курсором то что вам больше всего интересно. Чтобы было понятнее, начните с простых элементов вроде цветных блоков или крупного логотипа сайта в левом меню. Чтобы лучше научиться ориентироваться во тьме попробуйте повтыкать в аудиальный тетраскоп: http://wikiclick.ru/mut.html

Я не занимаюсь профессиональной разработкой софта для невидящих, и эта функция представлена в демо-режиме, в виде идеи. я не гарантирую ее эффективность, возможно алгоритм нуждается в доработке для профессионального использования. но если Вам интересен этот проект, можете связаться со мной через комментарии на сайте
#javascript#rgb#синестезия#звуковые_волны#дисперсия_света

перейти к основнойВерсия от 30 ноября 2020 21:59

Комментарии (0)