Диаграммы и инфографика — эти форматы представления данных часто недоступны незрячим и слабовидящим людям. Разработчики из американской компании SAS Institute постарались решить эту проблему, создав бесплатный браузерный плагин Graphics Accelerator.

Его задача — перевести графическую информацию в звуковую. Сегодня мы рассказываем о разработке SAS Institute и других кейсах, где звук помогает «видеть».


Фото takomabibelot / PD

Как работает Graphics Accelerator

Компания SAS Institute занимается разработкой программного обеспечения для статистического анализа данных. В большинстве случаев результаты этого анализа отображаются в виде графиков, поэтому слабовидящим людям было сложно работать с решениями SAS.

Исправить ситуацию взялся один из разработчиков компании — Эд Саммерс (Ed Summers), который сам потерял зрение в десять лет из-за дегенеративного заболевания глаза (у него развился пигментный ретинит).

Эд и коллеги создали решение, которое помогло бы слабовидящим людям использовать инфографику и диаграммы, построенные приложениями SAS, в учебных или рабочих целях. Так появился Graphics Accelerator. Это бесплатный плагин для Google Chrome, который использует методы сонификации. Он представляет графическую информацию — в том числе тепловые карты и круговые диаграммы — в звуковом формате.

С графиками функций инструмент работает следующим образом: пользователь двигает указатель по горизонтальной оси при помощи стрелок на клавиатуре, а Graphics Accelerator воспроизводит для каждой точки на графике ноту пианино. Чем больше значение по оси Y, тем выше звук. Как это звучит можно послушать в видеоруководстве SAS Institute.

Для удобства навигации значения из левой половины графика воспроизводятся через левый динамик наушника (или колонку АС), а из правой — через правый. График также сопровождается текстовыми описаниями, которые можно прослушать при помощи программы чтения с экрана.

Где еще используется сонификация

Человек способен «фильтровать» лишние звуки, игнорировать фоновый шум и фокусироваться лишь на нужной информации. Именно поэтому мы можем легко узнавать голоса людей в оживленной обстановке. Это свойство известно, как «эффект коктейльной вечеринки».

Используя методы сонификации, нам проще концентрироваться и подмечать какие-то определенные особенности в данных, находить закономерности. Например, в НАСА разработали свой инструмент для сонификации xSonify. Эту программу использует астроном Ванда Диаз-Мерсед (Wanda Diaz Merced), в своих исследованиях.

Во время выступления на TED, она рассказала, что с помощью программы сонификации она анализировала графики, показывающие интенсивность света звезды с течением времени, «слушая» гамма-всплески небесных тел.


Фото Antonio Roberts / CC

Сонификация широко используется исследователями и из других областей. Исследователи из университета Айдахо и Восточного университета штата Вашингтон изучали с её помощью особенности миграции чавычи — рыб из семейства лососевых. Когда рыба перемещается от водоема к водоему, у неё меняется химический состав отолитов, небольших твердых образований во внутреннем ухе. Анализируя этот состав, ученые могут понять, где побывала та или иная рыба.

Исследователи собрали данные об изменении концентрации каждого химического элемента и сравнили их между собой. Информацию представили в виде звука. Каждому элементу в отолите была назначена своя частота. Когда рыба перемещалась из одного места в другое, менялся и звук, который «издавал» отолит.

Приемы сонификации используют и люди, работающие над проектами на стыке науки и искусства. Звук помогает наглядно показать важные изменения, происходящие в мире, например глобальное потепление. Сухие числа превращаются в тревожную музыку, которая иллюстрирует повышение средней температуры на планете и уровня углекислого газа в атмосфере.

Сонификация позволяет больше узнать о «невидимых» данных, которые окружают нас каждый день. Например, с её помощью можно услышать интернет. В перформансе Internet Rumbles, который провели на симпозиуме KISS2014, звуки представляли информацию об интернет-соединении устройств, находящихся в комнате. Озвучить можно и изменения в содержимом разных сайтов: подобные эксперименты проводились на основе данных с Хабра и Википедии.

Таким образом, сонификация дает возможность выйти за рамки привычной работы с информацией и взглянут на наш мир под другим, неожиданным углом.

Больше интересного о звуке — в нашем Telegram-канале:

Как услышать цвет
История бренда: Marshall
Несколько фактов об аудиокассетах
Как зазвучали Звездные войны
Куда движется музыка в VK

Содержание статьи

Творческому человеку всегда интересны смелые эксперименты, открывающие новые горизонты и возможности. Фантастическая идея — рисовать музыку, создавать неповторимые картины, воплощающие графику и звук, уходит корнями в начало XX века. В этой статье я расскажу об истории вопроса, а также о двух своих разработках, позволяющих делать удивительное — записывать и воспроизводить звуки в графическом виде.

Предыстория

В 1904 году французский изобретатель Юджин Августин Ласт представил прототип системы оптической записи звука на кинопленку, а в 1911 устроил, возможно, первый в истории показ фильма с использованием новой техники. Началась эра заката немого кино и революционных открытий в области синтетического звука — впервые удалось получить простой, удобный и очень наглядный способ управления аудиоинформацией.

Хакер #185. Докажи баг!

В конце 1920-х годов при работе над одним из первых советских звуковых фильмов преимущества подобной техники отметили композитор Арсений Авраамов, конструктор Евгений Шолпо и режиссер-аниматор Михаил Цехановский. Логическая цепочка выстраивалась следующая: если мы ясно видим дорожку с записанной звуковой волной — значит, мы можем эту же волну создать искусственно, просто нарисовав ее от руки. А что, если поместить туда орнамент, сложное сочетание узоров или примитивов евклидовой геометрии? Насколько фантастичным будет результат? Ведь таким образом можно нарисовать совершенно уникальный, не существующий в природе звук, а музыку можно писать без реальных инструментов, микрофонов и исполнителей.

Несколько лабораторий вскоре занялись изучением этих вопросов. И в результате появились синтезаторы оптической фонограммы: «Вариофон» Евгения Шолпо, «Виброэкспонатор» Бориса Янковского, машина Николая Воинова для разметки «гребенок» из бумаги — базовых фрагментов синтезируемого звука. На слух все это очень напоминало современную 8-битную музыку, но с большей степенью свободы: любые формы колебаний, неограниченная полифония, самые невообразимые ритмические рисунки. Вы только вдумайтесь — оптический синтезатор, музыкальный компьютер в тридцатые годы прошлого столетия! Но это только цветочки. Мысль советских инженеров пошла дальше.

Евгений Шолпо. Вариофон. 1933

В отличие от своих коллег акустик Борис Янковский одним из первых осознал, что для создания сложных, приближенных к живым звуков недостаточно описания одной только формы колебаний. Важнейшая часть акустической информации — это спектр, четко определяющий частотный состав звука, его окраску, по которой мы даем такие субъективные определения, как яркий, теплый, металлический, похожий на человеческий голос и так далее.

Янковский начал структурировать базовые графики спектра в своего рода «таблицу Менделеева» звуковых элементов, параллельно разрабатывая алгоритмы их обработки и гибридизации для получения новых звуков на базе «спектростандартов». К сожалению, перемены в стране и война не дали Янковскому довести работу до логического завершения.

Тему продолжил его знакомый, молодой изобретатель Евгений Мурзин, впечатленный наработками в области «графического звука» и задумавший грандиозный проект — универсальную фотоэлектронную машину, способную синтезировать любой звук, любой музыкальный строй методом рисования спектрограммы (зависимость спектра от времени) на специальном холсте без отвлекающих операций вроде проявки и сушки пленки. Это упростило бы кропотливую работу композитора, предоставив небывалую свободу для творчества.

Буквально на коленке, трудясь вечерами в комнате двухэтажного барака, Мурзин закончил рабочую модель аппарата в 1958 году. Аппарат весил больше тонны и внешне имел мало общего с музыкальным инструментом в классическом понимании. Изобретение было названо «АНС» в честь композитора Александра Николаевича Скрябина. Несмотря на внешний вид, АНС стал мировой сенсацией, опередив свое время на десятилетия и очень удачно вписавшись в период космической эйфории со своим неповторимым атмосферным звучанием.

АНС Евгений Мурзин показывает свое детище. ВДНХ. 1962 АНС, скан из журнала «Техника — молодежи» 1960 АНС, скан из журнала «Техника — молодежи» 1960 Оптико-механический генератор чистых тонов синтезатора АНС

АНС чем-то напоминает современный сканер, только двигается в нем не сканирующая полоска, а сама поверхность с изображением — большая стеклянная пластина (партитура), покрытая непрозрачной краской. Краска в нужных местах снимается тонким резцом, образуя рисунок спектрограммы музыкального произведения. Партитура плавно передвигается, проходя над отверстием, из которого идет прерывистый «модулированный» луч света от оптико-механического генератора чистых звуковых тонов на базе пяти специальных дисков оптической фонограммы. Часть света проходит через прозрачные области партитуры, после чего фокусируется на набор фотоэлементов, с которых выходит готовый к воспроизведению звук в форме колебаний электрического тока.

Сердце АНСа — это упомянутый диск с рисунком из 144 дорожек (как на грампластинке), прозрачность которых изменяется по синусоиде с определенной частотой. Разница по частоте между соседними дорожками — 1/72 октавы. Таким образом, один диск содержит две октавы, а октава делится на 72 чистых тона — Мурзин считал классическую 12-тоновую темперацию существенным ограничением. По сути, каждый диск — это оптическая реализация алгоритма преобразования Фурье, лежащего в основе многих современных программных синтезаторов и эффектов. Это в порядке вещей сейчас, во времена гигагерц и гигабайт, но 50 лет назад было просто невероятно — спектральный синтезатор, способный играть 720 чистых тонов одновременно! Недаром АНС считается первым в мире многоголосным музыкальным синтезатором.

Если ты думаешь, что никогда не слышал звуки АНСа раньше, то, скорее всего, ошибаешься. Вспомни хотя бы фильмы Андрея Тарковского «Солярис», «Зеркало», «Сталкер», завораживающие волшебной музыкой Эдуарда Артемьева. Или сцену ночного кошмара из комедии Леонида Гайдая «Бриллиантовая рука». Стоит отметить, что карьера самого Артемьева как композитора-электронщика началась именно со знакомства с АНСом и его создателем в 1960 году. Кроме Артемьева, с инструментом успели поработать Альфред Шнитке, Эдисон Денисов, София Губайдулина, Станислав Крейчи, а звуки АНСа в разное время использовали в своей музыке такие группы, как Coil и Bad Sector.

К сожалению, до наших дней дошел лишь один экземпляр синтезатора АНС, изготовленный промышленно в конце 1963 года. Находится он в Москве в Государственном музее музыкальной культуры имени Глинки. Несмотря на непростую судьбу, аппарат по сей день в рабочем состоянии и время от времени играет для посетителей музея под чутким присмотром Станислава Крейчи. Для тех же, кто далеко от Москвы или просто хотел бы поэкспериментировать со звучанием АНСа у себя дома, существует программный симулятор под названием Virtual ANS.

Virtual ANS: графический редактор

Разработка Virtual ANS ведется автором данной статьи с 2007 года. Цель программы — максимально воссоздать ключевые особенности, атмосферу железного АНСа, расширив при этом оригинальную идею с учетом богатых возможностей современных компьютеров. Из основных отличий:

  • программа кросс-платформенная (Windows, Linux, OS X, iOS, Android), что позволяет наслаждаться работой с инструментом где угодно и на чем угодно: начиная от дешевого телефона и заканчивая мощным студийным компьютером;
  • количество базовых генераторов чистых тонов теперь ограничено лишь фантазией пользователя и скоростью центрального процессора;
  • появилась возможность обратного преобразования из звука в спектр.

Virtual ANS — графический редактор с классическим набором инструментов: примитивы, кисти, слои, эффекты, загрузка/сохранение PNG, GIF, JPEG. Но картина, которую ты увидишь на экране, есть на самом деле партитура музыкального произведения (она же сонограмма или спектрограмма), которую в любой момент можно послушать или слушать и рисовать одновременно. Партитура раскладывает композицию на «звуковые атомы» — неделимые кусочки чистых тонов (синусоидальных колебаний). По горизонтали — ось времени X (слева направо). По вертикали — высота тона Y (снизу вверх от басов к высоким частотам). Яркость отдельного пикселя — это громкость чистого тона с частотой Y в момент времени X. Изображение спектра по вертикали делится на октавы, октава — на 12 полутонов, полутон — на еще более маленькие еле уловимые на слух микротоны, для точного описания любого музыкального строя, любого самого немыслимого тембра. Если на партитуре АНС провести горизонтальную линию толщиной в один пиксель, то мы услышим единственную синусоиду с постоянной частотой. Чем толще линия — тем больше чистых тонов будет входить в ее состав, тем сложнее будет звук, и тем сильнее звучание будет приближаться к белому шуму, насыщенному обертонами всех частот слышимого диапазона. Сочетание таких линий с другими фигурами разной яркости дает неожиданные и интересные звуковые вариации.

В процессе работы над Virtual ANS появилась любопытная мысль. Фрагмент аудиофайла или, скажем, запись голоса с микрофона можно преобразовать в партитуру АНС, то есть в спектрограмму — картинку с закодированным в ней звуком. И звук этот можно с легкостью воспроизвести обратно при помощи той же самой программы. Возникает естественное желание распечатать картинку спектра на принтере и получить бумажную копию своего голоса или музыки.

Именно для этих целей был задуман PhonoPaper — еще один проект, наследующий идеи звуковых революционеров прошлого столетия. Что же такое PhonoPaper?

  1. Формат изображения, в котором закодирован звук. От спектрограммы АНС этот код отличается только тем, что сверху и снизу появились специальные маркеры, по которым считывающее устройство точно определяет границы блока со спектром.
  2. Приложение-сканер для чтения PhonoPaper-кодов в реальном времени при помощи камеры.
  3. Приложение-рекордер для конвертации 10 секунд звука в PhonoPaper-код. Хотя для более точного управления преобразованием лучше всего использовать описанный выше Virtual ANS.

PhonoPaper-код можно назвать аналоговым, так как в его составе нет цифровой информации, а сам он может быть записан на любой доступной поверхности (бумага, пластик, дерево). По этой причине для него некритичны разного рода искажения: при плохом освещении и измятой бумаге ты как минимум услышишь «очертания» оригинального послания. Для прослушивания кода не требуется выход в сеть — вся необходимая информация хранится непосредственно на картинке, а проигрывание начинается мгновенно после попадания в поле зрения камеры. При этом, как и в синтезаторе АНС Мурзина, пользователь сам контролирует скорость и направление игры, сканируя звуковой код вручную (хотя имеется и автоматический режим).

Есть ли практический смысл? Представь себе: звуковые подсказки в детских книжках или учебниках; кусок новой песни на диске или рекламном плакате группы; аудиометки на товарах; секретные послания на стенах зданий; звуковые открытки и разного рода арт-эксперименты. Это имело бы смысл при наличии очень простого способа чтения таких изображений. Ведь его нужно сфотографировать, загрузить в программу и безошибочно указать границы спектра, базовую частоту и количество октав.

Virtual ANS. Рисуем музыку на iPad

Инструкция по применению

  1. Установи приложение PhonoPaper на iPhone или Android-смартфон.

Версия для iOS

Версия для Android, отдельный APK-файл

  1. Запусти приложение.
  2. Наведи на каждую фонограмму.

Найдены дубликаты

Комментарий дня

По Германии едет автобус с туристами из Израиля. Водитель — немец. Мчит

по автобану. Проезжают мимо указателя "Бухенвальд". Евреи обращаются к

— Любезный это место практически свято для еврейского народа. не можем

ли мы на минуту отклониться от нашего маршрута и посетить этот памятник

Водитель пытается отказать (маршрут, расписание. ) Уговорили. Свернули,

едут. Водитель, естественно нервничает. Автобус ломается где-то у

Разъяренный водитель направляется к ближайшему дому, чтобы вызвать

помощь. Видит — на крыльце сидит толстый, рыжий бюргер и ест сосиски с

пивом. Водитель обращается к нему:

— Слушай, я тут. евреев. будь они неладны, в Бухенвальд везу.

автобус сломался. доехать не можем. ты не мог бы мне помочь.

Бюргер смотрит на него и отвечает:

— Извини, земляк. , у меня только микроволновка