乐器翻蠲 Ｍ Ｕ ｓ ｉ Ｃ Ｉ ｎ ｓ ｌ ｒ ｉｉ ｍ ｅ ｎ ｌ 交互式电子音乐的构成解析 范翎 （南京艺术学院，江苏南京２１００１３） 【摘要】以罗伯特・罗以及托德・温科勒的观点为参照，提出了交互式电子音乐的信号处理流程的实时表演数据化、数据 接收与分析、数据处理、内容输出等四个步骤 并简要介绍目前常用的两款交互音乐软件。 【关键词】交互式电子音乐；交互过程；数字化；交互音乐软件；硬件加速器 文章编号： １０．３９６９￣．ｉｓｓｎ．１６７４－８２３９．２０１７．１２．００９ Ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ Ｃｏｍｐｏｓｉｔｉｏｎ ｏｆ Ｉｎｔｅｒａｃｔｉｖｅ Ｅｌｅｃｔｒｏｎｉｃ Ｍｕｓｉｃ ＦＡＮ Ｌｉｎｇ （Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆｔｈｅ Ａｒｔｓ，Ｎａｎｊｉｎｇ Ｊｉａｎｇｓｕ ２１００１３，Ｃｈｉｎａ） ［Ａｂｓｔｒａｃｔ］Ｗｉｔｈ Ｒｏｂｅ￣Ｒｏｗｅ ａｎｄ Ｔｏｄｄ Ｋｏｈｌｅｒ’Ｓ ｐｏｉｎｔ ｏｆ ｖｉｅｗ ａｓ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｔｅｍｐｅｒａｔｕｒｅ，ｔｈｅ ａｕｔｈｏｒ ｐｕｔｓ ｆｏｒｗａｒｄ ｔｏｕｒ ｓｔｅｐｓ ｏｆ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｌｆｏｗ ｏｆ ｉｎｔｅｒａｃｔｉｖｅ ｅｌｅｃｔｒｏｎｉｃ ｍｕｓｉｃ，ｓｕｃｈ ａｓ ｒｅａｌ—ｔｉｍｅ ｐｅｒｆｏｒｍａｎｃｅ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ，ｄａｔａ ｒｅｃｅｉｖｉｎｇ ａｎｄ ａｎａｌｙｓｉｓ，ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ｃｏｎｔｅｎｔ ｏｕｔｐｕｔ．Ｍｅａｎｗｈｉｌｅ，ｔｗｏ ｃｏｍｍｏｎｌｙ ｕｓｅｄ ｉｎｔｅｒａｃｔｉｖｅ ｍｕｓｉｃ ｓｏｆｌｗａｒｅｓ ａｒｅ ｂｒｉｅｆｌｙ ｉｎｔｒｏｄｕｃｅｄ． ［Ｋｅｙ Ｗｏｒｄｓ］ｉｎｔｅｒａｃｔｉｖｅ ｅｌｅｃｔｒｏｎｉｃ ｍｕｓｉｃ；ｉｎｔｅｒａｃｔｉｖｅ ｐｒｏｃｅｓｓ；ｄｉｇｉｔａｌｉｚａｔｉｏｎ；ｉｎｔｅｒａｃｔｉｖｅ ｍｕｓｉｃ ｓｏｆｔｗａｒｅ；ｈａｒｄｗａｒｅ ａｃｃｅｌｅｒａｔｏｒ 对于音乐艺术而言，实时化的舞台表演是其最为重 要的传播途径。现场表演所具有的个体差异、即兴化程 据化、数据接收与分析、数据处理、内容输出”四个步 骤，并简要介绍目前常用的两款交互音乐软件。 度以及不确定性等都是构成舞台表演独特魅力的重要方 面，『而表演过程中的视觉信息传达也是音乐审美体系构 成中不可或缺的重要组成部分。 １构成要素的全面数字化 在优质的程序设计的前提下，表演者能够利用 同的表演途径，通过主观化的行为动作尽情表达埘作品 交互式电子音乐的发展始终依靠科技所给予的强大 生命力而不断前行，从某种程度上说，其历史进程既可以 被看作是舞台呈现不断多元化与科技化的过程，也可以被 看作是人的实时化主观行为对作品构架影响不断加深的过 程。随着数字时代的到来，计算机所提供的数字化环境为 艺术媒体的存在方式提供了无限的可能，同时，以数字为 媒介所构建的信息通信平台使各类艺术媒体的融合与转化 变得极为便捷。交互式电子音乐不断融合多种艺术媒体， 并形成了具有高度设计感和不确定性的艺术形式，其发展 的源动力在于不断涌现的各类多运算逻辑、设计方法、控 制手段、媒体关系以及舞台呈现形式。 当代交互式电子音乐尽管形式多样、姿态万千， 但其交互过程的基本构成则雷同。笔者参照罗伯特・罗 （Ｒｏｂｅｒｔ Ｒｏｗｅ）（美）以及托德・温科勒（Ｔｏｄｄ 的独特理解与感悟，而在此过程中，交互程序作为构建 作品结构的基础与保障，其不仅体现了作曲家对于音乐 要素体系构架的观念，也蕴含了多种艺术媒体问交汇融 合方法与手段，因此，交互程序设计中所涉及的信号分 析、信息流程、逻辑运算、数据转换以及数据映射的方 法都将直接影响到作品最终的呈现效果。 建立在计算机技术之上的媒体数字化是电子音乐实 现多元化交互前提。正如古希腊哲学家毕达哥拉斯所信 奉 “万物皆数”的思想一样，当计算机能够将一切转化 为数的时候，万物便归于统一，物质世界便也能够通过 虚拟环境实现能量，甚至实物的相互转化。交互式电子 音乐的构成极为复杂，不仅体现在外化的形式以及媒体 构成等方面，也体现在内在的数据处理以及运算逻辑等 Ｗｉｎｋｌｅｒ）（美）对交互式电子音乐的交互过程解析， 提出了交互式电子音乐的信号处理流程的“实时表演数 步骤。当人的行为、听觉媒体、视觉媒体的构成要素能 够转化为相应的数据体系时，数字环境下的交互表演与 Ｅ望ＮＴＥＲＴＡ董ＩＮＭＥＮＴ Ｔ型ＥＣＨＮＯＬＯ釜ＧＹ １Ｉ４５‘工 、 Ｉ ２０１７￣－ｔ＂－期总第１４２期月刊 ；宾 科技 瞳ｍ啊皿墨瞳皿皿瞳皿 Ｎｏ．１２ ２０１７ ｍｏｎｔｈｌｙ Ｎｏ １４２ 交互创作便成为现实。通过数据映 （３）乐器／回放。由设备生成电子音响，并作为现场表演的拓展以及独 射，不同媒体问能够建立起复杂的参 立音响而存在。 数链接关系，人的举手投足、乐器音 罗伯特・罗的观点具有较强的广义性，其兼具了模拟技术与数字技术在 高的上下起伏、画面结构的除旧布新 交互系统中的功能特质。时至今日，数字技术凭借其多个层面的综合优势，都能够引起其他艺术媒体的实时改 业已成为媒介交互的核心技术，而“交互技术”几乎等同于“数字交互技 变，从而在其相互作用的过程中完成 术”。 作品的多元化呈现。 托德・温克勒在 交互音乐创作一Ｍａｘ应用技术和理念 一书中将交互 音乐的流程分为行为输入（Ｈｕｍａｎ ｉｎｐｕｔ）、计算机接收与分析（Ｃｏｍｐｕｔｅｒ ２交互过程的解析 尽管交互式电子音乐的外化形 ｌｉｓｔｅｎｉｎｇ，ｐｅｒｆｏｒｍａｎｃｅ ａｎａｌｙｓｉｓ）、编译（Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ）、计算机作曲 （Ｃｏｍｐｕｔｅｒ ｃｏｍｐｏｓｉｔｉｏｎ）以及声音输出与表演（Ｓｏｕｎｄ ｇｅｎｅｒａｔｉｏｎ ａｎｄ ｐｕｔ，ｐｅｒｆｏｒｍａｎｃｅ）等五个步骤。 式千变万化，但其数字化交互过程 ｏｕｔ中的技术构成却具有一定的规律。 由于现有的交互程序大都将“分析”与“编译”合并于同一物件中，同 加拿大的马塞洛・莫特森・万德烈 时，交互式电子音乐所涉及的研究对象较为纷繁复杂，并且都统一于数字形 （Ｍａｒｃｅｌｏ Ｍｏｒｔｅｎｓｅｎ Ｗａｎｄｅｒｌｅｙ） 式，因此，笔者以罗伯特・罗以及托德・温科勒的观点为参照，将交互式电 和意大利的尼古拉・奥利奥（Ｎｉｃｏｌａ 子音乐的信号处理流程分为以下四个步骤，如图１所示。Ｏｒｉｏ）认为： “在音乐中，最显著的 （１）实时表演数据化。将人的各类实时表演行为及其所产生的结果转 交互行为表现为演奏者对乐器的操 化为数据过程，其中包括听觉信息与视觉信息的数字化，以及通过各类侦测 控……一旦将计算机视作一件乐器， （这－观点）将会为音乐文献研究以 系统将表演行为转化为数据形式。 （２）数据接收与分析。计算机接收由行为转化所形成数据的过程，一 及传统的（音乐）控制评价体系提供 方面将音频与视频数据作为待使用的媒体内容输入缓存，另一方面对音频与 巨大的可研究资源范围，即使许多现 视频数据进行分析，将由此形成的控制源数据输入缓存，或直接将由侦测系 存的应用程序仅仅再现了一种近似于 统所生成的控制源数据输入缓存。指挥和乐团之间的交互关系。”…面 （３）数据处理。通过对各类数据进行路径分配、逻辑运算、值域转换以 对如此复杂的研究对象，许多交互音 及关联映射等处理，实现对目标物件的有效控制，并生成全新的媒体数据。乐领域的专家学者都曾对交互式电子 （４）内容输出 依靠不同样式的媒体呈现方式完成作品的最终形态。 在利用计算机处理交互关系的过程中，人的行为、媒体内容、控制信 息等都被转化为数字形式，并按照作曲家所设计的信号流程与运算逻辑进 音乐的系统构架进行过分析与解构。 作为交互音乐研究领域的先驱， “人机交互”从本质上说依然是“人人交 罗伯特・罗非常关注音乐数据的通信 行处理，因此，从某种程度上说，及处理，他认为交互音乐的实时化呈 互”。作曲家通过交互程序设计记录创作意图，这一过程类似于传统音乐创 现系统实现了形式化的音乐生成过 作中的乐谱写作，而计算机则成为了将“乐谱”转化为现实的工具。由于这 程，并将交互音乐系统分为三个组成 部分。 一过程建立在人的实时控制行为的基础之上，因此，便形成了具有高度不确 定性的，表现为“人机交互”的呈现过程 （１）乐谱驱动／表演驱动。纸 面写作与演奏行为的作为信号来源。 （２）变形／生成／音序。通过电 子技术对音乐素材进行处理，从而产 生新的结构方式。 ３交互音乐软件 计算机程序或多或少都存在一定的交互性，而交互的程度则取决于它们如 表淡嫩据化Ｉ一 图１交互式电子音乐的信号处理流程 分析ｌ一圈一匝 ４６ ｌｆ演 艺 科 技 ［ＮＩ［ＩｔＩＲＩＮＭＥＮＴ ＴＥＣＨＮＯＬＯＧＹ －‘。。。。。。。。。。。。。。。。。。。。’。。一 ｆ 乐器圈霜 Ｈ ｕ ｓ ｉ ｃ Ｉ ｎ ｓ Ｉ ｒⅡｍ ｅ ＩＩ ｌ 何对操作进行响应，以及由此引发的操作主体的反应。例 制。Ｃｓｏｕｎｄ、ＳｕｐｅｒＣｏｌｌｉｄｅｒ、ＣｈｕｃＫ等专门为音频所开 如，视频播放软件的交互性较弱，用户除了能够选择播放 发的程序语言能够为声音的交互提供强大的创作环境， 片源、调整音量、改变清晰度或在线发表评论以外，无法 通过底层化和开源化的程序语言，设计的自由度得到了 对所播放的视频内容进行任何修改。而网络游戏的交互性 最大程度的释放。目前，使用最为普遍的专业交互音乐 较强，用户能够通过预先设定的虚拟行为任意地改变所处 软件包括Ｍａｘ、Ｋｙｍａ、ＰＤ、Ｏｐｅｎｍｕｓｉｃ等 的虚拟环境，甚至通过网络建立虚拟的人际关系，从而完 ３．１ Ｍａｘ＼ＭＳＰ＼Ｉｉｔｔｅｒ 成～定的虚拟任务。 Ｍａｘ＼ＭＳＰ＼Ｊｉｔｔｅｒ是目前运用最为广泛的图形化多媒 对数字技术平台支持下的多媒体交互而言，其实质 体交互编程环境，由Ｍａｘ、ＭＳＰ和Ｊｉｔｌｅｒ三部分组成，专 是在人的行为控制下的数据转换与映射。作为数据运算 门为音乐等艺术媒体开发。在其２Ｏ多年的发展历程中， 的核心，计算机需要结合一定的交互软件实现数据的接 已被众多作曲家、演奏家、软件设计人员、研究人员和 收、处理及输出等功能，同时，为保证交互的实时性， 数据处理的响应时间需控制在人所能感知到的延迟范围 内。除了硬件所导致的延迟问题以外，大部分的实 时处理与分析需要建立在对声音采样、存储基础之 ， 艺术家用于艺术创作、展演以及工程设计等众多领域 Ｍａｘ程序是模块化的，其拥有・个由众多被称为 “物件”的例行程序所构成的共享数据库，同时，其所 拥有的开放式的应用程序编程接口（ＡＰＩ）能够接收由第 无论是延迟回放或是音频分析，都会产生在原始信号与 三方所开发的全新Ｊ＇ｌ，７１￣物件。开放式程序所提供的宽松 转换信号之间的延迟。因此，为了解决实时响应的问 设计环境为Ｍａｘ软件使其有更宽泛的应用空间，独具个 题，除需计算机拥有强大的运算能力、高效的数据存储 性的物件和程序，并通过各类在线社交媒体进行发布和 与读取能力以外，还需要结合科学而高效的算法以应对 交流，从而使Ｍａｘ成为在商业与非商业领域都具有拓展 复杂的数据构成。 可能性的软件平台。除此以外，Ｍａｘ软件所提供的图形 目前，交互音乐或交互媒体艺术相关的 ‘算机软件 用户界面能够清晰地呈现出程序运行结构，同时也能够 平台的开发呈现出多元化、综合化以及开源化等特点。 凭借现有的硬件运算能力，通过在笔记本电脑上安装 为用户提供便捷的图形化操作模式。 设 ‘完成的Ｍａｘ程序可以被打包成能够运行的应 Ａｂｌｅｔｏｎ Ｌｉｖｅ、Ｔｒａｋｔｏｒ或Ｒｅａｓｏｎ等软件便能轻松地实现实 用程序，也能够打包成为时下主流音频制作软件系统的 时交互音乐表演。但这一类软件的开发者出于提高易用 处理插件。同时，随着笔记本电脑被越来越多地应用于现 性的考虑，往往会将多数细节功能进行封装，因此很难 场音乐表演，Ｍａｘ／ＭＳＰ／Ｊｉｔｔｅｒ凭借其灵活的个性化设计空 完成极富创意的个性化交互设计。 间、较低的系统资源占用以及多媒体整合化优势，因此， 相对而言，Ｒｅａｋｔｏｒ、Ｍａｘ、Ｐｕｒｅ Ｄａｔａ（ＰＤ）等软 被更多的声音艺术家以及视觉艺术家所关注，成为大多数 件则能够提供更为底层化编程环境，这些可实现个性定 跨界艺术现场表演的核心平台，是目前拥有最多用户数量 制的专业型软件近年来也迅速发展，并在专业电子音 的交互音乐设计软件，其在某种程度上也成为了交互式音 乐与计算机音乐领域成为主流的创作与展演工具。依靠 乐表演通用化编程语占的代名词。２ Ｋｙｍａ 这些软件平台，艺术家们通过可视化的图形界面，以众 ３，多基础性的功能模块搭建属于个人的交互程序，其中所 Ｋｙｍａ也是一种由“物件”所构成的操作平台，它基 包含的算法、合成手段以及信号流程等设计构架均具有 于“Ｓｍａｌｌｔａｌｋ”语言编写，这种语言区别于ｃ、ｃ＋＋、 高度的个性化特征。此外，专业的交互软件平台除支持 Ｊａｖａ或Ｐａｓｃａｌ，专门以开发声音为目标，能够为作曲家提 一般的ＭＩＤＩ控制设备以外，也能够通过ＯＳＣ协议接受 供创造和掌控声音的各类可视化物件，并通过软件平台 ｆｌ￣似，Ｋｙｍａ中的 Ｊｏｙｓｔｉｃｋｓ、Ｋｉｎｅｃｔ、Ｌｅａｐ Ｍｏｔｉｏｎ等设备的控制信息，因 实现对声音的实时创造和控制。与ＭａｘＪ此，其对于动作行为控制的接受度是极为宽泛的，从而 物件也通过连线连接，作曲家能够清晰地看到信号流程 能够将多种形态的表演行为作用于声音或其他媒体的控 的走向，并通过物件的图表迅速判断其功能。 演艺科技ＥＮＴＥＲＴＡＩＮＭＥＮＴＴＥＣＸＮＯＬＯＧＹ【４７ ， 、 ’， 、Ｔ ｒ ｒ ’ ： ≯ ． ，、 ２０１７年第十二期总第１４２期月 Ｎｏ １ ２，２０１ ７ ｍｏｎｔｈｌｙ Ｎｏ １ ４２ 匝皿皿皿墨田圈皿皿圜卿Ｋｙｍａ是一种用于声音控制、合 实现更为强大的运算能力。专门的硬件加速器代替计算机ＣＰＵ完成复杂的声音 运算，这保证了Ｋｙｍａ￣够高效而稳定地完成大数据量的数据运算和处理。 相对于Ｍａｘ而言，Ｋｙｍａ更专注于对声音本身的合成、变形与表演，因 此，其所提供的部分操作界面与Ｐｒｏ ｔｏｏｌｓ、Ｌｏｇｉｃ等商业软件相似，能够提 供更为便捷的编辑和混音功能。 成，并使其拥有一定特性的语言。与其 称作“图形化语言”，不如称为“提供 了多种分析和控制数据方式的语言” 更准确 。Ｋｙｍａ是一种数据驱动的语 言，从根本上来说就是关于数据变形的 为实现电子音乐的现场交互式表演，Ｋｙｍａ为用户提供了能够接受多 种外部控制器实时控制数据的功能。一方面，硬件加速器为实时响应提 供了更高级别的稳定性与可靠性，另一方面，通过虚拟控制界面编辑器 （ＶＣＳ）中对外部控制器的选择，用户能够将控制器的控制信息与ＶＣＳ中 语言。这种语言通过观察数据、获取数 据、变形数据来创造想要的多种音乐效 果，揭示出数据的多方面特性。它是 专门为处理声音合成以及变形、声音 的探索和构建、音乐作品的演奏和创 作提供优化帮助的语言 的推子、旋钮、开关同步关联，从而实现对物件中各项参数的实时控制。 目前，Ｋｙｍａ所支持的外部控制器包括Ｗａｃｏｍ、Ｊｏｙｓｔｉｃｋｓ、Ｇａｍｅｔｒａｋ、Ｗｉｉ 等 除此以外，Ｋｙｍａ也能够方便地接收＃ｂ．ａｌ￣ＭＩＤＩ、高精度ＭＩＤＩ以及ＯＳＣ 等信息 ．因此，其对于外部设备控制信息的接受程度是卡｝】当宽泛的。 相对于Ｍａｘ所采用的更为底层化 的语言架构方式，Ｋｙｍａ为用户提供 了更多功能整合化程度较高的物件， 为用户的使用提供了便利。与此同 时，当需要进行更为复杂或更个性化 ４结语 电子音乐的交 程序设计看似与音乐创作本身相去甚远，然而，良好 的交互设计‘不仪体现了作曲家对舞台表演行为与 乐之间错综关系的规划 与设计，也凝结了作曲家对于声音素材的选择、音高与节奏的组织甚至不 的参数设定时，Ｋｙｍａ￣０能够通过在 可变参数区域输入ＣａｐｙＴａｌｋ，使用逻 辑运算、数据提取、产生动态数据 同媒体间建构关系的诉求。虽然与传统音乐，甚至幻听电子音乐的创作方 式大相径庭，但对于以交互为原点构架媒体内容的电子音乐而言，程序设 计本身便是建构音乐或其他媒体内在结构的基本手段，而与“实时表演数 据化、数据接收与分析、数据处理、内容输出”等四个阶段的不同没计， 则体现了不同作曲家多元化的创作手段以及创作观念。 腰 流、分析和测量声音参数等方式实现 无限的声音可能，而ＣａｐｙＴａｌｋ本身便 是一种编程语言。 Ｋｙｍａ系统由软件和硬件部分组 成，作曲家通过计算机软件进行声音 编程，而各类参数的运算则通过专 参考文献： ［１ Ｍａｒ］ｃｅｌｏ Ｍｏｒｔｅｎｓｅｎ Ｗａｎｄｅｒｌｅｙ，Ｎｉｃｏｌａ Ｏｒｉｏ．Ｅｖａｌｕａｔｉｏｎ ｏｆ ｉｎｐｕｔ ｄｅｖｉｃｅｓ ｆｏｒ ｍｕｓｉｃａｌ ｅｘｐ ｒｅｓｓｉｏｎ：Ｂｏｒｒｏｗｉｎｇ ｔｏｏｌｓ ｆｒｏｍ ｈｃｉ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｍｕｓｉｃ Ｊｏｕｒｎａｌ，２００２． 门的硬件部分完成 目前，Ｓｙｍｂｏｌｉｃ Ｓｏｕｎｄ公司能够提供的硬件音频加速器 包括Ｐａｃａｒａｎａ和Ｐａｃａ两种（见图２）， 并且可以通过链接多台Ｐａｃａｒａｎａ或Ｐａｃａ —， 一［２］Ｓｃａｌｅｔｔｉ，Ｃ．．Ｃｏｍｐｕｔｅｒ Ｍｕｓｉｃ Ｌａｎｇｕａｇｅｓ，Ｋｙｍａ，ａｎｄ ｔｈｅ Ｆｕｔｕ ｒｅ［Ｊ］． Ｃｏｍｐｕｔｅｒ Ｍｕｓｉｃ Ｊｏｕｒｎａｌ，Ｖｏ１．２６（４），２００２． 【３］Ｓｔｏｌｅｔ，Ｊ．．Ｋｙｍａ ａｎｄ ｔｈｅ Ｓｕｍ ｏｆ Ｓｉｎｅｓ Ｄｉｓｃｏ Ｃｌｕｂ［Ｍ］．１ｕｌｕ．ｃｏｍ，２０１２． １＇． ｐ０ｃ０ ．，－． Ｏ０Ｃ０ ’：。．’ｂａｎａ Ｌ＿¨ ４８鎏ＥＮＴＥＲＴＡ董ＩＮＭＥＮＴ Ｔ竺ＥＣＨＮＯＬＯ釜ＧＹ
