音乐创作是媒体市场中的重要一环,稳定高效的输出高质量的音乐作品不单单是众多艺术家关心的问题,更是媒体公司抢占市场先机的必要条件;同时,由于版权意识的逐渐发展,部分非音乐行业从业者对于快速生成个性定制音乐的需求也在上升。智能音乐创作利用机器学习和神经网络,能够对音频信号进行有效的处理,把握其中的关键特征,从而生成出一大批各具特色的机器合成音乐,不仅能够作为艺术家的灵感,还极大的充裕了市场,更解决了部分非音乐从业者对原创音乐的渴求。
作者 | 于琳洋
一、音乐市场的发展与现状
世界音乐市场构成复杂并经历过下滑时期,流媒体音乐的出现重构产业链并使市场收益稳步回升,并因此解放了人们欣赏音乐的时间空间限制。这种更为便捷的消费方式,极大的扩充了市场需求,而在现今的市场下:艺术家关心着如何能够在有限的时间内生产出质量稳定的音乐作品;音乐出品商或平台希望可以充盈自己的曲库,并在短时间内抢占市场占有率;而众多非音乐市场从业人也同样关心着短时间内个性化音乐原创的问题。
二、音乐创作中的的智能技术
机器学习:是指利用人工智能模型对数据集合中的规律进行挖掘,并根据其特征对其他数据进行预测。目前,在音乐创作中,开发者可以将众多原始的音乐作品作为音频输入后转化为MIDI文件,并利用人工智能模型学习其中的数据特征规律,并针对需求来做不同的预测。
监督学习:机器学习的一种方法,通过让模型观察一些事先标记过的训练范例之后再让模型根据学习到的标记和特征来对未知数据进行标记。在AI赋能的音乐创作中,将不同的音乐旋律范例标记为不同的情绪,之后让训练完成的模型对于机器生成的旋律进行评分,从而选择出最符合当前情绪的音乐旋律。而除了标记情绪之外,这种标记还可以是视频信号,其他文本信号等。
自监督学习:是机器学习的一种方法,与监督学习相似,但供模型观察的数据不再有标记,而是依赖于模型发现数据中的关联,从而对输入的数据进行分组重构。利用自监督学习,研究者往往能够获得更多创新性的输出结果,而不是仅仅依赖于原本定好的标记,自监督机器学习往往可以用于新的曲调创作,或新的声音信号创造。
深度学习:指利用多层神经网络对数据的特征进行挖掘,对数据进行合理预测,最常见的是卷积神经网络和递归神经网络。卷积神经网络可以将降维后的音乐旋律中的有效信息进行提取;递归神经网络则能够准确的通过输入的数据和之前的预测来进行新的预测,生成关联性更前的音乐序列。
特征降维:音乐信号基于其本身的复杂性而具有高维数据的特征,而人工智能在处理学习高维数据时的成本极大。将原始数据合理降维,突出关键信息,移除冗余特征,从而让人工智能模型能够进行更有效的学习。
三、人工智能在音乐创作领域的应用分布
四、人工智能在音乐创作领域的落地案例
Amper Music:旗下产品Amper Score 能够让企业团队在几秒钟之内生成个性定制的原创音乐,可选择个性化的音乐风格,时长和曲风结构。这部分音乐可以用于视频、博客或者任何其他的媒体活动而不需要担心版权问题。值得一提的是,Amper Score的人工智能系统中所有用于AI学习的数据——即乐曲本身——全部都是由Amper公司自主创作的。
Popgun:旗下产品钢琴AI爱丽丝不需要任何的人为曲调输入,便能够自主作曲。Popgun也同时推出了架子鼓AI和贝斯AI,它们能够单独作曲,也能够和爱丽丝一起,共同谱写一段旋律。
Google AI-Magenta: 这一开源的研究项目主要目的是探索机器学习在音乐创作中的可能性。Magenta是以TensorFlow支持的Python库文件的形式呈现,库里包含了大量的原始数据:乐曲选段,歌曲选段,图片等等。使用者可通过这些数据来训练基于机器学习的人工智能模型并且最终能从成熟的模型中衍生得到新的音乐产品。Magenta本身比较成熟的项目包括:onsets and frames——双神经网络叠加的钢琴谱区工具,MusicVAE——旋律数据降维工具,和NSYNTH SUPER——机器合成音色开发工具。
Flow Machine:利用机器学习的方法,提取旋律中的关键信息,并利用这些信息作为变量,对人工智能模型进行训练,从而使模型能够生成一段新的旋律或和弦。值得一提的是,同样利用这个人工智能模型,艺术家还可以对已创作的旋律进行填词和其他修饰。
Melodrive:最成功的AI音乐引擎应用在于为游戏场景提供背景音乐的即时演算。AI音乐引擎利用监督性机器学习在经过大量原始数据训练之后,能够根据游戏中某时间节点,根据其所表达的情绪,自动合成其所需要的背景音乐。
五、人工智能在音乐创作领域的局限性
智能音乐生成技术使产品市场质量参差不齐:随着人工智能赋能的音乐生成技术逐渐完善,音乐作品制作变得日益简单,短时间内生成大量质量参差不齐的音乐作品,无疑会对市场造成极大冲击,音乐市场占有率被稀释;
智能音乐生成技术冲击传统音乐产业:正如数字音乐的产生导致传统唱片生产业的下滑一样,智能音乐生成技术也会对传统音乐创作产业造成影响,依赖人工创作的作品产能不及人工智能,没有技术上的支持的音乐制造商前景堪忧;而实时生成个性化音乐大行其道,视频、游戏、电影配乐逐渐独立,依赖于版权收入的传统产业收入下滑可以预见。
六、人工智能在音乐创作领域的发展的新趋势
个性化数字音乐生成渐成主流:随着众多新媒体的发展,脱离了版权限制的实时个性化数字音乐生成技术逐渐发挥其优势,应用领域愈加广泛,而应用手段更加灵活。从现今的短视频配乐,游戏场景配乐,向更复杂的应用场景发展;
音乐作品生成技术日臻成熟:现今的众多AI音乐生成引擎技术尚在发展阶段,而未来的AI音乐引擎必定更加成熟,结合自然语言处理技术,将会呈现比纯音乐更为完整的音乐作品;
人工智能技术成为艺术家可靠助力:AI赋能的音乐创作并非作为人类创造力的挑战,而是作为艺术家灵感的来源;简短的AI自生成音乐可当作新的创作素材。