基于语音迁移学习的新闻播报个性化音频生成系统及方法与流程

本发明涉及语音合成，特别是指一种基于语音迁移学习的新闻播报个性化音频生成系统及方法。

背景技术：

1、伴随着科技的不断进步，人们对个性化需求不断增加，传统的新闻播报往往由播音主持专业人员人工播报，提供至听众的新闻播报语言风格、语调、语速一致，同时基于新闻播报的一致性，无法满足听众特定偏好新闻主题需求。

2、目前，语音合成技术取得了显著效果，能够根据用户需求调整语言风格、语调、语速。而为了进一步保障合成的语音流畅自然，避免合成语音机器感强，出现了语音迁移学习技术，语音迁移学习是一种机器学习方法，能够利用已有数据及模型，在不同语音相关环境中高效的学习与适应。

3、在目前存在的个性化生成技术领域中，存在一些设计通过数据挖掘及统计分析相关技术实现个性化生成，例如公告号为：cn110717064b公开的一种个性化音频播单生成方法、装置及可读存储介质，采用数据挖掘及统计分析相关技术，构建基于每一个用户兴趣点的播单，能够根据每一个收听者的兴趣偏好，个性化的为每一位收听者自动生成播单，来满足收听者对于收听音频播单的需求。然而上述个性化音频播单生成方法缺乏对个性化生成的具体模型计算，无法使用于新闻播报个性化音频生成。

4、因此，针对以上问题，亟待需要一种基于语音迁移学习的新闻播报个性化音频生成系统及方法。

技术实现思路

1、为了解决现有技术存在的语音合成不自然、不流畅、机器感强，无法自动化满足用户个性化新闻播报需求的技术问题，本发明实施例提供了一种基于语音迁移学习的新闻播报个性化音频生成系统及方法。所述技术方案如下：

2、一方面，提供了一种基于语音迁移学习的新闻播报个性化音频生成系统，所述系统包括：

3、数据采集模块，用于获取用户偏好新闻播报音频合集及播报新闻音频文本；

4、特征提取模块，用于对获取的用户偏好新闻播报音频合集及播报新闻音频文本进行预处理及特征提取，得到音频声音特征信息及文本特征信息；

5、第一确定模块，用于根据音频声音特征信息计算出个性化播报语音选择系数，其中，所述个性化播报语音选择系数用于选择用户喜好播报语音特征；

6、第二确定模块，用于根据文本特征信息计算出个性化新闻文本内容选择系数，其中，所述个性化新闻文本内容选择系数用于选择用户个性化新闻内容；

7、音频合成播报模块，用于根据个性化播报语音选择系数与个性化新闻文本内容选择系数确定用户个性化音频调控指数，通过用户个性化音频调控指数为用户定制个性化新闻音频播报；

8、用户界面，用于为用户提供偏好更改功能，满足用户个性化新闻播报需求。

9、可选地，所述预处理具体为对用户偏好新闻播报音频合集及播报新闻音频文本进行清洗，去除重复、不相关的数据；对播报新闻音频文本进行分词，去除停用词，标点符号和不相关的文本信息；利用梅尔频谱特征对新闻音频进行音频特征提取，将音频数据转换成数值表示。

10、可选地，所述音频声音特征信息包括：音频语调符合率、音频语速符合率、声音风格符合率；

11、所述文本特征信息包括：文本关键词语义符合率、文本主题符合率。

12、可选地，所述个性化播报语音选择系数计算步骤为：

13、通过语音迁移学习，结合音频语调符合率、音频语速符合率以及声音风格符合率，构建用户个性化新闻语音模型，基于构建的用户个性化新闻语音模型训练获得个性化播报语音选择系数，所述个性化播报语音选择系数计算公式为：

14、；

15、其中，表示为个性化播报语音选择系数，、、分别表示为音频语调符合率、音频语速符合率、声音风格符合率，、、分别表示音频语调符合率、音频语速符合率、声音风格符合率的权重因子，表示为自然常数。

16、可选地，所述个性化新闻文本内容选择系数计算步骤为：

17、通过对文本关键词语义符合率、文本主题符合率分析计算，获得个性化新闻文本内容选择系数，所述个性化新闻文本内容选择系数计算公式为：

18、；

19、其中，表示为个性化新闻文本内容选择系数，、分别表示为文本关键词语义符合率、文本主题符合率，、分别表示为文本关键词语义符合率、文本主题符合率的权重因子，表示为自然常数。

20、可选地，所述用户个性化音频调控指数计算步骤为：

21、利用个性化播报语音选择系数与个性化新闻文本内容选择系数分析计算获得用户个性化音频调控指数，所述用户个性化音频调控指数计算公式为：

22、；

23、其中，表示为用户个性化音频调控指数，、分别表示为个性化播报语音选择系数与个性化新闻文本内容选择系数，、分别表示为个性化播报语音选择系数与个性化新闻文本内容选择系数的权重因子，表示为用户个性化音频调控指数计算的修正补偿因子。

24、可选地，所述通过用户个性化音频调控指数为用户定制个性化新闻音频播包括：:

25、基于用户个性化音频调控指数，选择音频声音特征及新闻文本进行个性化音频合成；

26、利用合成的个性化音频进行新闻播报，同时收集用户对新闻播报的反馈调整用户个性化音频调控指数以优化个性化音频合成。

27、可选地，所述用户界面，具体用于提供合成的个性化音频播放功能，并利用反馈机制获取用户对播报的个性化音频体验反馈评分及更改建议，依照用户对播报的个性化音频体验反馈评分及更改建议对个性化音频自动优化更改；

28、提供用户手动调节音频声音特征及新闻主题功能，确保用户能自行选择播报声音风格及播报新闻主题；

29、将基于用户个性化音频调控指数合成的个性化音频列表利用可视化功能向用户展示个性化音频新闻主题，保障用户浏览显示的个性化音频新闻主题。

30、可选地，所述用户界面，还用于存储显示用户新闻播放历史记录，所述用户新闻播放历史记录包括：新闻播放时间、新闻主题；

31、通过访问授权加密机制设置访问密码，保障用户播报新闻隐私性。

32、另一方面，提供了一种基于语音迁移学习的新闻播报个性化音频生成方法，该方法由新闻播报个性化音频生成设备实现，该方法包括：

33、获取用户偏好新闻播报音频合集及播报新闻音频文本；

34、对获取的用户偏好新闻播报音频合集及播报新闻音频文本进行预处理及特征提取，得到音频声音特征信息及文本特征信息；

35、根据音频声音特征信息计算出个性化播报语音选择系数，其中，所述个性化播报语音选择系数用于选择用户喜好播报语音特征；

36、根据文本特征信息计算出个性化新闻文本内容选择系数，其中，所述个性化新闻文本内容选择系数用于选择用户个性化新闻内容；

37、根据个性化播报语音选择系数与个性化新闻文本内容选择系数确定用户个性化音频调控指数，通过用户个性化音频调控指数为用户定制个性化新闻音频播报；

38、为用户提供偏好更改功能，满足用户个性化新闻播报需求。

39、另一方面，提供一种新闻播报个性化音频生成设备，所述新闻播报个性化音频生成设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述基于语音迁移学习的新闻播报个性化音频生成方法中的任一项方法。

40、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于语音迁移学习的新闻播报个性化音频生成方法中的任一项方法。

41、本发明实施例提供的技术方案带来的有益效果至少包括：

42、（1）、该基于语音迁移学习的新闻播报个性化音频生成系统及方法，通过利用用户偏好获取用户偏好音频声音特征及文本特征，可以提供更个性化的体验，有助于针对性满足用户偏好和需求，提高用户满意度；通过第一确定模块，采用迁移学习功能，以提供自然、流畅、高质量的语音播报，有助于降低播报机器感；第二确定模块可以根据用户的文本特征信息选择和推荐感兴趣的新闻内容，有助于用户获取与其兴趣相关的信息，提高新闻播报的相关性；提供用户偏好更改功能，使用户能够根据需要随时调整播报参数，增加用户参与感；通过自动合成和播报个性化新闻，无需人工干预，显著提高新闻播报效率并降低播报成本。

43、（2）、该基于语音迁移学习的新闻播报个性化音频生成系统及方法，利用数据处理技术手段，对于用户个性化新闻语音模型的构建准确可靠，基于数值计算选择的个性化播报语音及个性化新闻文本内容能够精准符合用户偏好，适应用户需求，避免了人工推荐播报的主观意识造成用户收听新闻播报不满意，有助于客观精准推荐用户个性化新闻播报音频，满足用户个性化新闻播报需求。