通过实时传输协议传输经HEIF格式化的图像的制作方法

本公开内容涉及经编码的媒体数据的存储和传输。

背景技术：

1、数字2020欧洲杯投注官网 能力可以被合并到各种各样的设备中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、数字相机、数字记录设备、数字媒体播放器、2020欧洲杯投注官网 游戏设备、2020欧洲杯投注官网 游戏控制台、蜂窝或卫星无线电电话、2020欧洲杯投注官网 电话会议设备等。数字2020欧洲杯投注官网 设备实现2020欧洲杯投注官网 压缩技术(诸如在由mpeg-2、mpeg-4、itu-t h.263或itu-th.264/mpeg-4(第10部分，高级2020欧洲杯投注官网 编码(avc))、itu-t h.265(也被称为高效率2020欧洲杯投注官网 编码(hevc))以及此类标准的扩展定义的标准中描述的那些技术)，以更加高效地发送和接收数字2020欧洲杯投注官网 信息。

2、在诸如2020欧洲杯投注官网 数据的媒体数据已经被编码之后，可以将媒体数据分组以进行发送或存储。媒体数据可以被组装成符合各种标准(诸如国际标准化组织(iso)的基媒体文件格式(isobmff)以及其扩展(诸如avc))中的任何一种的媒体文件。

技术实现思路

1、概括而言，本公开内容描述了用于支持作为用于叠加的源的图像的传输和呈现的技术。叠加或叠加图像通常对应于在动态2020欧洲杯投注官网 内容之上呈现的静态图像。也就是说，当在可以逐帧地改变的动态2020欧洲杯投注官网 内容之上呈现时，静态图像叠加保持不变。替代地，一系列图像可以作为叠加来呈现，例如，以循环的形式。在这样的情况下，叠加图像序列可以以规律的周期性进行重复，例如，根据在叠加图像序列中包括的图像数量。叠加是沉浸式电话会议的重要方面，因为叠加可以用于叠合(super-impose)场景中的各种各样的内容。例如，叠加可以允许将幻灯片、徽标和/或信息屏幕叠合在场景中。叠加纹理可以来自2020欧洲杯投注官网 流、一个或多个静止图像或一系列图像。沉浸式远程会议和远程终端临场感(itt4rt)小组正在努力支持图像作为用于叠加的源。本公开内容描述了使用高效率图像文件(heif)格式作为用于包含图像叠加的格式。

2、在一个示例中，一种取回媒体数据的方法包括：接收针对比特流的数据，所述数据指示所述比特流包括一个或多个叠加图像，所述叠加图像包括：将与场景数据一起呈现的单个静态图像，或者图像序列，所述单个静态图像在逐帧地与所述场景数据的帧一起呈现时保持不变，所述图像序列在逐帧地与所述场景数据的帧一起呈现时以规律的周期性进行重复；从所述比特流接收所述一个或多个叠加图像；接收包括一个或多个场景图像的所述场景数据；以及呈现所述场景图像和所述叠加图像。

3、在另一示例中，一种用于取回媒体数据的设备包括：存储器，其被配置为存储场景数据和图像数据；以及一个或多个处理器，其在电路中实现并且被配置为：接收针对比特流的数据，所述数据指示所述比特流包括一个或多个叠加图像，所述叠加图像包括：将与场景数据一起呈现的单个静态图像，或者图像序列，所述单个静态图像在逐帧地与所述场景数据的帧一起呈现时保持不变，所述图像序列在逐帧地与所述场景数据的帧一起呈现时以规律的周期性进行重复；从所述比特流接收所述一个或多个叠加图像；接收包括一个或多个场景图像的所述场景数据；以及呈现所述场景图像和所述叠加图像。

4、在另一示例中，一种具有存储在其上的指令的计算机可读存储介质，所述指令在被执行时使得处理器进行以下操作：接收针对比特流的数据，所述数据指示所述比特流包括一个或多个叠加图像，所述叠加图像包括：将与场景数据一起呈现的单个静态图像，或者图像序列，所述单个静态图像在逐帧地与所述场景数据的帧一起呈现时保持不变，所述图像序列在逐帧地与所述场景数据的帧一起呈现时以规律的周期性进行重复；从所述比特流接收所述一个或多个叠加图像；接收包括一个或多个场景图像的所述场景数据；以及呈现所述场景图像和所述叠加图像。

5、在另一示例中，一种用于接收媒体数据的设备包括：用于接收针对比特流的数据的单元，所述数据指示所述比特流包括一个或多个叠加图像，所述叠加图像包括：将与场景数据一起呈现的单个静态图像，或者图像序列，所述单个静态图像在逐帧地与所述场景数据的帧一起呈现时保持不变，所述图像序列在逐帧地与所述场景数据的帧一起呈现时以规律的周期性进行重复；用于从所述比特流接收所述一个或多个叠加图像的单元；用于接收包括一个或多个场景图像的场景数据的单元；以及用于呈现所述场景图像和所述叠加图像的单元。

6、在附图和以下描述中阐述了一个或多个示例的细节。根据说明书和附图以及根据权利要求书，其它特征、目的和优点将是显而易见的。

技术特征：

1.一种取回媒体数据的方法，所述方法包括：

2.根据权利要求1所述的方法，还包括：接收用于标识所述比特流的会话描述协议(sdp)图像属性。

3.根据权利要求2所述的方法，其中，所述sdp图像属性包括用于指示有效载荷类型的图像属性，所述有效载荷类型指示所述一个或多个叠加图像包括所述单个静态图像还是所述图像序列。

4.根据权利要求3所述的方法，其中，当所述有效载荷类型指示所述一个或多个图像包括所述单个静态图像时，呈现所述场景图像和所述叠加图像包括：在逐图像地呈现所述场景图像时，重复地呈现所述单个静态图像。

5.根据权利要求3所述的方法，其中，当所述有效载荷类型指示所述一个或多个图像包括所述图像序列时，呈现所述场景图像和所述叠加图像包括：按顺序将所述图像序列中的图像连同所述场景图像的对应图像一起呈现。

6.根据权利要求2所述的方法，其中，所述sdp图像属性包括传输模式属性，所述传输模式属性指示在长达所述叠加图像将与所述场景数据的帧一起被呈现的时间内，所述叠加图像是否被连续地重传。

7.根据权利要求2所述的方法，其中，所述sdp图像属性包括用于指示所述叠加图像是否将以循环来重复地呈现的数据。

8.根据权利要求7所述的方法，其中，当所述数据指示所述叠加图像将以所述循环来重复地呈现时，呈现所述场景图像和所述叠加图像包括：

9.根据权利要求2所述的方法，其中，所述sdp图像属性包括用于指示在接收之后所述叠加图像是否将被本地存储的数据。

10.根据权利要求9所述的方法，其中，当所述数据指示在接收之后所述叠加图像将被本地存储时，所述方法还包括：将所述叠加图像存储在本地存储器中，并且其中，呈现所述场景图像和所述叠加图像包括：

11.根据权利要求9所述的方法，其中，当所述数据指示所述叠加图像将被重传时，呈现所述场景图像和所述叠加图像包括：

12.根据权利要求2所述的方法，其中，所述sdp图像属性包括用于指示在所述叠加图像中包括的图像数量的数据。

13.根据权利要求1所述的方法，还包括：接收针对所述比特流的、用于指示以下内容的数据：所述一个或多个叠加图像是否包括一个或多个图像序列，以及所述一个或多个叠加图像是否包括一个或多个静止图像。

14.根据权利要求13所述的方法，还包括：当所述数据指示所述一个或多个叠加图像包括所述一个或多个图像序列时，接收针对所述比特流的、用于指示所述图像序列中的每个图像序列中的图像数量的数据。

15.根据权利要求13所述的方法，还包括：当所述数据指示所述一个或多个叠加图像包括所述一个或多个静止图像时，接收针对所述比特流的、用于指示所述静止图像的数量的数据。

16.根据权利要求13所述的方法，还包括：接收用于表示针对所述图像序列和所述静止图像的传输模式的数据。

17.根据权利要求16所述的方法，还包括：当所述传输模式中的一种传输模式是“耦合”时，根据所述比特流的时间戳数据来确定用于所述叠加图像的显示时间。

18.根据权利要求17所述的方法，其中，所述时间戳数据包括实时传输协议(rtp)时间戳数据。

19.根据权利要求16所述的方法，还包括：当所述传输模式中的一种传输模式是“解耦”时：

20.根据权利要求1所述的方法，还包括：当所述一个或多个叠加图像包括两个或更多个叠加图像时，接收用于表示所述叠加图像的显示顺序的数据。

21.根据权利要求1所述的方法，还包括：从所述比特流接收用于所述叠加图像中的每个叠加图像的图像元数据，所述元数据指示图像尺寸或图像角色中的一项或多项。

22.根据权利要求21所述的方法，其中，所述图像角色包括以下各项中的至少一项：封面图像、缩略图图像、辅助图像、主图像、隐藏图像、预计算的派生图像、经译码图像或派生图像。

23.根据权利要求21所述的方法，其中，所述元数据包括以下各项中的一项或多项：用于指示所述叠加图像的呈现的顺序的顺序元素、或者用于指示所述叠加图像中的对应的一个叠加图像将被显示的时间量的持续时间元素。

24.一种用于取回媒体数据的设备，所述设备包括：

25.根据权利要求24所述的设备，其中，所述一个或多个处理器还被配置为：接收用于标识所述比特流的会话描述协议(sdp)图像属性。

26.根据权利要求25所述的设备，其中，所述sdp图像属性包括用于指示有效载荷类型的图像属性，所述有效载荷类型指示所述一个或多个叠加图像包括所述单个静态图像还是所述图像序列。

27.根据权利要求26所述的设备，其中，为了呈现所述场景图像和所述叠加图像，所述一个或多个处理器被配置为：当所述有效载荷类型指示所述一个或多个图像包括所述单个静态图像时，在逐图像地呈现所述场景图像时，重复地呈现所述单个静态图像。

28.根据权利要求26所述的设备，其中，为了呈现所述场景图像和所述叠加图像，所述一个或多个处理器被配置为：当所述有效载荷类型指示所述一个或多个图像包括所述图像序列时，按顺序将所述图像序列中的图像连同所述场景图像的对应图像一起呈现。

29.根据权利要求25所述的设备，其中，所述sdp图像属性包括传输模式属性，所述传输模式属性指示在长达所述叠加图像将与所述场景数据的帧一起被呈现的时间内，所述叠加图像是否被连续地重传。

30.根据权利要求25所述的设备，其中，所述sdp图像属性包括用于指示所述叠加图像是否将以循环来重复地呈现的数据。

31.根据权利要求30所述的设备，其中，为了呈现所述场景图像和所述叠加图像，所述一个或多个处理器被配置为：当所述数据指示所述叠加图像将以所述循环来重复地呈现时：

32.根据权利要求25所述的设备，其中，所述sdp图像属性包括用于指示在接收之后所述叠加图像是否将被本地存储的数据。

33.根据权利要求32所述的设备，其中，所述一个或多个处理器还被配置为：当所述数据指示在接收之后所述叠加图像将被本地存储时，将所述叠加图像存储在所述存储器中，并且其中，为了呈现所述场景图像和所述叠加图像，所述一个或多个处理器被配置为：

34.根据权利要求32所述的设备，其中，为了呈现所述场景图像和所述叠加图像，所述一个或多个处理器被配置为：当所述数据指示所述叠加图像将被重传时：

35.一种具有存储在其上的指令的计算机可读存储介质，所述指令在被执行时使得处理器进行以下操作：

36.一种用于接收媒体数据的设备，所述设备包括：

技术总结
一种用于取回媒体数据的示例设备，所述设备包括：存储器，其被配置为存储场景数据和图像数据；以及一个或多个处理器，其在电路中实现并且被配置为：接收针对比特流的数据，所述数据指示比特流包括一个或多个叠加图像，叠加图像包括：将与场景数据一起呈现的单个静态图像，或者图像序列，所述单个静态图像在逐帧地与场景数据的帧一起呈现时保持不变，所述图像序列在逐帧地与场景数据的帧一起呈现时以规律的周期性进行重复；从比特流接收一个或多个叠加图像；接收包括一个或多个场景图像的场景数据；以及呈现场景图像和叠加图像。

技术研发人员：I·布阿齐齐,N·K·梁
受保护的技术使用者：高通股份有限公司
技术研发日：
技术公布日：2024/1/16