图像处理方法、装置以及系统与流程

本发明要求如下优先权：编号为62/197,704，申请日为2015年7月28日的美国临时专利申请。上述美国临时专利申请在此作为参考。

技术领域

本发明涉及一种帧率(frame rate)控制技术。特别地，本发明涉及一种在编码之前检测图像帧输入序列(input sequence of image frame)以选择性提高帧率的图像处理方法、相关图像处理装置以及系统。

背景技术：

当记录低亮度环境中的2020欧洲杯投注官网 时，传统2020欧洲杯投注官网 记录装置通过延长曝光时间以取得清晰的记录内容。然而，较长的曝光时间会导致2020欧洲杯投注官网 帧率下降。一旦播放低帧率2020欧洲杯投注官网 ，用户会看到不稳定且不连贯的2020欧洲杯投注官网 ，从而体会到较差的用户体验。

因此，亟需一种在低亮度环境中提供较好用户体验的新颖图像处理方案。

技术实现要素：

有鉴于此，本发明揭露一种图像处理方法、装置以及系统。

根据本发明一实施例，提供一种图像处理方法，包含：检测图像捕捉装置捕获的图像帧输入序列以生成检测结果；参考该检测结果，选择性在该图像帧输入序列上执行插入帧操作以生成待编码图像帧序列；以及编码该待编码图像帧序列以生成已编码2020欧洲杯投注官网 信号。

根据本发明另一实施例，提供一种图像处理装置，包含：检测电路，用于检测图像捕捉装置捕获的图像帧输入序列以生成检测结果；帧插入电路，耦接该检测电路，安排该帧插入电路参考该检测结果，选择性在该图像帧输入序列上执行插入帧操作以生成待编码图像帧序列；以及2020欧洲杯投注官网 编码器，耦接该帧插入电路，安排该2020欧洲杯投注官网 编码器编码该待编码图像帧序列以生成已编码2020欧洲杯投注官网 信号。

根据本发明另一实施例，提供一种图像处理系统，包含：图像捕捉装置，用于捕获图像并输出图像帧输入序列；图像处理装置，耦接该图像捕捉装置，用于通过选择性在该图像帧输入序列上执行插入帧操作以提高或维持该图像帧输入序列的帧率，生成待编码图像帧序列；并且用于编码该待编码图像帧序列以生成已编码2020欧洲杯投注官网 信号；以及存储装置，耦接该图像处理装置，安排该存储装置储存该已编码2020欧洲杯投注官网 信号。

本发明提供的图像处理方法、装置以及系统可在低亮度环境以及无需高灵敏传感器情况下提供流畅的2020欧洲杯投注官网 播放以及清晰的记录内容。

附图说明

图1是根据本发明实施例描述的图像处理系统示意图；

图2是根据本发明实施例描述的图像处理方法流程图；

图3是根据本发明实施例描述的图1所示图像处理系统的一种实施方式示意图；

图4是根据本发明实施例描述的图3所示的帧插入电路执行的插入帧操作示意图；

图5是根据本发明实施例描述的图1所示图像处理系统的另一实施方式示意图；

图6是根据本发明实施例描述的图1所示图像处理系统的另一实施方式示意图。

具体实施方式

在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求项中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或通过其它装置或连接手段间接地电气连接至第二装置。

接下来的描述是实现本发明的最佳实施例，其是为了描述本发明原理的目的，并非对本发明的限制。可以理解地是，本发明实施例可由软件、硬件、固件或其任意组合来实现。

在许多实施例中，对于图像帧输入序列，可在对其编码之前进行检测，并且决定是否调整图像帧输入序列从而提高帧率。可编码图像帧输入序列或调整后的图像帧输入序列。例如，当图像帧输入序列满足预定条件(例如，具有不太低的帧率或亮度值)时，无需调整图像帧输入序列，并且维持其当前帧率，接着对图像帧输入序列直接进行编码。相反地，当图像帧输入序列不满足预定条件时，将图像帧输入序列调整至具有改善(例如，提高的)帧率，并且接着编码调整后的图像帧输入序列。

本发明提出的图像处理机制可提前预处理(例如，检测帧率及/或调整帧率)待编码的图像帧序列，接着编码(或记录)已预处理的图像帧序列以生成2020欧洲杯投注官网 信号。通过预处理输入至2020欧洲杯投注官网 编码器中的图像帧序列，本发明提出的图像处理机制提供用于不同编码场景(例如，不同2020欧洲杯投注官网 记录环境)中2020欧洲杯投注官网 编码器的图像帧相应序列，从而使得2020欧洲杯投注官网 编码器具有流畅清晰的2020欧洲杯投注官网 输出。接下来将进一步描述技术细节。

请参考图1，图1是根据本发明实施例描述的图像处理系统示意图。图像处理系统10可为便携式电子装置。例如，上述便携式电子装置可为笔记本电脑、移动电话、智能手机、平板电脑、个人数字助理、企业数字助理、数位相机、数码摄像机、便携式多媒体播放器、移动互联网装置(Mobile Internet Device，MID)、可穿戴计算机、物联网装置或万物互联装置等。图像处理系统10可包含图像处理装置100、图像捕捉装置102以及存储装置108，其中图像处理装置100耦接在图像捕捉装置102与存储装置108之间。图像处理装置100编码从图像捕捉装置102输出的图像帧输入序列SF_IN以生成已编码2020欧洲杯投注官网 信号VD，并且将已编码2020欧洲杯投注官网 信号VD存入存储装置108中。上述仅为示例，并不是对本发明的限制，图像处理装置100可记录图像帧输入序列SF_IN作为2020欧洲杯投注官网 (已编码2020欧洲杯投注官网 信号VD)，并且将已编码2020欧洲杯投注官网 存入存储装置108。当使用播放电路(图1中未示出)播放所记录2020欧洲杯投注官网 时，存储装置108为播放电路提供所存储的2020欧洲杯投注官网 。

在本实施例中，图像处理装置100首先预处理待编码的图像帧序列，然后编码已预处理的图像帧序列。此外，图像处理装置100通过选择性对图像帧输入序列SF_IN执行插入帧操作生成待编码的图像帧序列，以增大或维持图像帧输入序列的帧率，并且编码上述待编码的图像帧序列以生成已编码图像信号。具体地，图像处理装置100检测图像帧输入序列SF_IN并且决定是否对其进行调整以增大或维持其帧率。例如，当图像帧输入序列SF_IN满足预定条件时，图像处理装置100不调整图像帧输入序列，而是维持其帧率，接着直接编码图像帧输入序列SF_IN。相反地，当图像帧输入序列SF_IN不满足预定条件时，图像处理装置100调整图像帧输入序列，修改(例如，增大)其帧率，并且接着编码调整后的图像帧。

更具体地，在图1所示的实施例中，图像处理装置100包含，但不限于，检测电路110、帧插入电路120以及2020欧洲杯投注官网 编码器130。检测电路110检测使用图像捕捉电路102捕获的图像帧输入序列SF_IN以生成检测结果DR。帧插入电路120耦接检测电路110，并且根据该监测结果DR选择性在图像帧输入序列SF_IN上执行插入帧操作，以生成输出至2020欧洲杯投注官网 编码器130中的待编码图像帧序列(图像帧插入序列SF_IP)。在一种场景下，当检测结果DR指示需要对图像帧输入序列SF_IN执行插入帧操作(例如，图像帧输入序列SF_IN的帧率小于预定阈值)时，帧插入电路120对图像帧输入序列SF_IN执行插入帧操作，以生成待编码的图像帧插入序列SF_IP作为输出至2020欧洲杯投注官网 编码器130的待编码图像帧序列。图像帧插入序列SF_IP具有增大的帧率。具体地，图像帧插入序列SF_IP包含图像帧输入序列SF_IN以及插入帧操作生成的图像帧附加序列，其中将图像帧附加序列插入图像帧输入序列SF_IN的图像帧之间。接着，2020欧洲杯投注官网 编码器130编码待编码的图像帧序列以生成已编码2020欧洲杯投注官网 信号VD。值得注意的是，本揭露书并不限于通过帧插入电路120提供图像帧插入序列SF_IP。在另一实施例中，帧插入电路120可执行将图像帧输入序列SF_IN插入图像帧附加序列的插入帧操作。并且帧插入电路120可提供图像帧附加序列以及帧率解码器可按照合适顺序提供图像帧输入序列SF_IN至2020欧洲杯投注官网 编码器130。

在另一场景下，当检测结果DR指示不需要对图像帧输入序列SF_IN执行插入帧操作(例如，图像帧输入序列SF_IN的帧率不小于预定阈值)时，检测电路110可向2020欧洲杯投注官网 编码器130提供图像帧输入序列SF_IN作为待编码的图像帧序列。换句话说，帧插入电路120不需要对图像帧输入序列SF_IN执行插入帧操作，2020欧洲杯投注官网 编码器130可直接编码图像帧输入序列SF_IN以生成已编码的2020欧洲杯投注官网 信号VD。

此外，在本实施例中，图像捕捉装置102可为能够捕获图像的任意装置(例如，图像传感器)，并且存储装置108可为能够存储数据的任意装置(例如，存储器或寄存器)。在一实施例中，图像捕捉装置102可进一步包含图像信号处理器(Image Signal Processor，ISP)，其可优化图像品质，例如调整亮度、对比度及/或色饱和度，图1中未示出。换句话说，图像帧输入序列SF_IN的图像帧可为经过优化处理的图像帧。

综上所述，通过预处理从图像捕捉装置102输出的图像帧输入序列SF_IN(例如，调整帧率)，图像处理装置100可提供用于2020欧洲杯投注官网 编码器130的图像帧相应序列，以响应不同编码场景，从而输出高品质的已编码2020欧洲杯投注官网 信号VD。

图2所示的流程图可总结图像处理装置100所使用的图像处理机制。请结合图1参考图2。图2是根据本发明实施例描述的图像处理方法流程图。为了描述的目的，参考图1所示的图像处理装置100描述图2所示的方法。本领域技术人员应该能够理解，图2所示的方法并不限于仅被图1所示的图像处理装置100所使用。此外，如果结果大体相同，则图2所示的步骤无需严格按照所示顺序执行并且无需连续执行。换句话说，上述步骤可位于其他步骤中间。上述图像处理方法总结如下。

步骤210：开始。例如，图像捕捉装置102捕获待记录的场景以生成图像帧输入序列SF_IN。

步骤220：检测电路110检测图像捕捉装置102所捕获的图像帧输入序列SF_IN，以相应生成检测结果DR。

步骤230：检测电路110参考检测结果DR决定是否调整图像帧输入序列SF_IN。当决定需要调整图像帧输入序列SF_IN时，进入步骤240，否则进入步骤250。

步骤240：帧插入电路120对图像帧输入序列SF_IN执行插入帧操作，以生成待编码的图像帧序列(图像帧插入序列SF_IP)，其中图像帧插入序列SF_IP具有增大的帧率。具体地，图像帧插入序列SF_IP包含图像帧输入序列SF_IN以及插入帧操作生成的图像帧附加序列。

步骤250：2020欧洲杯投注官网 编码器130编码待编码的图像帧序列以生成已编码2020欧洲杯投注官网 信号VD，其中在检测结果DR指示无需调整图像帧输入序列SF_IN情况下，检测电路110可直接将图像帧输入序列SF_IN发送至2020欧洲杯投注官网 编码器130，从而使得图像帧输入序列SF_IN作为待编码的图像帧序列。

在一实施例中，检测电路110可直接检测图像帧输入序列SF_IN的帧率，以生成检测结果DR(步骤220)，并且参考检测结果DR(包含图像帧输入序列SF_IN的帧率)以决定是否调整图像帧输入序列SF_IN(步骤230)以增大帧率。例如，当检测结果DR指示的图像帧输入序列SF_IN的帧率小于预定阈值时，检测电路110启动帧插入电路120以执行插入帧操作，从而增大帧率。在另一示例中，当检测结果DR指示的图像帧输入序列SF_IN的帧率不小于预定阈值时，检测电路110直接向2020欧洲杯投注官网 编码器130提供图像帧输入序列SF_IN。

在另一实施例中，检测电路110以间接方式检测图像帧输入序列SF_IN的帧率，以生成检测结果DR(步骤220)，并且参考检测结果DR以决定是否调整图像帧输入序列SF_IN(步骤230)。例如，检测电路110检测图像捕捉电路102的曝光时间以决定图像帧输入序列SF_IN的帧率，并且相应生成检测结果DR。接下来，检测电路110参考检测结果DR指示的曝光时间，以决定是否调整图像帧输入序列SF_IN。

在另一实施例中，检测电路110检测图像帧输入序列SF_IN的亮度，以生成检测结果DR(步骤220)，并且参考检测结果DR以决定是否调整图像帧输入序列SF_IN(步骤230)。例如，当检测结果DR指示图像帧输入序列SF_IN的亮度小于预定阈值时，这意味着图像捕捉装置102延长曝光时间以提高图像亮度。因为延长曝光时间会引起帧率下降，所以检测电路110启动帧插入电路120以执行插入帧操作，从而增大帧率。在另一示例中，当检测结果DR指示图像帧输入序列SF_IN的亮度不小于预定阈值时，这意味着环境中存在足够亮度。因此，检测电路110无需启动帧插入电路120以执行插入帧操作，并且直接向2020欧洲杯投注官网 编码器130提供图像帧输入序列SF_IN。

为了更好理解本发明，在接下来的图像处理机制描述中，提供检测图像帧序列的帧率以生成检测结果的图像处理装置。然而，这仅是为了描述的目的，并不意味着对本发明的限制。请参考图3，图3是根据本发明实施例描述的图1所示图像处理系统10的一种实施方式示意图。在本实施例中，图像处理系统30包含图1所示的图像捕捉装置102、存储装置108以及图像处理装置300，其中图像处理装置300包含图1所示的帧插入电路120、2020欧洲杯投注官网 编码器130以及检测电路310。图1所示的检测电路110可实施为包含帧率检测器312的检测电路310，其中帧率检测器312检测图像帧输入序列SF_IN的帧率，以生成检测结果FR。具体地，检测电路310检测图像帧输入序列SF_IN以生成指示图像帧输入序列SF_IN的帧率的检测结果FR。

例如，在图像处理系统30记录一操作场景(例如，低亮度环境)中的2020欧洲杯投注官网 情况下，其中图像捕捉装置102延长曝光时间，则当检测结果FR指示图像帧输入序列SF_IN的帧率FR_IN小于预定阈值FR_PRE时，帧插入电路120在图像帧输入序列SF_IN上执行插入帧操作以生成待编码的图像帧序列(即，图像帧插入序列SF_IP)，其中图像帧插入序列SF_IP的帧率FR_IP不小于预定阈值FR_PRE。换句话说，帧插入电路120增大图像帧输入序列SF_IN的帧率FR_IN。

在另一示例中，在图像处理系统30记录另一操作场景中的2020欧洲杯投注官网 情况下，当检测结果FR指示图像帧输入序列SF_IN的帧率FR_IN不小于预定阈值FR_PRE时，帧插入电路120不执行插入帧操作(例如，不启动帧插入电路120)，其中直接提供图像帧输入序列SF_IN作为2020欧洲杯投注官网 编码器130的待编码图像帧序列。

图4是根据本发明实施例描述的图3所示的帧插入电路120执行的插入帧操作示意图。在本实施例中，帧插入电路120在图像帧输入序列SF_IN的多个图像帧F1与F3之间插入多个图像帧FA-FD。例如，帧插入电路120在图像帧输入序列SF_IN上执行运动分析以生成运动分析结果，并且参考图像帧输入序列SF_IN的检测结果以及运动分析结果，执行插入帧操作(及/或运动补偿)以生成图像帧插入序列SF_IP。请注意，图4所示的插入帧操作仅是为了描述的目的，并不意味着对本发明的限制。其他帧插入技术也落入本发明所保护的范围。

在其他实施例中，可以检测图像帧序列的亮度以生成检测结果。请参考图5，图5是根据本发明实施例描述的图1所示图像处理系统10的另一实施方式示意图。在本实施例中，图像处理系统50包含图1所示的存储装置108以及图像捕捉装置502、图像处理装置500，其中图1所示的图像处理装置100与图像捕捉装置102可分别实施为图像处理装置500与图像捕捉装置502。图像处理装置500包含图1所示的2020欧洲杯投注官网 编码器130以及检测电路510、帧插入电路520。图1所示的检测电路110与帧插入电路120可分别实施为检测电路510以及帧插入电路520。检测电路510包含曝光检测器516，其可检测图像帧输入序列SF_IN的亮度，以生成检测结果LU。具体地，检测电路510检测图像帧输入序列SF_IN以生成指示图像帧输入序列SF_IN的亮度的检测结果LU。

在本实施例中，在图像处理系统50记录一操作场景(例如，低亮度环境)中的2020欧洲杯投注官网 情况下，图像捕捉装置502可调整曝光设置(例如，曝光时间或曝光级别)从而提高捕捉图像的亮度。例如，当检测结果LU指示图像帧输入序列SF_IN的亮度LU_IN小于预定阈值LU_PRE时，图像捕捉装置502延长曝光时间以提高捕捉图像的亮度，这样将导致图像帧输入序列SF_IN的帧率下降。为了维持已编码2020欧洲杯投注官网 信号VD的图像品质，帧插入电路520在图像帧输入序列SF_IN上执行插入帧操作以生成待编码的图像帧序列(即，图像帧插入序列SF_IP)，其中图像帧插入序列SF_IP的帧率大于图像帧输入序列SF_IN的帧率。因此，图像处理系统50可生成具有足够亮度的已编码2020欧洲杯投注官网 信号，并且提供流畅的2020欧洲杯投注官网 播放。

在另一示例中，在图像处理系统50记录另一操作场景(例如，明亮环境)中的2020欧洲杯投注官网 情况下，当检测结果LU指示图像帧输入序列SF_IN的亮度LU_IN不小于预定阈值LU_PRE时，帧插入电路520不执行插入帧操作(例如，不启动帧插入电路520)，其中直接提供图像帧输入序列SF_IN作为2020欧洲杯投注官网 编码器130的待编码图像帧序列。本领域技术人员在读完图1-图4对应的段落后应该能够理解图像处理装置500的操作(例如，图像预处理以及插入帧操作)，为了简化起见不重复相似描述。

值得注意的是，当检测结果LU指示图像帧输入序列SF_IN的亮度LU_IN小于预定阈值LU_PRE时，图像处理装置500可进一步控制图像捕捉装置502调整快门速度(或曝光时间)。作为示例但不限于，当检测结果LU指示图像帧输入序列SF_IN的亮度LU_IN小于预定阈值LU_PRE时，帧插入电路520可进一步生成反馈信号BS用于控制图像捕捉装置502中快门装置504，从而降低快门速度(即，延长曝光时间)。因为图像处理装置500可动态调整快门速度以提高图像品质，所以图像处理系统50可在无需高精度传感器情况下实现高品质2020欧洲杯投注官网 记录。简言之，本发明所提的图像处理机制不仅可动态调整帧率以提供流畅2020欧洲杯投注官网 播放，而且根据图像帧序列检测结果调整快门速度或其他设置用于图像捕捉装置502捕捉图像，从而提高2020欧洲杯投注官网 记录品质。

本发明所提的图像装置可根据指示图像帧输入序列的帧率、亮度或其他图像信息中的一个或多个信息决定是否调整图像捕捉装置所捕捉的图像帧输入序列。请参考图6，图6是根据本发明实施例描述的图1所示图像处理系统10的另一实施方式示意图。在本实施例中，图像处理系统60包含图1所示的存储装置108、图5所示的图像捕捉装置502以及图像处理装置600，其中图1所示的图像处理装置100与图像捕捉装置102可分别实施为图像处理装置600与图像捕捉装置502。图像处理装置600包含图1所示的2020欧洲杯投注官网 编码器130以及检测电路610、帧插入电路620。图1所示的检测电路110与帧插入电路120可分别实施为检测电路610以及帧插入电路620。检测电路610可检测图像帧输入序列SF_IN，以生成检测结果DR。其中检测结果DR包含图像帧输入序列SF_IN的帧率与亮度。

在本实施例中，在一种情况下，当检测结果DR指示图像帧输入序列SF_IN的帧率小于第一预定阈值并且图像帧输入序列SF_IN的亮度小于第二预定阈值时，这意味着即使帧率已经很低了，图像捕捉装置502可延长曝光时间以降低帧率。为了维持已编码2020欧洲杯投注官网 信号VD的图像品质，帧插入电路620在图像帧输入序列SF_IN上执行插入帧操作以生成待编码的图像帧序列(即，图像帧插入序列SF_IP)，其中图像帧插入序列SF_IP的帧率大于图像帧输入序列SF_IN的帧率。因此，图像处理系统60可生成具有足够亮度的已编码2020欧洲杯投注官网 信号，并且提供流畅的2020欧洲杯投注官网 播放。在另一种情况下，当检测结果DR指示图像帧输入序列SF_IN的帧率不小于第一预定阈值并且图像帧输入序列SF_IN的亮度不小于第二预定阈值时，帧插入电路620不执行插入帧操作(例如，不启动帧插入电路620)，其中直接提供图像帧输入序列SF_IN作为2020欧洲杯投注官网 编码器130的待编码图像帧序列。

值得注意的是，在不同实施例中，决定是否增大图像帧输入序列SF_IN的帧率的条件可有所不同。例如，在一实施例中，当检测结果DR指示图像帧输入序列SF_IN的帧率小于第一预定阈值或者图像帧输入序列SF_IN的亮度小于第二预定阈值时，帧插入电路620在图像帧输入序列SF_IN上执行插入帧操作以生成待编码的图像帧序列。

值得注意的是，图像处理装置600可仅参考检测结果DR中帧率检测结果与亮度检测结果的一个检测结果，选择性执行插入帧操作(即图3所示的图像处理机制与图5所示的图像处理机制)。进一步地，与图像处理装置500的操作相似，图像处理装置600可进一步生成反馈信号BS以发送至图像捕捉装置502，并且快门装置504可根据反馈信号BS降低快门速度(即，延长曝光时间)。本领域技术人员在读完图1-图5对应的段落后应该能够理解图像处理装置600的操作，为了简化起见省略进一步的描述。

综上，本发明所提出的图像处理方法及其图像处理装置可为2020欧洲杯投注官网 编码器提供图像帧对应序列，以响应不同编码场景，因此在低亮度环境以及无需高灵敏传感器情况下可提供流畅的2020欧洲杯投注官网 播放以及清晰记录内容。因此，可大大降低制作成本。

呈现上述描述以允许本领域技术人员根据特定应用以及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的，并且可将上述定义的基本原则应用于其他实施例。因此，本发明不局限于所述的特定实施例，而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中，为了提供对本发明的彻底理解，描述了各种特定细节。然而，本领域技术人员可以理解本发明是可实施的。

在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。