在线云导演方法以及在线云导演装置

技术领域

本发明涉及音视频处理技术领域，具体地涉及一种在线云导演方法以及一种在线云导演装置。

背景技术

随着通信技术的不断发展，人们能够通过终端设备实现在线交流取代面对面的交流，由此催生了更多场景的在线交流应用。

在导演创作领域，往往需要导演和演员等人员到达现场进行现场的沟通、录制等工作，而随着各种在线营销、在线教育等方式的兴起，以及人们对传染疾病及其影响的担忧，催生了人们对在线云导演的需求。

在传统的在线云导演实施过程中，人们主要通过搭建网络直播系统，并通过网络直播系统将导演与演员进行连接沟通，并进行在线的演绎或表演指导，然而在实际应用过程中，传统的在线云导演方法存在一定的技术问题，例如当网络质量不好时，录制可能中断，但此时演员可能并未知晓因此一直表演，由此导致了演绎资源的浪费；另一方面，现场随时可能发生一些意外情况，导致对预期的表演内容造成影响，由此降低了云导演效率，提高了云导演难度和成本。

发明内容

为了克服现有技术中存在的上述技术问题，本发明实施例提供一种在线云导演方法以及在线云导演装置，通过根据在线导演过程中的网络质量情况，采用不同的导演优化控制方法，从而提高云导演效率，降低云导演难度和成本。

为了实现上述目的，本发明实施例提供一种在线云导演方法，应用于云服务器，所述方法包括：实时监控演员场景的第一通信质量和导演场景的第二通信质量；判断所述第一通信质量和所述第二通信质量中是否存在至少一者不满足预设通信质量要求；若是，生成对应的暂停录制指令，确定暂停点，并在检测到所述第一通信质量和所述第二通信质量均满足所述预设通信质量要求时，基于导演的录制指令执行与所述暂停点对应的第一录制操作；否则，基于导演的录制指令执行对应的第二录制操作；基于所述第一录制操作和所述第二录制操作获取所述演员场景的视频录制信息和音频录制信息，所述视频录制信息和所述音频录制信息通过不同的通信方式传输至所述云服务器，基于所述视频录制信息和所述音频录制信息生成影视作品。

优选地，所述影视作品包括多个录制片段，所述方法还包括：在所述第二通信质量不满足所述预设通信质量要求的情况下，确定当前录制片段；在检测到所述视频录制信息的录制时间达到当前录制片段的最后时刻的情况下，生成对应的暂停录制指令，将所述最后时刻确定为暂停点。

优选地，所述生成对应的暂停录制指令，确定暂停点，包括：将当前时刻作为初始时刻；在检测到所述视频录制信息的录制时间达到当前录制片段的最后时刻的情况下，生成对应的暂停录制指令；判断所述初始时刻至所述最后时刻之间的离线录制片段是否符合录制要求；若是，将所述最后时刻确定为暂停点；否则，删除所述离线录制片段，将所述初始时刻确定为暂停点。

优选地，所述方法还包括：在删除所述离线录制片段后，获取预录制片段，所述预录制片段的录制时长大于等于所述离线录制片段；从所述预录制片段中提取与所述离线录制片段等长的替换片段；将所述替换片段插入所述离线录制片段对应的时段。

优选地，所述视频录制信息包括正常录制片段、离线录制片段和替换片段，所述基于所述视频录制信息和所述音频录制信息生成影视作品，包括：从所述音频录制信息中提取与所述正常录制片段对应的正常音频片段；从所述音频录制信息中提取与所述离线录制片段对应的离线音频片段；判断所述音频录制信息中是否存在与所述替换片段相匹配的匹配音频片段：若存在，从所述音频录制信息中提取所述匹配音频片段；若不存在，获取与所述替换片段对应的替换音频片段；基于所述匹配音频片段或所述替换音频片段，以及所述正常音频片段和所述离线音频片段生成录制音频；基于所述视频录制信息和所述录制音频生成影视作品。

相应的，本发明还提供一种在线云导演装置，应用于云服务器，所述装置包括：通信监控单元，用于实时监控演员场景的第一通信质量和导演场景的第二通信质量；判断单元，用于判断所述第一通信质量和所述第二通信质量中是否存在至少一者不满足预设通信质量要求；第一录制单元，用于在所述第一通信质量和所述第二通信质量中存在至少一者不满足所述预设通信质量要求的情况下，生成对应的暂停录制指令，确定暂停点，并在检测到所述第一通信质量和所述第二通信质量均满足所述预设通信质量要求时，基于导演的录制指令执行与所述暂停点对应的第一录制操作；第二录制单元，用于在所述第一通信质量和所述第二通信质量均满足所述预设通信质量要求的情况下，基于导演的录制指令执行对应的第二录制操作；作品生成单元，用于基于所述第一录制操作和所述第二录制操作获取所述演员场景的视频录制信息和音频录制信息，所述视频录制信息和所述音频录制信息通过不同的通信方式传输至所述云服务器，基于所述视频录制信息和所述音频录制信息生成影视作品。

优选地，所述影视作品包括多个录制片段，所述第一录制单元还用于：在所述第二通信质量不满足所述预设通信质量要求的情况下，确定当前录制片段；在检测到所述视频录制信息的录制时间达到当前录制片段的最后时刻的情况下，生成对应的暂停录制指令，将所述最后时刻确定为暂停点。

优选地，所述生成对应的暂停录制指令，确定暂停点，包括：将当前时刻作为初始时刻；在检测到所述视频录制信息的录制时间达到当前录制片段的最后时刻的情况下，生成对应的暂停录制指令；判断所述初始时刻至所述最后时刻之间的离线录制片段是否符合录制要求；若是，将所述最后时刻确定为暂停点；否则，删除所述离线录制片段，将所述初始时刻确定为暂停点。

优选地，所述装置还包括替换单元，所述替换单元具体用于：在删除所述离线录制片段后，获取预录制片段，所述预录制片段的录制时长大于等于所述离线录制片段；从所述预录制片段中提取与所述离线录制片段等长的替换片段；将所述替换片段插入所述离线录制片段对应的时段。

优选地，所述视频录制信息包括正常录制片段、离线录制片段和替换片段，所述作品生成单元具体用于：从所述音频录制信息中提取与所述正常录制片段对应的正常音频片段；从所述音频录制信息中提取与所述离线录制片段对应的离线音频片段；判断所述音频录制信息中是否存在与所述替换片段相匹配的匹配音频片段：若存在，从所述音频录制信息中提取所述匹配音频片段；若不存在，获取与所述替换片段对应的替换音频片段；基于所述匹配音频片段或所述替换音频片段，以及所述正常音频片段和所述离线音频片段生成录制音频；基于所述视频录制信息和所述录制音频生成影视作品。

通过本发明提供的技术方案，本发明至少具有如下技术效果：

通过在进行在线云导演的过程中，根据演员和导演双方的实际网络情况，对导演过程进行优化控制，从而实现对录制内容的高效率、有效录制，减少重复录制的工作量，降低了影视创作难度；

另一方面，通过对所录制的视频文件进行丰富化的替换，以及对音频文件进行匹配性优化，从而有效提高了最终创作的影视作品的内容丰富程度以及内容流畅度，提高了用户观影体验。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明实施例提供的在线云导演方法的具体实现方法；

图2是本发明实施例提供的在线云导演装置的结构示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上，鉴于此，本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。另外，需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

请参见图1，本发明实施例提供一种在线云导演方法，应用于云服务器，所述方法包括：

S10)实时监控演员场景的第一通信质量和导演场景的第二通信质量；

S20)判断所述第一通信质量和所述第二通信质量中是否存在至少一者不满足预设通信质量要求；

S31)若是，生成对应的暂停录制指令，确定暂停点，并在检测到所述第一通信质量和所述第二通信质量均满足所述预设通信质量要求时，基于导演的录制指令执行与所述暂停点对应的第一录制操作；

S32)否则，基于导演的录制指令执行对应的第二录制操作；

S40)基于所述第一录制操作和所述第二录制操作获取所述演员场景的视频录制信息和音频录制信息，所述视频录制信息和所述音频录制信息通过不同的通信方式传输至所述云服务器，基于所述视频录制信息和所述音频录制信息生成影视作品。

在一种可能的实施方式中，在进行在线云导演的过程中，实时监控演员场景的第一通信质量和导演场景的第二通信质量，具体的，可以采用现有的网络质量评估方法对演员场景的第一通信质量和导演场景的第二通信质量进行实时监控。根据所监控到的通信质量，进行不同的云导演控制和指导。具体的，判断该第一通信质量和第二通信质量中是否存在至少一者不满足预设通信质量要求，例如该预设通信质量要求可以包括但不限于FPS大于等于10帧每秒、延时小于等于2s、分辨率大于等于1920*1080等。

在本实施例中，例如监控到演员场景的第一通信质量不满足该预设通信质量要求，即此时演员场景的视频无法被正常传输至云服务器，存在演绎内容的缺失，因此立即生成对应的暂停录制指令，并确定对应的暂停点，例如将暂停录制时的时刻确定为暂停点，并继续监控演员场景的第一通信质量是否满足该预设通信质量要求，并在监控到第一通信质量和第二通信质量均满足预设通信质量要求时，基于导演的录制指令指向与暂停点对应的第一录制操作。

进一步的，由于网络可能随时存在波动，因此在某些瞬间可能存在突然的网络中断情况，但仅为既短暂的，其不会对正常录制造成明显影响，其影响可以被后期的视频剪辑和优化所解决，而若此时停止录制则必然对正常的录制过程造成影响。因此为了解决该技术问题，可以通过仅在监控到第一通信质量和第二通信质量中的任意一个不满足预设通信质量要求的时间达到预设时间长度(例如为5s)后，才生成对应的暂停录制指令，以避免对质量问题的敏感响应，降低录制效率的情况，同时保证对所有网络异常情况的有效响应。

在此基础上，当监控到演员场景通信恢复正常时，可以生成对应的提示信息，以提示导演通信恢复正常，此时导演可以根据网络中断的情况进行评估，并进行对应的指导，具体的，可以根据导演的指导输出对应的录制指令，此时根据该录制指令执行与暂停点对应的第一录制操作，例如导演指示重新对某段进行录制，此时在演员场景进行对应的提示，以提示从中断点开始重新进行录制，例如通过显示重新录制的倒计时以及中断点，以指引演员重新开始录制。

在完成录制后，根据上述第一录制操作和第二录制操作获得在演员场景的所有视频录制信息和音频录制信息，为了便于后期生成最佳的录制方案，可以通过摄像头采集演员场景的视频录制信息，该摄像头通过有线通信与云服务器直接连接；另一方面，通过移动终端采集演员场景的音频录制信息，该移动终端可以通过4G等无线通信方式与云服务器连接，在获得对应的录制信息后，通过上述不同的通信方式将对应的录制信息传输至云服务器，从而确保能够通过移动终端采集到所有的音频录制信息，以便于后期的影视作品的剪辑创作，获得更好的音频录制信息，在后续的影视作品创作的过程中，通过对所采集的视频进行剪辑，而从完整的音频录制信息中提取出最佳的音频进行匹配或创作。

在本发明实施例中，在通过网络通信进行影视作品的云导演的过程中，对网络质量进行实时监控，并在演员端和导演端的任意一端存在网络质量问题时，均进行导演内容或导演过程的优化，从而避免网络质量问题对影视作品的录制影响，提高了用户体验，大大减少了重复录制的工作量，提高了录制效率。

而在录制的过程中，演员场景的网络中断可以要求演员重新进行录制，而导演场景的网络中断由于对演员的演绎过程影响不大，因此可以不必重新进行演绎，但由于缺乏导演的直观指导和监视，因此依然可能存在表演问题，针对上述两种情况，需要分别对待，从而平衡最佳录制效率和最佳录制效果。

在本发明实施例中，所述影视作品包括多个录制片段，所述方法还包括：在所述第二通信质量不满足所述预设通信质量要求的情况下，确定当前录制片段；在检测到所述视频录制信息的录制时间达到当前录制片段的最后时刻的情况下，生成对应的暂停录制指令，将所述最后时刻确定为暂停点。

在一种可能的实施方式中，可以根据实际的录制要求，在录制前预先确定当前影视作品的多个录制片段，其中每个录制片段的录制时间可以不同，但每个录制片段的录制时间可以要求均不大于5min，在录制过程中的某一时刻，监控到导演端的通信质量不满足预设通信质量要求后，可以并不立即停止录制，而是首先根据录制进度确定当前录制片段，并在检测到视频录制信息的录制时间达到当前录制片段的最后时刻的情况下，才生成对应的暂停录制指令，并将该最后时刻确定为暂停点，即在监控到导演端的通信质量不满足预设通信质量要求后，演员端并不立即中止录制，而是继续录制，并继续将所录制的视频录制信息上传至云服务器，同时音频录制信息也保持实时录制和上传，当持续录制到本段结束时，立即提示暂停录制，导演可以在恢复网络通信后，通过查看已经录制的视频录制信息是否满足其要求，若满足，则可以从暂停点继续录制；而若认为从网络异常时刻开始至本段录制完成的片段不符合其实际要求，则可以要求对该段重新进行录制，从而获得最佳的影视创作结果。

在本发明实施例中，所述生成对应的暂停录制指令，确定暂停点，包括：将当前时刻作为初始时刻；在检测到所述视频录制信息的录制时间达到当前录制片段的最后时刻的情况下，生成对应的暂停录制指令；判断所述初始时刻至所述最后时刻之间的离线录制片段是否符合录制要求；若是，将所述最后时刻确定为暂停点；否则，删除所述离线录制片段，将所述初始时刻确定为暂停点。

在一种可能的实施方式中，在导演场景的第二通信质量不满足预设通信质量要求时，首先将当前时刻作为初始时刻，而不是作为暂停点，并对当前正在录制的视频片段进行继续录制，并在检测到当前正在录制的视频录制信息的录制时间达到当前录制片段的最后时刻的情况下，生成对应的暂停录制指令，比如可以在此刻通知演员场景的演员暂停演绎，并暂停向云服务器上传视频录制信息，此时判断所录制的从初始时刻至最后时刻之间的离线录制片段是否符合录制要求，具体的，可以由导演在恢复网络通信后，通过调取云服务器中存储的该离线录制片段来判断其是否符合录制要求，并反馈对应的判断结果，云服务器在收到对应的判断结果，执行针对该离线录制片段的操作，比如当符合录制要求时，将视频录制的最后时刻确定为暂停点；否则，将该离线录制片段删除，并将该初始时刻确定为暂停点，从而能够返回初始时刻重新进行录制。

在本发明实施例中，通过针对网络异常的实际情况采取区别性的应对措施，能够在保证最佳影视创作效率的基础上，保证所录制的所有音视频信息均为满足导演的要求的信息，从而能够保证后续所创作的影视作品的质量，提高用户体验。

通过上述录制方法，能够保证在实时录制的过程中所录制的音视频信息均为满足要求的音视频，然而随着人们对影视创作的要求越来越高，导演创作的影视作品可能并不仅仅包含演员实时录制的音视频信息，还需要穿插一些其他内容以更加丰富影视作品的内容，提高用户体验；另一方面，当出现不符合录制要求的视频片段后，若不重新录制该片段的内容，则可能出现内容上的“断层”，为用户的实际观影造成影响，降低用户体验。

为了解决该技术问题，在本发明实施例中，所述方法还包括：在删除所述离线录制片段后，获取预录制片段，所述预录制片段的录制时长大于等于所述离线录制片段；从所述预录制片段中提取与所述离线录制片段等长的替换片段；将所述替换片段插入所述离线录制片段对应的时段。

在一种可能的实施方式中，在删除上述离线录制视频后，获取预录制片段，该预录制片段的录制时长大于等于离线录制片段，该预录制片段可以包括但不限于针对各个演员的采访片段、前期准备花絮、已录制片段的精彩片段等，从上述预录制片段中提取与离线录制片段等长的替换片段并插入离线录制片段所对应的片段，从而实现了对整个影视作品的优化呈现。

在本发明实施例中，通过采用预录制片段对不符合录制要求的离线录制片段进行替换，而不是采用重复录制的方式，一方面能够有效减少重复录制的工作量，提高影视创作效率；另一方面可以使得创作内容更加丰富，作品呈现更加立体化，进一步提高了用户的观影体验。

进一步的，在实际应用过程中，在确定所录制的视频录制信息均满足要求的情况下，所录制的音频录制信息可能因杂音、不符合要求的录音等原因，导致其无法被同步应用至对应的视频录制信息中，而传统的在线影视创作往往将视频和音频同步呈现，则必然降低最终的影视作品的观影体验。

为了解决上述技术问题，在本发明实施例中，所述视频录制信息包括正常录制片段、离线录制片段和替换片段，所述基于所述视频录制信息和所述音频录制信息生成影视作品，包括：从所述音频录制信息中提取与所述正常录制片段对应的正常音频片段；从所述音频录制信息中提取与所述离线录制片段对应的离线音频片段；判断所述音频录制信息中是否存在与所述替换片段相匹配的匹配音频片段：若存在，从所述音频录制信息中提取所述匹配音频片段；若不存在，获取与所述替换片段对应的替换音频片段；基于所述匹配音频片段或所述替换音频片段，以及所述正常音频片段和所述离线音频片段生成录制音频；基于所述视频录制信息和所述录制音频生成影视作品。

在一种可能的实施方式中，在获取到所录制的视频录制信息后，从所录制的音频录制信息中获取最佳的音频片段。具体的，首先可以从音频录制信息中提取与正常录制片段对应的正常音频片段，以及从音频录制信息中提取与离线录制片段对应的离线音频片段，在本发明实施例中，该离线录制片段可以为满足录制要求的视频片段，以进行直接的音视频匹配；最后，针对替换片段，首先从音频录制信息中判断是否存在与其相匹配的匹配音频片段，若存在，则从音频录制信息中提取对应的片段与该替换片段进行音视频匹配；若不存在才将替换片段的原音频内容(即替换音频片段)作为最终的音频片段，最后，将上述所有视频片段及其所匹配的音频片段进行融合处理，从而生成最终的影视作品。

在本发明实施例中，通过在采用替换视频进行影视创作的过程中，并不直接采用替换视频的原音频内容，由于在演员场景实时录制的音频录制信息具有更好的时间连贯性和内容衔接性，因此优先将音频录制信息中与替换视频相匹配的音频片段作为其匹配的音频内容，能够有效提高替换片段与正常视频片段的衔接效果，避免创作内容的突兀化，从而在实现创作内容的丰富化的基础上，进一步提高观影体验，提高影视创作效果。

下面结合附图对本发明实施例所提供的在线云导演装置进行说明。

请参见图2，基于同一发明构思，本发明实施例提供一种在线云导演装置，应用于云服务器，所述装置包括：通信监控单元，用于实时监控演员场景的第一通信质量和导演场景的第二通信质量；判断单元，用于判断所述第一通信质量和所述第二通信质量中是否存在至少一者不满足预设通信质量要求；第一录制单元，用于在所述第一通信质量和所述第二通信质量中存在至少一者不满足所述预设通信质量要求的情况下，生成对应的暂停录制指令，确定暂停点，并在检测到所述第一通信质量和所述第二通信质量均满足所述预设通信质量要求时，基于导演的录制指令执行与所述暂停点对应的第一录制操作；第二录制单元，用于在所述第一通信质量和所述第二通信质量均满足所述预设通信质量要求的情况下，基于导演的录制指令执行对应的第二录制操作；作品生成单元，用于基于所述第一录制操作和所述第二录制操作获取所述演员场景的视频录制信息和音频录制信息，所述视频录制信息和所述音频录制信息通过不同的通信方式传输至所述云服务器，基于所述视频录制信息和所述音频录制信息生成影视作品。

在本发明实施例中，所述影视作品包括多个录制片段，所述第一录制单元还用于：在所述第二通信质量不满足所述预设通信质量要求的情况下，确定当前录制片段；在检测到所述视频录制信息的录制时间达到当前录制片段的最后时刻的情况下，生成对应的暂停录制指令，将所述最后时刻确定为暂停点。

在本发明实施例中，所述生成对应的暂停录制指令，确定暂停点，包括：将当前时刻作为初始时刻；在检测到所述视频录制信息的录制时间达到当前录制片段的最后时刻的情况下，生成对应的暂停录制指令；判断所述初始时刻至所述最后时刻之间的离线录制片段是否符合录制要求；若是，将所述最后时刻确定为暂停点；否则，删除所述离线录制片段，将所述初始时刻确定为暂停点。

在本发明实施例中，所述装置还包括替换单元，所述替换单元具体用于：在删除所述离线录制片段后，获取预录制片段，所述预录制片段的录制时长大于等于所述离线录制片段；从所述预录制片段中提取与所述离线录制片段等长的替换片段；将所述替换片段插入所述离线录制片段对应的时段。

在本发明实施例中，所述视频录制信息包括正常录制片段、离线录制片段和替换片段，所述作品生成单元具体用于：从所述音频录制信息中提取与所述正常录制片段对应的正常音频片段；从所述音频录制信息中提取与所述离线录制片段对应的离线音频片段；判断所述音频录制信息中是否存在与所述替换片段相匹配的匹配音频片段：若存在，从所述音频录制信息中提取所述匹配音频片段；若不存在，获取与所述替换片段对应的替换音频片段；基于所述匹配音频片段或所述替换音频片段，以及所述正常音频片段和所述离线音频片段生成录制音频；基于所述视频录制信息和所述录制音频生成影视作品。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。