基于双摄像头的多方在线学习方法、客户端及服务器

技术领域

本发明属于多媒体通信技术领域，具体涉及基于双摄像头的多方在线学习方法、客户端及服务器。

背景技术

在线学习在现行概念中一般指的是指一种基于网络的学习行为，顾名思义，是以网络为介质的教学方式，通过网络，学员与教师即使相隔万里也可以开展教学活动；此外，借助网络课件，学员还可以随时随地进行学习，真正打破了时间和空间的限制，对于工作繁忙，学习时间不固定的职场人而言网络远程教育是最方便不过的学习方式。在遇到大型传染病疫情的情况下，由于很多学校关闭无法上课的缘故，在线学习成为了学校教学的必要方式，在各地迅速普及开来。

然而现有技术中的在线学习系统，通常是只对老师或学生的视角进行演示，老师在上面讲课时不容易掌握学生的学习状态，学生被动看直播而缺少互动，上课时注意力难以持续集中，学习效率降低。

发明内容

针对现有技术中所存在的不足，本发明提供了一种实现了多点位同时多角度的实时视频通信、容易掌握学生学习状态、演示互动效果更好的基于双摄像头的多方在线学习方法、客户端及服务器。

第一方面，基于双摄像头的多方在线学习方法，应用于服务器，包括如下步骤：

接收至少两个客户端发来的多路媒体数据；所述多路媒体数据采集自各客户端，包括人物视频数据、桌面视频数据及音频数据；所述客户端包括主讲端和听讲端；

按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域；所述显示区域包括主显示区域和副显示区域；

向各客户端分别发送非采集自该客户端的多路媒体数据，以使所述客户端根据所述分配的显示区域同步展示所述多路媒体数据；

接收来自主讲端的控制信令；

根据所述主讲端的控制信令更改所述显示区域的分配。

作为优化，所述按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域，包括：

将主讲端的人物视频数据和桌面视频数据分配至主显示区域，将听讲端的人物视频数据和桌面视频数据分配至副显示区域。

作为优化，所述根据所述主讲端的控制信令更改所述显示区域的分配，包括：

若所述主讲端的控制信令为让所述客户端之一上屏的信令，则将该客户端的人物视频数据和桌面视频数据分配至主显示区域；

若所述主讲端的控制信令为让所述客户端之一的人物视频数据或桌面视频数据上屏的信令，则将该客户端的人物视频数据或桌面视频数据分配至主显示区域。

作为优化，在所述按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域之前，判断听讲端数量是否超过副显示区域的预设显示上限；若超过，则所述按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域，包括：

将主讲端的人物视频数据和桌面视频数据分配至主显示区域；将听讲端按所述预设显示上限分组，每间隔预设的轮询时间将所述听讲端按所述分组轮流分配至副显示区域。

第二方面，基于双摄像头的多方在线学习方法，应用于客户端，所述客户端是主讲端或听讲端，包括如下步骤：

采集多路媒体数据；所述多路媒体数据包括人物视频数据、桌面视频数据及音频数据；

向服务器发送所述多路媒体数据；

接收所述服务器发来的由其他客户端采集的多路媒体数据；

根据所述服务器按照预设方式分配的显示区域同步展示所述多路媒体数据；所述显示区域包括主显示区域和副显示区域；

根据所述主讲端的控制信令让服务器对显示区域的分配作出的更改，更新所述客户端上显示区域的显示内容。

作为优化，所述根据所述主讲端的控制信令让服务器对显示区域的分配作出的更改，更新所述客户端上显示区域的显示内容，包括：

若所述主讲端的控制信令为让所述客户端之一上主显示区域的信令，则将该客户端的人物视频数据和桌面视频数据更新至主显示区域同步显示；

若所述主讲端的控制信令为让所述客户端之一的人物视频数据或桌面视频数据上主显示区域的信令，则将该客户端的人物视频数据或桌面视频数据更新至主显示区域同步显示。

作为优化，所述根据所述服务器按照预设方式分配的显示区域同步展示所述多路媒体数据，包括：若所述听讲端数量超过副显示区域的预设显示上限，则将所述主讲端的人物视频数据和桌面视频数据在主显示区域同步显示；所述听讲端按所述预设显示上限分组，每间隔预设的轮询时间将所述听讲端按所述分组轮流在副显示区域同步显示；

若所述听讲端数量未超过副显示区域的预设显示上限，则将所述主讲端的人物视频数据和桌面视频数据在主显示区域同步显示，将所述听讲端的人物视频数据和桌面视频数据在副显示区域同步显示。

第三方面，基于双摄像头的多方在线学习客户端，是主讲端或听讲端，包括：

控制单元，以及分别与所述控制单元连接的用于采集人物视频数据的第一摄像头、用于采集桌面视频数据的第二摄像头、用于采集音频数据的音频采集装置、用于与服务器通信的客户端通信模块、用于展示音频数据的音频输出装置、用于展示人物视频数据和桌面视频数据的显示装置；

所述客户端通信模块，用于将所述人物视频数据、桌面视频数据以及音频数据发送至服务器；用于接收其他客户端采集的人物视频数据、桌面视频数据以及音频数据；

所述控制单元，用于若所述主讲端让服务器对显示区域的分配作出更改的控制信令为让客户端之一上主显示区域的信令，则将该客户端的人物视频数据和桌面视频数据更新至所述显示装置的主显示区域同步显示；若所述主讲端让服务器对显示区域的分配作出的更改的控制信令为让客户端之一的人物视频数据或桌面视频数据上主显示区域的信令，则将该客户端的人物视频数据或桌面视频数据更新至所述显示装置的主显示区域同步显示。

第四方面，基于双摄像头的多方在线学习服务器，包括：

服务器通信模块，用于接收至少两个客户端发来的多路媒体数据，所述多路媒体数据包括人物视频数据、桌面视频数据及音频数据，所述客户端包括主讲端和听讲端；用于向各客户端分别发送非采集自该客户端的多路媒体数据；用于接收来自主讲端的控制信令；

处理单元，用于按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域，所述显示区域包括主显示区域和副显示区域；还用于根据所述主讲端的控制信令更改所述显示区域的分配；

所述服务器通信模块与处理单元相连接。

作为优化，所述处理单元，还用于判断听讲端数量是否超过副显示区域的预设显示上限，若超过则所述按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域，包括：将主讲端的人物视频数据和桌面视频数据分配至主显示区域；将听讲端按所述预设显示上限分组，每间隔预设的轮询时间将所述听讲端按所述分组轮流分配至副显示区域；

若未超过则所述按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域，包括：将主讲端的人物视频数据和桌面视频数据分配至主显示区域，将听讲端的人物视频数据和桌面视频数据分配至副显示区域。

相比于现有技术，本发明具有如下有益效果：

1、通过采用两个摄像头采集人物和桌面两个视角的视频数据，每个视角采用独立视频流，每路视频流均能单独进行控制及切换主副显示区域；还通过控制信令控制视频通信中的显示区域，实现了多点位同时多角度的实时视频通信；可应用于在线教育等场景，解决了在一对多教学时，人像展示与实物演示同时并发时的通信问题，还解决了主讲人在讲课时不容易掌握学生学习状态的问题，可更方便的进行演示教学，实现更佳的演示互动；

2、通过预设一个常用的显示区域分配状态，可以省下开讲时还要额外调整主副显示区域视频画面的时间；

3、通过让老师随时切换到学生的人物和桌面视角，方便老师进行互动教学的同时观察学生状态；还通过单独切换学生的人物视角或者桌面视角到主显示区域，可以同时和老师的人物视角或桌面视角进行观察和交流，能更好地进行互动，更容易进行对比观察学习，提高学习效率；

4、通过设置一种基于副显示区域的轮换显示方案，将所有听讲端按照预设显示上限分为若干组，根据预设时间来进行轮换操作，既减轻了客户端的压力，又不耽误掌握学生的学习状态。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一方面的基于双摄像头的多方在线学习方法的流程示意图；

图2为本发明第二方面的基于双摄像头的多方在线学习方法的流程示意图；

图3为本发明第三方面的基于双摄像头的多方在线学习客户端的结构示意图；

图4为本发明第四方面的基于双摄像头的多方在线学习服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的第一方面，如图1所示，基于双摄像头的多方在线学习方法，应用于服务器，包括如下步骤：

S101：接收至少两个客户端发来的多路媒体数据；所述多路媒体数据采集自各客户端，包括人物视频数据、桌面视频数据及音频数据；所述客户端包括主讲端和听讲端；

S102：按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域；所述显示区域包括主显示区域和副显示区域；

S103：向各客户端分别发送非采集自该客户端的多路媒体数据，以使所述客户端根据所述分配的显示区域同步展示所述多路媒体数据；

S104：接收来自主讲端的控制信令；

S105：根据所述主讲端的控制信令更改所述显示区域的分配。

其中，所述人物视频数据可采集自主讲人或听讲人的正面视角，所述桌面视频数据可采集自主讲人或听讲人的桌面视角。所述主讲端即主讲人使用的客户端，所述听讲端即听讲人使用的客户端。一般来说，所述主显示区域可容纳两个较大的视频画面，副显示区域能容纳多对较小的视频画面。所述同步展示可通过在音视频数据上添加时间戳来实现。

本实施例通过采用两个摄像头采集人物和桌面两个视角的视频数据，每个视角采用独立视频流，每路视频流均能单独进行控制及切换主副显示区域；还通过控制信令控制视频通信中的显示区域，实现了多点位同时多角度的实时视频通信；可应用于在线教育等场景，解决了在一对多教学时，人像展示与实物演示同时并发时的通信问题，还解决了老师在讲课时不容易掌握学生学习状态的问题，可更方便的进行演示教学，实现更佳的演示互动。

一种实施例中，所述按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域，包括：

将主讲端的人物视频数据和桌面视频数据分配至主显示区域，将听讲端的人物视频数据和桌面视频数据分配至副显示区域。

一般来说，对于在线学习，通常以老师讲课为主，学生互动为辅，所以在本实施例中预设一个常用的显示区域分配状态，也就是老师的视频画面在主显示区域，学生的视频画面在副显示区域。这样可以省下开讲时还要额外调整主副显示区域视频画面的时间。

一种实施例中，所述根据所述主讲端的控制信令更改所述显示区域的分配，包括：

若所述主讲端的控制信令为让所述客户端之一上屏的信令，则将该客户端的人物视频数据和桌面视频数据分配至主显示区域；

若所述主讲端的控制信令为让所述客户端之一的人物视频数据或桌面视频数据上屏的信令，则将该客户端的人物视频数据或桌面视频数据分配至主显示区域。

其中，在现实的在线学习过程中，经常会需要老师和学生之间的互动。而现有技术中就算设置了学生视角的摄像头，也只能要么切换老师的视角，要么切换学生的视角，互动较为不便。本实施例中，不但能让老师随时切换到学生的人物和桌面视角，方便老师进行互动教学的同时观察学生状态，还能单独切换学生的人物视角或者桌面视角到主显示区域，这样就可同时和老师的人物视角或桌面视角进行观察和交流，能更好地进行互动，更容易进行对比观察学习，提高学习效率。

一种实施例中，在所述按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域之前，判断听讲端数量是否超过副显示区域的预设显示上限；若超过，则所述按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域，包括：

将主讲端的人物视频数据和桌面视频数据分配至主显示区域；将听讲端按所述预设显示上限分组，每间隔预设的轮询时间将所述听讲端按所述分组轮流分配至副显示区域。

其中，考虑到如果接入学习的学生较多，副显示区域内显示的视频数量也成正比增长，一方面会对网络以及客户端的处理能力带来较大的压力，可能导致连接不稳定、网络卡顿、响应时间长等问题；另一方面视频画面太多要么会挤占显示空间、不美观，要么画面太小看不清。因此可以考虑设置一个关于听讲端数量的显示上限，通过这样的方式来缓解服务器和客户端的压力，但是这样又会带来一个问题就是主讲人不能很好地观察全体听讲人的学习状态。鉴于此，申请人提出了一种基于副显示区域的轮询方案，将所有听讲端按照预设显示上限分为几组，比如有20人听讲，显示上限为5，则可分为4组。然后再设置一个轮询时间，每经过一个轮询时间，所述副显示区域内显示的人物视频数据和桌面视频数据就换一组，依次循环进行。这样一来，就能实现既减轻了客户端的压力，又不耽误掌握学生的学习状态。

本发明的第二方面，如图2所示，基于双摄像头的多方在线学习方法，应用于客户端，所述客户端是主讲端或听讲端，包括如下步骤：

S201：采集多路媒体数据；所述多路媒体数据包括人物视频数据、桌面视频数据及音频数据；

S202：向服务器发送所述多路媒体数据；

S203：接收所述服务器发来的由其他客户端采集的多路媒体数据；

S204：根据所述服务器按照预设方式分配的显示区域同步展示所述多路媒体数据；所述显示区域包括主显示区域和副显示区域；

S205：根据所述主讲端的控制信令让服务器对显示区域的分配作出的更改，更新所述客户端上显示区域的显示内容。

一种实施例中，所述根据所述主讲端的控制信令让服务器对显示区域的分配作出的更改，更新所述客户端上显示区域的显示内容，包括：

若所述主讲端的控制信令为让所述客户端之一上主显示区域的信令，则将该客户端的人物视频数据和桌面视频数据更新至主显示区域同步显示；

若所述主讲端的控制信令为让所述客户端之一的人物视频数据或桌面视频数据上主显示区域的信令，则将该客户端的人物视频数据或桌面视频数据更新至主显示区域同步显示。

一种实施例中，所述根据所述服务器按照预设方式分配的显示区域同步展示所述多路媒体数据，包括：若所述听讲端数量超过副显示区域的预设显示上限，则将所述主讲端的人物视频数据和桌面视频数据在主显示区域同步显示；所述听讲端按所述预设显示上限分组，每间隔预设的轮询时间将所述听讲端按所述分组轮流在副显示区域同步显示；

若所述听讲端数量未超过副显示区域的预设显示上限，则将所述主讲端的人物视频数据和桌面视频数据在主显示区域同步显示，将所述听讲端的人物视频数据和桌面视频数据在副显示区域同步显示。

本发明的第三方面，如图3所示，基于双摄像头的多方在线学习客户端，是主讲端或听讲端，包括：

控制单元，以及分别与所述控制单元连接的用于采集人物视频数据的第一摄像头、用于采集桌面视频数据的第二摄像头、用于采集音频数据的音频采集装置、用于与服务器通信的客户端通信模块、用于展示音频数据的音频输出装置、用于展示人物视频数据和桌面视频数据的显示装置；

所述客户端通信模块，用于将所述人物视频数据、桌面视频数据以及音频数据发送至服务器；用于接收其他客户端采集的人物视频数据、桌面视频数据以及音频数据；

所述控制单元，用于若所述主讲端让服务器对显示区域的分配作出更改的控制信令为让客户端之一上主显示区域的信令，则将该客户端的人物视频数据和桌面视频数据更新至所述显示装置的主显示区域同步显示；若所述主讲端让服务器对显示区域的分配作出的更改的控制信令为让客户端之一的人物视频数据或桌面视频数据上主显示区域的信令，则将该客户端的人物视频数据或桌面视频数据更新至所述显示装置的主显示区域同步显示。

本发明的第四方面，如图4所示，基于双摄像头的多方在线学习服务器，包括：

服务器通信模块，用于接收至少两个客户端发来的多路媒体数据，所述多路媒体数据包括人物视频数据、桌面视频数据及音频数据，所述客户端包括主讲端和听讲端；用于向各客户端分别发送非采集自该客户端的多路媒体数据；用于接收来自主讲端的控制信令；

处理单元，用于按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域，所述显示区域包括主显示区域和副显示区域；还用于根据所述主讲端的控制信令更改所述显示区域的分配；

所述服务器通信模块与处理单元相连接。

一种实施例中，所述处理单元，还用于判断听讲端数量是否超过副显示区域的预设显示上限，若超过则所述按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域，包括：将主讲端的人物视频数据和桌面视频数据分配至主显示区域；将听讲端按所述预设显示上限分组，每间隔预设的轮询时间将所述听讲端按所述分组轮流分配至副显示区域；

若未超过则所述按照预设方式为来自各客户端的人物视频数据和桌面视频数据分配显示区域，包括：将主讲端的人物视频数据和桌面视频数据分配至主显示区域，将听讲端的人物视频数据和桌面视频数据分配至副显示区域。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。