本申请涉及显示技术领域，更具体地，涉及一种显示方法、装置、终端设备及存储介质。
背景技术：
在大多应用于载具的拍摄显示技术中，通常将摄像头固定设置于载具外部的某一位置，设置于载具外部的摄像头对载具外部的场景进行采集图像后，部分图像采集设备将采集的图像传输至远程设备进行显示。但是，上述技术中图像采集设备通常仅能采集一个方向视角的图像，而无法满足用户察看其他方向视角的场景的需求。
技术实现要素：
本申请实施例提出了一种显示方法、装置、终端设备及存储介质，能够实现载具上的图像采集设备采集用户需要的方向视角的场景的图像，并进行显示。
第一方面，本申请实施例提供了一种显示方法，应用于终端设备，所述方法包括：获取所述终端设备的姿态信息；基于所述姿态信息生成采集控制指令，并将所述采集控制指令发送至载具上的图像采集设备，其中，所述采集控制指令用于指示所述图像采集设备采用与所述姿态信息匹配的朝向角度采集所述载具的周围场景的场景图像；接收所述图像采集设备采集的场景图像，并根据所述场景图像将显示内容进行显示。
第二方面，本申请实施例提供了一种显示装置，应用于终端设备，所述装置包括：姿态获取模块、采集控制模块以及内容显示模块，其中，所述姿态获取模块用于获取所述终端设备的姿态信息；所述采集控制模块用于基于所述姿态信息生成采集控制指令，并将所述采集控制指令发送至载具上的图像采集设备，其中，所述采集控制指令用于指示所述图像采集设备采用与所述姿态信息匹配的朝向角度采集所述载具的周围场景的场景图像；所述内容显示模块用于接收所述图像采集设备采集的场景图像，并根据所述场景图像将显示内容进行显示。
第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的显示方法。
第四方面，本申请实施例提供了一种存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的显示方法。
本申请提供的方案，通过获取终端设备的姿态信息，然后基于姿态信息生成采集控制指令，并将采集控制指令发送至载具上的图像采集设备，其中，采集控制指令用于指示图像采集设备采用与姿态信息匹配的朝向角度采集载具的周围的场景图像，最后接收图像采集设备采集的场景图像，并根据场景图像将显示内容进行显示，从而可以实现载具上的图像采集设备根据终端设备的姿态信息匹配的朝向角度采集载具周围的场景图像，并于终端设备进行显示，方便用户察看需要察看的方向视角的场景图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用场景的示意图。
图2示出了根据本申请一个实施例的显示方法流程图。
图3示出了根据本申请另一个实施例的显示方法流程图。
图4示出了根据本申请又一个实施例的显示方法流程图。
图5示出了根据本申请一个实施例的显示装置的一种框图。
图6示出了根据本申请一个实施例的显示装置中采集控制模块的框图。
图7示出了根据本申请一个实施例的显示装置中内容显示模块的框图。
图8示出了根据本申请一个实施例的显示装置的一种框图。
图9是本申请实施例的用于执行根据本申请实施例的显示方法的终端设备的框图。
图10是本申请实施例的用于保存或者携带实现根据本申请实施例的显示方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
下面对本申请实施例提供的显示方法的应用场景进行介绍。
请参见图1，示出了本申请实施例提供的显示方法的应用场景的示意图，该应用场景包括显示系统10。该显示系统10包括：终端设备100、图像采集设备200以及载具300。
在本申请实施例中，图像采集设备200设置于载具300。作为一种方式，图像采集设备200可以通过旋转机械结构可旋转设置于载具300顶部一位置。上述可旋转机械结构可在图像采集设备200的控制下发生转动，从而可以带动图像采集设备200相对载具300旋转，以改变图像采集设备200的朝向以及旋转角度等。当然，图像采集设备200具体设置于载具300的位置在本申请实施例中并不作为限定，也可以设置于载具300外部的其他位置，具体设置位置可以根据用户需求设定，例如，设置于载具300的尾部等。
在本申请实施例中，终端设备100与图像采集设备200可建立通信连接。具体的，终端设备100可以通过wifi(wireless-fidelity，无线保真)、gprs(generalpacketradioservice，通用分组无线服务)、4g(the4thgenerationmobilecommunicationtechnology，第四代移动通信技术)、nb-iot(narrowbandinternetofthings，窄带物联网)等通信方式与图像采集设备200建立通信连接。当然，终端设备100与图像采集设备200之间的通信方式在本申请实施例中并不作为限定。
在终端设备100与图像采集设备200通过wifi连接时，终端设备100与图像采集设备200之间的数据传输可以通过2.4ghz或别的频道实现。
在本申请实施例中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对显示内容进行显示。
图像采集设备200用于采集载具周围的场景图像发送至终端设备100。该图像采集设备200可以为彩色摄像头、红外摄像头等，图像采集设备200的具体类型在本申请实施例中可以不作为限定。
请参阅图2，本申请实施例提供了一种显示方法，可应用于终端设备，该方法可以包括：
步骤s110：获取终端设备的姿态信息。
在本申请实施例中，终端设备中可以设置有姿态传感器，用于检测终端设备的姿态信息。姿态传感器是基于mems(micro-electro-mechanicalsystem，微机电系统)技术的三维运动姿态测量系统。姿态传感器可以包括三轴陀螺仪、三轴加速度计、三轴电子罗盘等运动传感器，通过内嵌的低功耗arm(advancedriscmachines)处理器得到终端设备的姿态信息。终端设备的姿态信息包括终端设备的朝向以及旋转角度等信息。
因此，可以通过姿态传感器获取终端设备的姿态信息。当然，在本申请实施例中，获取终端设备的姿态信息的具体方式在本申请实施例中并不作为限定，例如，也可以通过设置imu(inertialmeasurementunit，惯性测量单元)于终端设备，获取终端设备的姿态信息。其中，imu为测量终端设备的的三轴姿态角(或角速率)以及加速度的装置。例如，通常imu包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出终端设备的姿态。
步骤s120：基于姿态信息生成采集控制指令，并将采集控制指令发送至载具上的图像采集设备，其中，采集控制指令用于指示图像采集设备采用与姿态信息匹配的朝向角度采集载具的周围场景的场景图像。
在得到终端设备的姿态信息之后，则可以根据终端设备的姿态信息对图像采集设备进行控制，以使图像采集设备以需要的视角方向采集图像。
在本申请实施例中，基于姿态信息生成采集控制指令，并将采集控制指令发送至载具上的图像采集设备，可以包括：基于终端设备的旋转角度以及朝向生成采集控制指令；将采集控制指令发送至载具上的图像采集设备，其中，采集控制指令用于指示图像采集设备采用上述朝向以及旋转角度采集载具的周围场景的场景图像。
作为一种方式，终端设备可以根据获取的朝向以及旋转角度，获得图像采集设备需要旋转的角度及方向。具体的，可以预先设定一个预设姿势信息，即终端设备的预设朝向以及预设旋转角度等，并且图像采集设备具有初始的镜头朝向状态，其中，终端设备的预设姿势信息与图像采集设备的初始的镜头朝向状态可对应。可以理解的是，在终端设备获取的姿势信息为该预设姿势信息时，则图像采集设备不需要旋转调整镜头方向，因此生成的采集控制指令将指示图像采集设备不作旋转调整；在终端设备获取的姿势信息与该预设姿势信息不同时，则图像采集设备需要根据终端设备的姿势信息相对该预设姿势信息的不同，确定图像采集设备需要旋转的方向以及角度，因此生成的采集控制指令指示图像采集设备按照上述需要旋转的方向及角度进行旋转，使图像采集设备的镜头朝向与终端设备的姿势信息对应。
进一步的，预设姿势信息可以为终端设备各轴的旋转角度为0，初始的镜头朝向状态可以为镜头方向与载具前进方向或后退方向平行。获取的终端设备的姿势信息相对预设姿势信息不同时，可以终端设备为原点建立x、y、z的三维空间坐标系，根据终端设备在各轴的旋转角度以及朝向确定出终端设备在x轴与y轴构成的平面内的旋转的第一方向以及第一角度，以及在x轴与z轴构成的平面内的旋转的第二方向以及第二角度，其中，x轴、y轴以及z轴相互垂直且相交于原点，x轴以及y轴为水平面上相互垂直的坐标轴，z轴垂直于水平面。然后，根据终端设备在x轴与y轴构成的平面内的旋转的第一方向以及第一角度，确定出图像采集设备的镜头需要在水平面内旋转的方向和角度分别为第一方向以及第一角度，以及根据上述终端设备在x轴与z轴构成的平面内的旋转的第二方向以及第二角度，确定出图像采集设备的镜头需要在载具前进或后退方向所在的竖直平面内旋转的方向和角度分别为第二方向以及第二角度。最后，根据上述第一方向、第一角度、第二方向以及第二角度生成采集控制指令，将采集控制指令发送至图像采集设备。图像采集设备在接收到该采集控制指令之后，则根据该采集控制指令，控制镜头在水平面内按第一方向旋转第一角度，并控制镜头在载具前进或后退方向所在的竖直平面内按第二方向旋转第二角度，图像采集设备在进行上述旋转之后，则可以以当前的镜头朝向角度采集载具的周围场景的场景图像。
在本申请实施例中，在得到终端设备在x轴与y轴构成的平面内的旋转的第一方向以及第一角度，以及在x轴与z轴构成的平面内的旋转的第二方向以及第二角度之后，还可以判断终端设备在x轴与y轴构成的平面内的旋转的第一角度是否大于预设角度，以及在x轴与z轴构成的平面内的旋转的第二角度是否大于预设角度；当第一角度大于预设角度时，才控制图像采集设备的镜头在水平面内按第一方向旋转第一角度，当第二角度大于预设角度时，才控制图像采集设备的镜头在载具前进或后退方向所在的竖直平面内按第二方向旋转第二角度。可以理解的是，可以在终端设备的姿态信息相对预设姿态信息有较大差别时，才控制图像采集设备的镜头方向在初始的镜头朝向状态基础上进行调整，避免终端设备的抖动等用户的误操作而使图像采集设备的朝向角度发生变化。
当然，在本申请实施例中，上述预设姿态信息以及图像采集设备初始的镜头朝向状态可以在本申请实施例中并不作为限定，预设姿态信息也可以为其他任意姿态信息，图像采集设备初始的镜头朝向状态也可以为其他任意状态。
可以理解的是，在根据终端设备的姿态信息生成采集控制指令发送至图像采集设备之后，图像采集设备则根据采集控制指令将镜头朝向进行调整，使镜头朝向与终端设备的姿态信息匹配，从而使图像采集设备对载具周围的场景进行图像采集的视角方向与终端设备的姿态信息匹配，达到通过终端设备的姿态信息控制图像采集设备的镜头的视角方向的目的。
步骤s130：接收图像采集设备采集的场景图像，并根据场景图像将显示内容进行显示。
图像采集设备在采用与终端设备姿态信息匹配的朝向角度采集载具周围的场景图像之后，可以将采集的场景图像传输至终端设备。
对应的，终端设备接收图像采集设备采集的场景图像。在接收到图像采集设备采集的场景图像之后，可以根据场景图像将显示内容进行显示。
在本申请实施例中，一些应用场景下，终端设备可以直接将场景图像作为显示内容进行显示。一些应用场景下，终端设备也可以根据场景图像生成虚拟对象(虚拟图像)，并将生成的虚拟对象作为显示内容进行显示。
当然，在本申请实施例中，在终端设备的姿态信息发生变化时，则可以基于上述方法调整图像采集设备的朝向角度，使图像采集设备的朝向角度与终端设备变化后的姿态信息对应，达到通过改变终端设备的姿态信息改变图像采集设备的视角方向的需求。
进一步的，终端设备可以比较相邻两次采集的姿态信息，将当前获取的姿态信息与前次获取的姿态信息进行比较，在当前获取的姿态信息相比前次获取的姿态信息的变化大于预设变化时，可以控制图像采集设备根据变化改变图像采集设备的朝向角度。
具体的，在得到当前的终端设备在x轴与y轴构成的平面内的旋转的第一方向以及第一角度，以及在x轴与z轴构成的平面内的旋转的第二方向以及第二角度之后，可以判断当前的第一角度与上次获取的第一角度的第一差值是否大于预设差值，以及当前的第二角度与上次获取的第二角度的第二差值是否大于预设差值；在第一差值大于预设差值时，才控制图像采集设备的镜头在水平面旋转第一差值的角度，在第二差值大于预设差值时，才控制图像采集设备的镜头在载具前进或后退方向所在的竖直平面内旋转第二差值的角度。可以理解的是，可以在当前终端设备的姿态信息相对前次采集的姿态信息有较大差别时，才控制图像采集设备的镜头方向进行调整，避免终端设备的抖动等用户的误操作而使图像采集设备的朝向角度发生变化。
在本申请实施例中，终端设备可以为头戴显示装置，或者终端设备可以为智能终端，并且插入外接式头戴显示装置。在头戴显示装置佩戴于用户头部时，头戴显示装置(终端设备或者插入头戴显示装置的终端设备)所检测的姿态信息会根据用户头部的运动而发生变化，当检测到变化时，根据该变化对图像采集设备的朝向交底进行调整，即可以发送第三控制指令至图像采集设备，第三控制指令用于指示图像采集设备根据变化调整朝向及旋转角度，具体调整方法可以参见上述方法。使得用户可以根据头部的运动改变终端设备姿态，从而终端设备在姿态变化时，对图像采集设备的朝向角度进行调整。终端设备在接收到图像采集设备采集的场景图像后，可以将根据场景图像将显示内容显示于头戴显示装置的镜片，使用户观察到显示内容。
本申请实施例提供的显示方法，通过获取终端设备的姿态信息，然后基于姿态信息生成采集控制指令发送至载具上的图像采集设备，图像采集设备根据采集控制指令采用与姿态信息匹配的朝向角度采集载具的周围场景的场景图像，最后终端设备对图像采集设备采集的场景图像进行接收，并根据场景图像将显示内容进行显示，实现图像采集设备根据终端设备的姿态信息匹配的朝向角度采集载具周围的场景图像传输至终端设备进行显示，满足以需要的视角方向采集场景图像的需求。
请参阅图3，本申请另一实施例提供了一种显示方法，可应用于终端设备，该方法可以包括：
步骤s210：获取终端设备的姿态信息。
步骤s220：基于终端设备的旋转角度以及朝向生成采集控制指令，将采集控制指令发送至载具上的图像采集设备，其中，采集控制指令用于指示图像采集设备采用与姿态信息匹配的朝向角度采集载具的周围场景的场景图像。
在本申请实施例中，载具的活动场景中可能设置有一个或多个标记物，当图像采集设备的朝向角度对应的载具的周围的场景中有标记物时，标记物处于图像采集设备的视野范围内，图像采集设备可以采集到包含标记物的标记物图像。
其中，上述标记物可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。另外，不同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息，终端设备通过识别标识物中包含的子标记物，可以获取与标记物对应的身份信息，该身份信息可以是编码等可用于唯一标识标记物的信息，但不限于此。
作为一种实施方式，标记物的轮廓可以为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，矩形的区域以及该区域内的多个子标记物构成一个标记物。当然，上述标记物也可以为由光点构成的自身可以发光的物体等，光点标记物可以发射不同波段或不同颜色的光，终端设备通过识别光点标记物发出的光的波段或颜色等信息获取与标记物对应的身份信息。当然，具体的标记物在本申请实施例中并不作为限定，标记物仅需要标记物能被终端设备识别即可。
步骤s230：接收图像采集设备采集的场景图像，对标记物图像进行识别，获得标记物的识别结果。
图像采集设备在采集载具的周围场景中标记物的标记物图像后，将标记物图像传输至终端设备。对应的，终端设备对上述标记物图像进行接收。
在本申请实施例中，在图像采集设备采集的图像为载具的周围场景中的标记物图像时，终端设备根据场景图像进行显示，可以是根据标记物图像生成的虚拟对象(虚拟图像)，并将虚拟对象作为显示内容进行显示。
在终端设备接收到图像采集设备采集的载具的周围场景中标记物的标记物图像之后，则可以识别该标记物图像中的标记物，以获得对标记物识别的识别结果。
在本申请实施例中，对标记物的识别结果可以包括标记物相对图像采集设备的空间位置，以及标记物的身份信息等。其中，空间位置可以包括标记物相对图像采集设备的位置以及姿态信息等，姿态信息为标记物相对图像采集设备的朝向及旋转角度。
步骤s240：获取与识别结果对应的虚拟对象数据。
在本申请实施例中，终端设备中可以存储有标记物的身份信息所对应的数据。因此，在终端设备对标记物进行识别，得到对标记物识别的识别结果之后，则可以根据识别结果中标记物的身份信息，获取身份信息对应的数据。
进一步的，上述标记物的身份信息所对应的数据可以包括虚拟对象数据。其中，虚拟对象数据可以为虚拟对象的模型数据，虚拟对象的模型数据用于模用于渲染虚拟对象，可以包括用于建立虚拟对象对应的模型的颜色、3d模型中的各顶点坐标等。
步骤s250：根据虚拟对象数据构建虚拟对象，并将虚拟对象作为显示内容进行显示。
在得到标记物的身份信息对应的虚拟对象数据之后，则可以根据虚拟对象数据构建出该虚拟对象，以对虚拟对象进行显示。
在本申请实施例中，根据虚拟对象数据构建虚拟对象，并将虚拟对象作为显示内容进行显示，可以包括：
基于标记物相对图像采集设备的位置以及姿态，获取虚拟对象的显示位置；根据显示位置将虚拟对象进行显示。
可以理解的是，对标记物的识别结果中包括标记物相对图像采集设备的位置以及姿态。将标记物相对图像采集设备的位置以及姿态，作为标记物相对终端设备的位置以及姿态。虚拟对象可以处于标记物的位置，因此根据标记物相对终端设备的位置以及姿态，确定出虚拟对象相对终端设备的空间位置，然后根据虚拟对象相对终端设备的空间位置，进行坐标转换，得到虚拟对象在终端设备的显示空间中的显示位置。
在得到虚拟对象的显示位置之后，则可以将上述构建的虚拟对象在终端设备的显示空间中的上述显示位置处进行显示，从而达到虚拟对象重合于标记物进行显示的效果。
在一些模拟驾驶的应用场景中，上述虚拟对象可以是虚拟道路，终端设备中存储有虚拟道路的数据，可以根据采集的标记物图像的识别结果，将虚拟道路进行显示，达到逼真的模拟驾驶的效果。
在一个实施例中，终端设备获取虚拟对象的显示位置后，可根据该显示位置将虚拟对象与图像采集设备采集的场景图像叠加进行显示，实现增强现实(ar)的显示效果。例如，在一些应用场景中，上述虚拟对象可以是虚拟路标。通过图像采集设备采集的标记物图像的识别结果，获得该识别结果对应的虚拟路标，并且将虚拟路标与图像采集设备采集的真实场景的场景图像进行叠加显示。
在一些模拟驾驶的应用场景中，上述虚拟对象也可以是虚拟障碍物，例如虚拟汽车，虚拟人物等。通过图像采集设备采集的标记物图像的识别结果，将虚拟障碍物于标记物的位置进行显示，以便用户根据看到的虚拟障碍物，控制载具进行躲避等，提高模拟驾驶的真实感。
当然，以上应用场景仅为举例，具体的应用场景以及具体的虚拟对象在本申请实施例中并不作为限定。
本申请实施例提供的显示方法，通过获取终端设备的姿态信息生成控制指令，发送至载具上的图像采集设备，使图像采集设备采用与上述姿态信息匹配的朝向角度采集载具周围的标记物的标记物图像，然后接收图像采集设备采集的标记物图像，对标记物图像进行识别后，根据识别结果对应的虚拟对象数据将虚拟对象进行显示，实现通过根据终端设备的姿态信息，控制载具上的图像采集设备采用与姿态信息匹配的朝向角度采集标记物图像，终端设备根据图像设备采集的标记物图像进行显示，满足以需要的视角方向采集标记物图像并根据标记物进行显示的需求。
请参阅图4，本申请另一实施例提供了一种显示方法，可应用于终端设备，该方法可以包括：
步骤s310：获取终端设备的姿态信息。
步骤s320：基于终端设备的旋转角度以及朝向生成采集控制指令，将采集控制指令发送至载具上的图像采集设备，其中，采集控制指令用于指示图像采集设备采用朝向以及旋转角度采集载具的周围场景的场景图像。
步骤s330：将场景图像作为显示内容进行显示。
在本申请实施例中，终端设备在接收到图像设备采集的场景图像之后，可以直接将场景图像作为显示内容进行显示。
可以理解的是，在一些场景中，用户需要看到载具周围的场景图像，以便用户获知载具周围的场景内容，进行相关操作，例如远程控制载具等。
步骤s340：在终端设备的姿态信息在第一预设时间内未发生变化时，将图像采集设备发送的多帧图像合成为同一图像进行显示。
在本申请实施例中，在根据终端设备的姿态信息发送采集控制指令至图像采集设备，控制图像采集设备采用与姿态信息匹配的朝向角度，采集场景图像至终端设备进行显示之后，还可以对终端设备的姿态信息进行监测，在终端设备的姿态信息发生变化时，则根据当前的姿态信息重新生成采集控制指令，并发送至图像采集设备进行图像的采集。
进一步的，可以判断终端设备的姿态信息在第一预设时间内是否发生变化，如果判断出终端设备的姿态信息在第一预设时间内未发生变化，则表示当前图像采集设备的朝向角度不用发生变化，可以将图像采集设备采集的多帧图像合成为同一张图像进行显示。
在本申请实施例中，在终端设备的姿态信息在第一预设时间内未发生变化时，将图像采集设备发送的多帧图像合成为同一图像进行显示，包括：
在终端设备的姿态信息在第一预设时间内未发生变化时，发送第一控制指令至图像采集设备，第一控制指令用于指示图像采集设备按预设转动速度在预设角度范围内转动并按预设频率采集图像；接收图像采集设备采集的图像，并将图像采集设备转动一个预设角度范围内采集的多帧图像合成为同一图像进行显示。
可以理解的是，图像采集设备的视野范围通常小于人眼的视野范围，使得图像采集设备采集的场景图像在显示时，用户的真实感不足。因此，可以在终端设备的姿态信息在第一预设时间内未发生变化时，控制图像采集设备在一定范围内进行转动采集多帧图像，然后终端设备将图像采集设备采集的多帧图像合成为一张图像进行显示。另外，为保证采集的多帧图像的时间相差不大，因此需要控制图像采集设备按照预设速度转动并按照预设频率采集图像，以使采集的多帧图像的时间相差不大。例如，可以使图像采集设备在15°～30°范围内转动，采集到多个视角方向的场景图像，然终端设备将图像采集设备采集的多个视角方向的场景图像合成为一张图像进行显示，使用户可以看到视野范围较大的场景图像。
步骤s350：在终端设备的姿态信息在第二预设时间内未发生变化时，在监测到用户的眼球位置发生变化时，发送第二控制指令至图像采集设备，第二控制指令用于指示图像采集设备根据变化调整朝向及旋转角度。
在本申请实施例中，除了以终端设备的姿态信息对图像采集设备控制，使图像采集设备采用与姿态信息匹配的朝向角度采集载具周围的场景图像以外，还可以通过跟踪用户眼球对图像采集设备进行控制。
具体的，可以通过跟踪眼球的焦点的变化，对图像采集设备的朝向角度进行控制。可以理解的是，通过获取用户的眼睛图像，可以捕捉到用户的视网膜及角膜的图像数据，终端设备根据这些数据构建眼睛的3d模型，并通过三维空间跟踪眼球的焦点，得到用户眼球的焦点的变化信息。在得到用户眼球的变化信息后，再根据用户眼球的变化信息生成第二控制指令并发送至图像采集设备，以控制图像采集设备的朝向以及旋转角度。例如，在检测到用户的眼球的焦点往左移动，则生成第二控制指令发送至图像采集设备，指示图像采集设备在水平面内逆时针旋转一定角度，在检测到用户的眼球的焦点往右移动时，则生成的第二控制指令指示图像采集设备在水平面内顺时针旋转一定角度。
从而，可以实现根据用户的眼球位置变化，对图像采集设备的朝向以及旋转角度进行调整，达到用户通过眼球位置变化即可调整图像采集设备的朝向及旋转角度的目的。
在本申请实施例中，还可以通过终端设备对图像采集设备的拍摄参数进行调整。例如，可以通过用户于终端设备做出的控制操作，生成控制指令发送至图像采集设备，指示图像采集设备调整焦距、曝光时间、光圈等拍摄参数。在一种应用场景中，该载具可以与远程的控制器通信连接，载具根据远程的控制器的载具控制指令，可以调整其行驶的方向。当载具控制指令为改变行驶方向的控制指令时，载具在接收到该载具控制指令后，会根据载具控制指令调整行驶方向。此时，由于载具行驶方向发生改变，图像采集设备所采集的载具的周围场景的场景图像的内容也会发生变化，图像采集设备可以将采集的场景图像发送至终端设备，终端设备在接收到场景图像后，会根据场景图像进行显示。例如，在控制器在用户操作下发送控制该载具右转的控制指令时，则载具接收到该控制指令后，会响应该控制指令而右转，此时，如果图像采集设备的朝向与载具的头部朝向相同时，则图像采集设备将采集到载具右转后，载具的头部朝向的场景内容的图像。从而，可以达到用户远程控制载具行驶方向的改变，而改变图像采集设备采集的场景图像的内容的目的。
本申请实施例提供的显示方法，在根据终端设备的姿态信息发送采集控制指令至图像采集设备，控制图像采集设备采用与姿态信息匹配的朝向角度，采集场景图像至终端设备进行显示之后，可以在终端设备的姿态信息在一定时间内未发生变化时，终端设备控制图像采集设备采集多个视角的图像，根据多个视角的图像合成为一张图像进行显示，使用户可以看到视野范围较大的图像，提升观看的真实感。
请参阅图5，其示出了本申请实施例提供的一种显示装置400的结构框图，该显示装置400应用于终端设备。该显示装置400可以包括：姿态获取模块410、采集控制模块420以及内容显示模块430。其中，姿态获取模块410用于获取终端设备的姿态信息；采集控制模块420用于基于姿态信息生成采集控制指令，并将采集控制指令发送至载具上的图像采集设备，其中，采集控制指令用于指示图像采集设备采用与姿态信息匹配的朝向角度采集载具的周围场景的场景图像；内容显示模块430用于接收图像采集设备采集的场景图像，并根据场景图像将显示内容进行显示。
在本申请实施例中，姿态信息可以包括终端设备的旋转角度以及朝向。请参见图6，采集控制模块420可以包括：控制指令生成单元421以及控制指令发送单元422。控制指令生成单元421用于基于终端设备的旋转角度以及朝向生成采集控制指令；控制指令发送单元422用于将采集控制指令发送至载具上的图像采集设备，其中，采集控制指令用于指示图像采集设备采用朝向以及旋转角度采集载具的周围场景的场景图像。
在本申请实施例中，当场景图像为包含载具的周围场景中标记物的标记物图像时，请参见图7，内容显示模块430可以包括：图像识别单元431、数据获取单元432以及对象显示单元433。其中，图像识别单元431用于对标记物图像进行识别，获得标记物的识别结果；数据获取单元432用于获取与识别结果对应的虚拟对象数据；对象显示单元433用于根据虚拟对象数据构建虚拟对象，并将虚拟对象作为显示内容进行显示。
进一步的，上述识别结果包括标记物相对图像采集设备的位置以及姿态。对象显示单元433可以具体用于：基于标记物相对图像采集设备的位置以及姿态，获取虚拟对象的显示位置；根据显示位置将虚拟对象进行显示。
在本申请实施例中，内容显示模块430也可以具体用于：将场景图像作为显示内容进行显示。
在本申请实施例中，请参见图8，该显示装置400还可以包括：合成图像显示模块440。合成图像显示模块440用于：在终端设备的姿态信息在第一预设时间内未发生变化时，将图像采集设备发送的多帧图像合成为同一图像进行显示。
进一步的，合成图像显示模块440可以具体用于：在终端设备的姿态信息在第一预设时间内未发生变化时，发送第一控制指令至图像采集设备，第一控制指令用于指示图像采集设备按预设转动速度在预设角度范围内转动并按预设频率采集图像；接收图像采集设备采集的图像，并将图像采集设备转动一个预设角度范围内采集的多帧图像合成为同一图像进行显示。
在本申请实施例中，请参见图8，该显示装置400还可以包括：旋转控制模块450。旋转控制模块450可以用于：在终端设备的姿态信息在第二预设时间内未发生变化时，在监测到用户的眼球位置发生变化时，发送第二控制指令至图像采集设备，第二控制指令用于指示图像采集设备根据变化调整朝向及旋转角度。
在本申请实施例中，该显示装置还可以包括：朝向调整模块。该朝向调整模块可以用于当检测到所述终端设备的姿态信息随用户头部的运动发生变化时，根据所述变化发送第三控制指令至所述图像采集设备，所述第三控制指令用于指示所述图像采集设备根据所述变化调整朝向及旋转角度；接收所述图像采集设备采集的场景图像，并根据所述场景图像在所述头戴显示装置中显示对应的内容。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请实施例提供的显示方法、装置，通过获取终端设备的姿态信息，然后基于姿态信息生成采集控制指令，并将采集控制指令发送至载具上的图像采集设备，其中，采集控制指令用于指示图像采集设备采用与姿态信息匹配的朝向角度采集载具的周围的场景图像，最后接收图像采集设备采集的场景图像，并根据场景图像将显示内容进行显示，从而可以实现载具上的图像采集设备根据终端设备的姿态信息匹配的朝向角度采集载具周围的场景图像，并于终端设备进行显示，方便用户察看需要察看的方向视角的场景图像。
请参考图9，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field－programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据等。
请参考图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
技术特征：
1.一种显示方法，其特征在于，应用于终端设备，所述方法包括：
获取所述终端设备的姿态信息；
基于所述姿态信息生成采集控制指令，并将所述采集控制指令发送至载具上的图像采集设备，其中，所述采集控制指令用于指示所述图像采集设备采用与所述姿态信息匹配的朝向角度采集所述载具的周围场景的场景图像；
接收所述图像采集设备采集的场景图像，并根据所述场景图像将显示内容进行显示。
2.根据权利要求1所述的方法，其特征在于，所述姿态信息包括所述终端设备的旋转角度以及朝向，所述基于所述姿态信息生成采集控制指令，并将所述采集控制指令发送至载具上的图像采集设备，包括：
基于所述终端设备的旋转角度以及所述朝向生成采集控制指令；
将所述采集控制指令发送至载具上的图像采集设备，其中，所述采集控制指令用于指示所述图像采集设备采用所述朝向以及旋转角度采集所述载具的周围场景的场景图像。
3.根据权利要求1所述的方法，其特征在于，当所述场景图像为包含所述载具的周围场景中标记物的标记物图像时，所述根据所述场景图像将显示内容进行显示，包括：
对所述标记物图像进行识别，获得所述标记物的识别结果；
获取与所述识别结果对应的虚拟对象数据；
根据所述虚拟对象数据构建虚拟对象，并将所述虚拟对象作为显示内容进行显示。
4.根据权利要求3所述的方法，其特征在于，所述识别结果包括所述标记物相对所述图像采集设备的位置以及姿态，所述将虚拟对象作为显示内容进行显示，包括：
基于所述标记物相对所述图像采集设备的位置以及姿态，获取所述虚拟对象的显示位置；
根据所述显示位置将所述虚拟对象进行显示。
5.根据权利要求1所述的方法，其特征在于，所述显示内容包括采集的场景图像；
在所述接收所述图像采集设备采集的场景图像，并根据所述场景图像将显示内容进行显示之后，所述方法还包括：
在所述终端设备的姿态信息在第一预设时间内未发生变化时，将所述图像采集设备发送的多帧图像合成为同一图像进行显示。
6.根据权利要求5所述的方法，其特征在于，所述在所述终端设备的姿态信息在第一预设时间内未发生变化时，将所述图像采集设备发送的多帧图像合成为同一图像进行显示，包括：
在所述终端设备的姿态信息在第一预设时间内未发生变化时，发送第一控制指令至所述图像采集设备，所述第一控制指令用于指示所述图像采集设备按预设转动速度在预设角度范围内转动并按预设频率采集图像；
接收所述图像采集设备采集的图像，并将所述图像采集设备转动一个预设角度范围内采集的多帧图像合成为同一图像进行显示。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
在所述终端设备的姿态信息在第二预设时间内未发生变化时，在监测到用户的眼球位置发生变化时，发送第二控制指令至所述图像采集设备，所述第二控制指令用于指示所述图像采集设备根据所述变化调整朝向及旋转角度。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述终端设备为头戴显示装置，或者所述终端设备设置于头戴显示装置，所述方法还包括：
当检测到所述终端设备的姿态信息随用户头部的运动发生变化时，根据所述变化发送第三控制指令至所述图像采集设备，所述第三控制指令用于指示所述图像采集设备根据所述变化调整朝向及旋转角度；
接收所述图像采集设备采集的场景图像，并根据所述场景图像在所述头戴显示装置中显示对应的内容。
9.一种显示装置，其特征在于，应用于终端设备，所述装置包括：姿态获取模块、采集控制模块以及内容显示模块，其中，
所述姿态获取模块用于获取所述终端设备的姿态信息；
所述采集控制模块用于基于所述姿态信息生成采集控制指令，并将所述采集控制指令发送至载具上的图像采集设备，其中，所述采集控制指令用于指示所述图像采集设备采用与所述姿态信息匹配的朝向角度采集所述载具的周围场景的场景图像；
所述内容显示模块用于接收所述图像采集设备采集的场景图像，并根据所述场景图像将显示内容进行显示。
10.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-8任一项所述的方法。
11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。
技术总结
本申请实施例公开了一种显示方法、装置、终端设备及存储介质，涉及显示技术领域。该显示方法应用于终端设备，该显示方法包括：获取所述终端设备的姿态信息；基于所述姿态信息生成采集控制指令，并将所述采集控制指令发送至载具上的图像采集设备，其中，所述采集控制指令用于指示所述图像采集设备采用与所述姿态信息匹配的朝向角度采集所述载具的周围场景的场景图像；接收所述图像采集设备采集的场景图像，并根据所述场景图像将显示内容进行显示。本方法可以实现利用终端设备的姿态对载具的图像采集设备进行控制，并根据图像采集设备采集的图像进行显示。
技术研发人员：乔绎夫;戴景文;贺杰
受保护的技术使用者：广东虚拟现实科技有限公司
技术研发日：.08.14
技术公布日：.02.21
