1.本技术涉及用于向用户呈现以增强现实(ar)方式显示的虚拟对象的技术。


背景技术：

2.近年来，用于在真实世界的真实空间中叠加和显示虚拟对象的增强现实(ar)技术已经变得广为人知。
3.例如，以下专利文献1描述了配备有ar技术的头戴式显示器。当在用户佩戴头戴式显示器的情况下以ar方式显示虚拟对象时，可以使用户在虚拟对象如同是存在于真实空间中的真实对象的那样来感知虚拟对象。
4.[引用列表]
[0005]
[专利文献]
[0006]
专利文献1：日本专利申请特许公开第2017-120550号


技术实现要素：

[0007]
[技术问题]
[0008]
在这样的领域中，需要一种向用户呈现可以在头戴式显示器上显示的虚拟对象的新方法。
[0009]
鉴于上述情况，提供了一种向用户呈现可以在头戴式显示器上显示的虚拟对象的新方法。
[0010]
[问题的解决方案]
[0011]
根据本技术的信息处理装置包括：控制单元。控制单元使头戴式显示器的第一显示单元以增强现实(ar)方式显示虚拟对象，检测关于虚拟对象的用户交互，该交互通过交互装置执行，以及根据交互使交互装置的第二显示单元显示与虚拟对象有关的图像。
[0012]
结果，可以提供一种向用户呈现可以在头戴式显示器上显示的虚拟对象的新方法。
[0013]
在信息处理装置中，交互装置可以包括成像单元，以及控制单元可以将虚拟对象ar显示在第二显示单元上，并且检测由成像单元对ar显示的虚拟对象进行成像的操作作为交互。
[0014]
在信息处理装置中，控制单元可以检测移动交互装置靠近虚拟对象的操作作为交互。
[0015]
在信息处理装置中，移动操作可以是将交互装置保持在虚拟对象上方的操作。
[0016]
在信息处理装置中，控制单元可以根据佩戴头戴式显示器的用户与ar显示的虚拟对象之间的距离来改变交互。
[0017]
在信息处理装置中，在用户与虚拟对象之间的距离超过预定阈值的情况下，控制单元可以检测成像操作作为交互。
[0018]
在信息处理装置中，在用户与虚拟对象之间的距离为预定阈值或更小的情况下，
控制单元可以检测移动操作作为交互。
[0019]
在信息处理装置中，在用户与虚拟对象之间的距离为预定阈值或更小的情况下，控制单元可以检测移动操作和成像操作二者作为交互。
[0020]
在信息处理装置中，控制单元可以在第一显示单元中与虚拟对象对应的位置处ar显示用于提醒用户交互的提醒用户界面。
[0021]
在信息处理装置中，在多个提醒用户界面被ar显示在第一显示单元上并且提醒用户界面的显示区域与其他提醒用户界面的显示区域交叠的情况下，控制单元可以调整提醒用户界面的ar显示位置。
[0022]
在信息处理装置中，在第一显示单元上ar显示的虚拟对象的显示区域与第二显示单元交叠的情况下，控制单元可以在与第二显示单元交叠的区域中隐藏虚拟对象。
[0023]
在信息处理装置中，在第一显示单元上ar显示的虚拟对象的显示区域与第二显示单元交叠的情况下，控制单元可以隐藏整个对应的虚拟对象。
[0024]
在信息处理装置中，在多个虚拟对象已经被ar显示在第二显示单元上的情况下，控制单元可以使第二显示单元ar显示用于使用户选择要成像的虚拟对象的选择用户界面。
[0025]
在信息处理装置中，交互装置可以是可以被用户握持的移动装置或者可以被用户的手或手臂佩戴的可穿戴装置。
[0026]
一种根据本技术的信息处理方法包括：使头戴式显示器的第一显示单元ar显示虚拟对象；检测关于虚拟对象的用户交互，该交互通过交互装置执行；以及根据交互使交互装置的第二显示单元显示与虚拟对象有关的图像。
[0027]
一种根据本技术的程序使计算机执行以下处理：使头戴式显示器的第一显示单元ar显示虚拟对象；检测关于虚拟对象的用户交互，该交互通过交互装置执行；以及根据交互使交互装置的第二显示单元显示与虚拟对象有关的图像。
附图说明
[0028]
[图1]图1是示出根据本技术的第一实施方式的信息处理系统的图。
[0029]
[图2]图2是示出信息处理系统的内部配置的框图。
[0030]
[图3]图3是示出诸如由hmd进行的ar显示的处理的图。
[0031]
[图4]图4是示出当已经执行了关于虚拟对象的交互时的处理的流程图。
[0032]
[图5]图5是示出确定虚拟对象是否已经由智能电话进行成像的处理的流程图。
[0033]
[图6]图6是示出确定用户是否已经选择了成像模式的处理的流程图。
[0034]
[图7]图7是示出当虚拟对象根据需要在hmd中隐藏时的处理的流程图。
[0035]
[图8]图8是示出当已经针对虚拟对象ar显示了保持ui时的示例的图。
[0036]
[图9]图9是示出当已经针对虚拟对象ar显示了成像ui时的示例的图。
[0037]
[图10]图10是示出选择ui的示例的图。
[0038]
[图11]图11是示出在由hmd ar显示的虚拟对象和由智能电话ar显示的虚拟对象看起来不自然的情况下的示例的图。
[0039]
[图12]图12是示出在hmd的显示单元中虚拟对象与智能电话的显示单元之间的交叠区域已经被隐藏的情况下的示例的图。
[0040]
[图13]图13是示出在成像模式下已经隐藏了与智能电话的显示单元交叠的整个
虚拟对象的情况下的示例的图。
具体实施方式
[0041]
在下文中，将参照附图描述根据本技术的实施方式。
[0042]
《《第一实施方式》》
[0043]
《整体构造和各个单元的构造》
[0044]
图1是示出根据本技术的第一实施方式的信息处理系统100的图。图2是示出信息处理系统100的内部构造的框图。
[0045]
如图1和图2中所示，根据第一实施方式的信息处理系统100包括hmd(头戴式显示器)10和智能电话(交互装置)20。
[0046]
如图1和图2中所示，hmd 10包括hmd主体11、控制单元1、存储单元2、显示单元3、成像单元4、惯性传感器5、操作单元6和通信单元7。
[0047]
hmd主体11附接至用户的头部并且被使用。hmd主体11包括前部12、设置在前部12的右侧上的右镜腿部分13、设置在前部12的左侧上的左镜腿部分14以及附接至前部12的下侧的玻璃部分15。
[0048]
显示单元3是透视型显示单元并且被设置在玻璃部分15的表面上。显示单元3根据控制单元1的控制执行虚拟对象30的ar显示。注意，显示单元3可以是非透视型显示单元。在这种情况下，通过在显示单元3上显示以下图像来执行ar显示，该图像通过将虚拟对象30叠加在由成像单元4当前拍摄的图像上而获得。
[0049]
成像单元4是例如相机，并且包括诸如ccd(电荷耦合器件)传感器和cmos(互补金属氧化物半导体)传感器的图像传感器和诸如图像形成透镜的光学系统。成像单元4向外设置在前部12的外表面上，对存在于用户的视线方向上的对象进行成像，以及将通过成像获得的图像信息输出至控制单元1。两个成像单元4沿横向方向以预定间隔设置在前部12中。注意，成像单元4被设置的位置和成像单元4的数目可以适当地改变。
[0050]
惯性传感器5包括检测沿三轴方向的加速度的加速度传感器和检测绕三轴的角速度的角速度传感器。惯性传感器5向控制单元1输出通过检测获得的沿三轴方向的加速度和绕三轴的角速度作为惯性信息。
[0051]
在该实施方式中，惯性传感器5的检测轴是三轴，但是检测轴可以是一轴或两轴。此外，在该实施方式中，尽管两种类型的传感器被用做惯性传感器5，但是一种类型或者三种或更多种类型的传感器可以用作惯性传感器5。注意，惯性传感器5的其他示例包括速度传感器和角度传感器。这同样也适用于智能电话20的惯性传感器25。
[0052]
操作单元6是例如各种类型(例如按压型和接近型)的操作单元，检测用户的操作以及将检测到的操作输出至控制单元1。尽管在图1中所示的示例中操作单元6被设置在左镜腿部分14的前侧上，但是设置操作单元6的位置可以是任何位置，只要其易于用户操作即可。
[0053]
通信单元7与智能电话20或除智能电话20之外的外部装置(例如，pc(个人计算机)或网络上的服务器设备)进行有线或无线通信。
[0054]
控制单元1基于存储在存储单元2中的各种程序执行各种操作，并且整体地控制hmd 10的相应单元。注意，控制单元1的处理将在下面的操作的描述栏中详细描述。
[0055]
控制单元1由硬件或者硬件和软件的组合来实现。硬件被配置为控制单元1的部分或全部。该硬件的示例包括cpu(中央处理单元)、gpu(图形处理单元)、dsp(数字信号处理器)、fpga(现场可编程门阵列)、asic(专用集成电路)以及上述中的两个或更多个的组合。这同样也适用于智能电话20中的控制单元21。
[0056]
存储单元2包括用于存储控制单元1的处理所需的各种程序和各种类型的数据的非易失性存储器，以及用作控制单元1的工作区域的易失性存储器。注意，各种程序可以从诸如光盘和半导体存储器的便携式记录介质读取，或者可以从网络上的服务器设备下载。
[0057]
智能电话20包括外壳31、控制单元21、存储单元22、显示单元23、成像单元24、惯性传感器25、操作单元26、通信单元27、扬声器28和麦克风29。
[0058]
外壳31具有用户可以用一只手握持它的尺寸。显示单元23被设置在外壳31的前表面上，并且听筒32被设置在外壳31的前表面上显示单元23上方的位置处。此外，按钮型操作单元33被设置在外壳10的前表面上显示单元13下方的位置处。注意，尽管未示出，但是电话端口、连接器等也可以被设置在外壳10上。
[0059]
显示单元23包括例如液晶显示器或el(电致发光)显示器。显示单元23根据控制单元21的控制在屏幕上显示各种图像。
[0060]
成像单元24是例如相机，并且包括诸如ccd传感器和cmos传感器的图像传感器和诸如图像形成透镜的光学系统。成像单元24朝向外壳31的背表面侧设置，对存在于外壳的背表面侧上的对象进行成像以及将通过成像获得的图像信息输出至控制单元21。
[0061]
惯性传感器25包括检测沿三轴方向的加速度的加速度传感器和检测绕三轴的角速度的角速度传感器。惯性传感器25向控制单元21输出通过检测获得的沿三轴方向的加速度和绕三轴的角速度作为惯性信息。
[0062]
操作单元26包括例如按钮型操作单元33、设置在显示单元23中的接近传感器等。操作单元26检测用户的操作并且将检测到的操作输出至控制单元21。
[0063]
通信单元27执行与另一电话的呼叫通信。此外，通信单元7与hmd 10和除hmd 10之外的外部装置(pc或网络上的服务器设备)进行有线或无线通信。
[0064]
扬声器28包括数字/模拟转换器、放大器等。扬声器28对从控制单元21输入的用于呼叫的语音数据执行数字/模拟转换处理和放大处理，并且通过听筒32输出语音。
[0065]
麦克风29包括模拟/数字转换器等。麦克风29将经由电话端口从用户输入的模拟语音数据转换成数字语音数据，并且将获得的数字语音数据输出至控制单元21。输出至控制单元21的数字语音数据被编码并且然后经由通信单元27传送。
[0066]
控制单元21基于存储在存储单元22中的各种程序来执行各种操作，并且整体地控制智能电话20的相应单元。注意，控制单元21的处理将在下面的操作的描述栏中详细描述。
[0067]
存储单元22包括用于存储控制单元21的处理所需的各种程序和各种类型的数据的非易失性存储器，以及用作控制单元21的工作区域的易失性存储器。注意，各种程序可以从诸如光盘和半导体存储器的便携式记录介质读取，或者可以从网络上的服务器设备下载。
[0068]
《该实施方式中的方法》
[0069]
接下来，将简要描述向用户呈现该实施方式中使用的虚拟对象30的方法(对于虚拟对象30，参见图8和图9)。
[0070]
在hmd 10中，在执行虚拟对象30的ar显示的情况下，正常情况下，通常预先确定虚拟对象30在真实世界中所处的位置。因此，在佩戴hmd 10的用户对某个虚拟对象30感兴趣并且想要详细了解该虚拟对象30的情况下，他/她需要待在原地并且保持看着注视虚拟对象30的方向。
[0071]
此外，目前市场上已经有hmd，但是ar显示的分辨率通常较低，并且通常不适于更真切地注视用户感兴趣的虚拟对象30。
[0072]
为此，在该实施方式中，提供了一种向用户呈现可以在hmd 10上ar显示的虚拟对象30的新方法。典型地，在该实施方式中，使用如下方法：在已经关于可以在hmd 10上ar显示的虚拟对象30与智能电话20执行了交互的情况下，在智能电话20上显示虚拟对象30(与该虚拟对象30有关的图像)。
[0073]
在该方法中，通过当佩戴hmd 10的用户对虚拟对象30感兴趣时执行关于虚拟对象30与智能电话20的交互，在智能电话20上显示虚拟对象30(与该虚拟对象30有关的图像)。因此，用户不需要待在原地并且保持用hmd 10注视虚拟对象30。此外，目前，智能电话20通常具有比hmd 10更高的分辨率，并且因此适于更真切地注视用户感兴趣的虚拟对象30。
[0074]
《操作的描述》
[0075]
接下来，将描述hmd 10的控制单元1和智能电话20的控制单元21的处理。在此处的描述中，首先，将描述由hmd 10和智能电话20进行的自身位置估计以及自身位置估计中的公共坐标系。
[0076]“自身位置估计和公共坐标系”[0077]
在激活之后，hmd 10的控制单元1基于来自成像单元4的图像信息和来自惯性传感器5的惯性信息通过slam(即时定位与地图构建)估计自身位置和姿势。类似地，在激活之后，智能电话20的控制单元21基于来自成像单元24的图像信息和来自惯性传感器25的惯性信息，通过slam(即时定位与地图构建)估计自身位置和姿势。
[0078]
在此处的描述中，已经描述了图像信息和惯性信息二者用于自身位置和姿势的估计的情况，图像信息和惯性信息之一可以用于自身位置和姿势的估计。
[0079]
此外，在激活之后，hmd 10的控制单元1估计用户的头部的位置和姿势(头部跟踪)。
[0080]
在这种情况下，hmd 10的控制单元1通过将hmd 10的位置与用户的头部的中心位置之间的偏移量添加至hmd 10的位置和姿势来估计用户的头部的位置和姿势。例如，将通过预先执行的针对多个用户的测试获得的平均值用作hmd 10的位置与用户的头部的中心位置之间的偏移量，并且该平均值作为偏移量存储在存储单元中。
[0081]
注意，假设用户的头部的位置和姿势与hmd 10的位置和姿势基本上相同，则hmd 10的位置和姿势可以按原样用作用户的头部的位置和姿势。
[0082]
在该实施方式中，为了利用公共坐标系表示hmd 10、智能电话20和用户的头部中的每一个的位置和姿势以及表示相对位置和姿势，单独使用以下1.至3.方法或者组合使用以下1.至3.方法中的两种或更多种。
[0083]
1.使用slam的定位功能。hmd 10和智能电话20各自保持描述真实空间中的三维信息的地图数据，并且地图数据由公共坐标系表示(各项地图数据是相同的或各项地图数据的一部分是公共的)。hmd 10和智能电话20各自使用地图数据估计自身位置和姿势。在这种
情况下，在地图数据中记录的真实空间中的任意地点中定义的坐标系是公共坐标系。
[0084]
2.通过由hmd 10和智能电话20中的一个装置的成像单元4或24对另一装置进行成像，该一个装置估计该另一装置相对于该一个装置本身的相对位置和姿势。在这种情况下，估计相对位置和姿势的该一个装置的坐标系是公共坐标系。注意，为了使其更容易地识别该另一装置相对于该一个装置的位置和姿势，可以将图像可识别的特征点(例如，自身发光的红外led图案(led：发光二极管)或对象可识别的纹理)提供给该另一装置。
[0085]
3.hmd 10和智能电话20各自通过成像单元4或24对布置在真实空间中的特征点(例如，标记或地标)进行成像以估计相对于特征点的位置和姿势。在这种情况下，以特征点定义的坐标系是公共坐标系。注意，在多个特征点之间的相对位置和姿势已知的情况下，可以在真实空间中布置多个特征点。
[0086]“交互”[0087]
接下来，将描述涉及与智能电话20关于虚拟对象30的交互的处理。
[0088]
[由hmd 10等进行的ar显示]
[0089]
在此处的描述中，首先，将描述诸如由hmd 10进行的ar显示的处理。图3是示出诸如由hmd 10进行的ar显示的处理的图。注意，图3中所示的处理由“hmd 10”的控制单元1执行。
[0090]
首先，hmd 10的控制单元1基于通过由hmd 10的成像单元4进行成像获得的图像信息来识别hmd 10的周围环境，并且基于环境识别结果在hmd 10的显示单元3上ar显示虚拟对象30(步骤101)。
[0091]
注意，短语在hmd 10上“ar显示虚拟对象30”意指在hmd 10的显示单元3上显示虚拟对象30，从而使用户在虚拟对象如同是存在于真实空间中的真实对象的那样感知虚拟对象30(同样适用于下面描述的提醒ui 31的ar显示)。
[0092]
对于hmd 10中的ar显示方法，可以使用基于位置的ar或者可以使用基于视觉的ar。替选地，可以使用基于位置的ar和基于视觉的ar的组合。
[0093]
在基于位置的ar中，hmd 10的控制单元1基于gps(全球定位系统)、惯性传感器等的信息来ar显示虚拟对象30。在基于视觉的ar中，hmd 10的控制单元1基于通过由hmd 10的成像单元4进行成像获得的图像信息来识别hmd 10前面的真实空间以ar显示虚拟对象30。作为基于视觉的ar，可以使用标记型基于视觉的ar，或者可以使用无标记型基于视觉的ar。
[0094]
在使用标记型基于视觉的ar的情况下，在真实空间中布置ar标记并且该ar标记被hmd 10识别以在对应于ar标记的位置处ar显示虚拟对象30。另一方面，在使用无标记型基于视觉的ar的情况下，识别存在于真实空间中的对象，并且关于所识别的对象来ar显示虚拟对象30。
[0095]
当在hmd 10的显示单元3上ar显示虚拟对象30时，hmd 10的控制单元1从ar显示的虚拟对象30中选择一个虚拟对象30(步骤102)。然后，hmd 10的控制单元1计算用户(头部)与所选择的虚拟对象30之间的距离d1(步骤103)。
[0096]
接下来，hmd 10的控制单元1确定用户(头部)与虚拟对象30之间的距离d1是否等于或小于第一阈值th1(步骤104)。在距离d1等于或小于第一阈值th1(步骤104中为是)，即用户与虚拟对象30之间的距离较短的情况下，hmd 10的控制单元1将虚拟对象30分类为保持目标对象(holding-over target object)30a(步骤105)。保持目标对象30a是作为保持
智能电话20的交互的目标的虚拟对象30。
[0097]
接下来，hmd 10的控制单元1在hmd 10的显示单元3上与保持目标对象30a对应的位置处显示作为提醒ui 31(ui：用户界面)的保持ui 31a(步骤106)。
[0098]
在此，提醒ui 31是在hmd 10的显示单元3上与虚拟对象30对应的位置处ar显示的ui，并且是用于提醒用户与智能电话20的关于虚拟对象30的交互的ui。
[0099]
保持ui 31a是一种提醒ui 31并且是提醒用户将智能电话20保持在虚拟对象30(保持目标对象30a)上方的ui。
[0100]
图8是示出已经针对虚拟对象30(保持目标对象30a)ar显示了保持ui 31a时的示例的图。图8中所示的保持ui 31a包括围绕立方虚拟对象30(保持目标对象30a)的球体、位于球体上方的向下箭头以及位于箭头上方的文本“触摸”。注意，保持ui 31a可以是任何形式，只要可以提醒用户将智能电话20(交互装置)保持在虚拟对象30上方即可。
[0101]
返回至图3，在步骤104中，在用户(头部)与虚拟对象30之间的距离d1超过第一阈值th1的情况下(步骤104中为否)，即在用户(头部)与虚拟对象30之间的距离较长的情况下，hmd 10的控制单元1进行到步骤107。在步骤107中，hmd 10的控制单元1确定用户(头部)与虚拟对象30之间的距离d1是否等于或小于第二阈值th2。
[0102]
在距离d1等于或小于第二阈值th2的情况下(步骤107中为是)，hmd 10的控制单元1将虚拟对象30分类为成像目标对象30b(步骤108)。成像目标对象30b是作为由智能电话20进行成像的交互的目标的虚拟对象30。
[0103]
接下来，hmd 10的控制单元1在与成像目标对象30b对应的位置处在hmd 10的显示单元3上ar显示成像ui 31b(步骤108)。成像ui 31b是一种提醒ui 31并且是提醒用户通过智能电话20对虚拟对象30(成像目标对象30b)进行成像的ui。
[0104]
图9是示出已经针对虚拟对象30(成像目标对象30b)ar显示了成像ui 31b时的示例的图。图9中所示的成像ui 31b包括位于立方虚拟对象30(成像目标对象30b)上方的气泡和位于气泡内部的相机的标记。注意，成像ui 31b可以是任何形式，只要可以提醒用户利用智能电话20(交互装置)对虚拟对象30进行成像即可。
[0105]
返回至图3，在ar显示关于虚拟对象30的保持ui 31a或成像ui 31b(步骤106或步骤109)之后，hmd 10的控制单元1进行到下一步骤110。在步骤110中，hmd 10的控制单元1将虚拟对象30的分类(保持目标对象30a或成像目标对象30b)和虚拟对象30的坐标位置通知智能电话20。
[0106]
在将这些信息通知智能电话20之后，hmd 10的控制单元1进行到下一步骤111。类似地，在步骤107中用户(头部)与虚拟对象30之间的距离d1超过第二阈值th2的情况下，hmd 10的控制单元1处理进行到步骤111，而不执行就关于虚拟对象30的提醒ui 31的分类和处理。
[0107]
也就是说，在该实施方式中，在hmd 10上ar显示的虚拟对象30中，距用户太远的虚拟对象30未被分类为保持目标对象30a或成像目标对象30b，并且提醒ui 31不显示。注意，可以将具有超过第一阈值th1的距离d1的所有虚拟对象30分类为成像目标对象30b。
[0108]
注意，在虚拟对象30被ar显示在hmd 10上的以下描述的中，将未被分类为保持目标对象30a或成像目标对象30b的虚拟对象30称为未分类的虚拟对象。在该实施方式中，该未分类的虚拟对象不是交互的目标。
[0109]
在步骤111中，hmd 10的控制单元1确定用户(头部)与虚拟对象30之间的距离d1尚未确定的虚拟对象30是否剩余。在距离d1尚未确定的虚拟对象30剩余的情况下(步骤111中为是)，hmd 10的控制单元1返回至步骤102，选择剩余虚拟对象30中的一个虚拟对象30以及执行步骤103和后续步骤的处理。
[0110]
同时，在已经针对所有虚拟对象30完成距离d1的确定的情况下(步骤111中为是)，hmd 10的控制单元1确定当从用户观看时ar显示的提醒ui 31(保持ui 31a和成像ui 31b)是否交叠(步骤112)。在提醒ui 31(保持ui 31a和成像ui 31b)彼此交叠的情况下(步骤112中为是)，hmd 10的控制单元1调整提醒ui 31的位置使得提醒ui 31彼此不交叠(步骤113)。
[0111]
在提醒ui 31的位置的调整中，hmd 10的控制单元1可以移动彼此交叠的提醒ui 31中的例如存在于后面的提醒ui 31。此外，在虚拟对象30是诸如自然自主移动的字符的对象的情况下，hmd 10的控制单元1可以通过例如在移动对象的同时移动对应的提醒ui 31来防止提醒ui 31彼此交叠。
[0112]
在此，上面提及的第一阈值th1是用于将虚拟对象30分类为保持目标对象30a和成像目标对象30b的阈值。在考虑到握持智能电话20的用户的可到达距离的情况下适当地设置该第一阈值th1。
[0113]
此外，上面提及的第二阈值th2是用于将虚拟对象30分类为成像目标对象30b和未分类的虚拟对象30(不是交互的目标的虚拟对象30)的阈值。作为该第二阈值th2，使用在hmd 10的环境中可识别的距离，具体地，可以由hmd 10的成像单元4测量的最长距离。结果，可以在自身位置估计或环境识别中发生误识别以及错误地测量距虚拟对象30的距离d1的情况下防止不合适的虚拟对象30成为交互目标。
[0114]
此外，由于实际测量的最长距离根据周围环境(例如到室内墙壁的距离和到室外建筑物区域中的建筑物的外墙的距离)而改变，所以第二阈值th2可以根据由环境确定的最长距离而改变。
[0115]
注意，第一阈值th1和第二阈值th2可以由用户通过用户的定制而可改变。
[0116]
[与智能电话20的交互]
[0117]
接下来，将描述用户已经执行与智能电话20关于虚拟对象30的交互时的处理。图4是示出已经执行了关于虚拟对象30的交互时的处理的流程图。注意，图4中所示的处理由“智能电话20”的控制单元21执行。
[0118]
在该实施方式中，作为交互，使用如下操作的两种类型的交互：将智能电话20保持在虚拟对象30上方的操作(移动智能电话20靠近虚拟对象30)以及由智能电话20对虚拟对象30进行成像的操作。注意，作为关于虚拟对象30的交互，可以使用另一方法，例如将智能电话20指向虚拟对象30的方向的操作。
[0119]
首先，智能电话20的控制单元21确定是否存在保持目标对象30a(步骤201)。注意，从hmd 10向智能电话20通知保持目标对象30a的存在(参见图3中的步骤110)。
[0120]
在存在保持目标对象30a的情况下(步骤201中为是)，智能电话20的控制单元21确定用户是否已经将智能电话20保持在保持目标对象30a上方(移动智能电话20靠近保持目标对象30a)(步骤202)。
[0121]
关于智能电话20是否已经被保持的确定，首先，智能电话20的控制单元21基于智能电话20的自身位置和保持目标对象的位置来确定智能电话20与保持目标对象30a之间的
距离d2。注意，保持目标对象30a的位置从hmd 10提供(参见图3中的步骤110)。
[0122]
当确定智能电话20与保持目标对象30a之间的距离d2时，智能电话20的控制单元21确定该距离d2是否等于或小于第三阈值th3持续预定时间t1或更长。当满足该条件时，智能电话20的控制单元21确定用户已经将智能电话20保持在保持目标对象30a上方。另一方面，在不满足该条件的情况下，智能电话20的控制单元21确定用户没有将智能电话20保持在保持目标对象30a上方。
[0123]
如果预定时间t1缩短，则尽管保持确定所需的时间缩短但是错误确定增加。另一方面，如果预定时间t1延长，则尽管错误确定减少但是确定所需的时间变长。作为预定时间t1，在考虑到这些事项的情况下适当地设置适当的值。
[0124]
此外，如果第三阈值th3延长，则即使当保持目标对象30a至智能电话20的距离较长时执行保持确定，错误确定也增加。另一方面，如果第三阈值th3缩短，则尽管错误确定减少，但是只要不移动智能电话20靠近保持目标对象30a，则不执行保持确定。作为第三阈值t3，在考虑到这些事项的情况下适当地设置适当的值。注意，第三阈值th3可以与图8中所示的球体的半径一样大。
[0125]
注意，预定时间t1和第三阈值th3可以根据智能电话20的自身位置估计的精度而改变。例如，在使用具有高精度的自身位置估计的的智能电话20的情况下，预定时间t1和第三阈值th3可以缩短。相反，在使用具有低精度的自身位置估计的智能电话20的情况下，预定时间t1和第三阈值th3可以延长。
[0126]
此外，预定时间t1和第三阈值th3可以由用户通过用户的定制可改变。
[0127]
在步骤201中，在不存在保持目标对象30a的情况下(步骤201中为否)，智能电话20的控制单元21进行到步骤203。类似地，在尽管存在保持目标对象30a但是智能电话20没有保持在保持目标对象30a上方的情况下(步骤202中为否)，智能电话20的控制单元21进行到步骤203。
[0128]
在步骤203中，智能电话20的控制单元21确定是否存在成像目标对象30b。注意，从hmd 10向智能电话20通知成像目标对象30b的存在(参见图3中的步骤110)。
[0129]
在存在成像目标对象30b的情况下(步骤203中为是)，智能电话20的控制单元21确定用户是否已经通过智能电话20对成像目标对象30b进行了成像(步骤204)。下面将参照图5详细描述是否已经对成像目标对象30b进行成像的确定。
[0130]
在不存在成像目标对象30b的情况下(步骤203中为否)，智能电话20的控制单元21返回至步骤201。类似地，在尽管存在成像目标对象30b但是尚未通过智能电话20对成像目标对象30b进行成像的情况下(步骤204中为否)，智能电话20的控制单元21返回至步骤201。
[0131]
在步骤202中，在用户已经将智能电话20保持在保持目标对象30a上方的情况下(步骤202中为是)，智能电话20的控制单元21进行到步骤205。类似地，在步骤204中，在用户已经通过智能电话20对成像目标对象30b进行了成像的情况下(步骤204中为是)，智能电话20的控制单元21进行到步骤205。
[0132]
在步骤205中，智能电话20的控制单元21确定虚拟对象30已经被用户指定。然后，智能电话20的控制单元21在智能电话20的显示单元23上显示与指定的虚拟对象30有关的图像(步骤206)。
[0133]
注意，在智能电话20上的短语“显示虚拟对象30(与虚拟对象30有关的图像)”意指
虚拟对象30(与虚拟对象30有关的图像)被简单地显示在智能电话20的显示单元23上，而与真实空间无关。
[0134]
与虚拟对象30有关的图像包括虚拟对象30自身的图像、指示虚拟对象30的有关信息的图像或其组合。虚拟对象30的有关信息是例如在虚拟对象30是字符的情况下的字符的名称、尺寸、强度、属性等。虚拟对象30的有关信息可以是任何信息，只要其是与虚拟对象30有关的信息即可。
[0135]
虚拟对象30可以通过由用户利用智能电话20操作与虚拟对象30有关的图像而可编辑。
[0136]
在此，在该实施方式中，如下面将描述的，通过多个虚拟对象30的批量成像(参见图5：步骤310中为是)同时地指定多个虚拟对象30(成像目标对象30b)。在这种情况下，例如，与多个指定的虚拟对象30有关的图像被同时地显示在智能电话20的显示单元23上。替选地，与多个指定的虚拟对象30有关的图像随着时间针对虚拟对象30中的每一个按顺序显示。
[0137]
注意，在该实施方式中，在用户与虚拟对象30之间的距离d1等于或小于第一阈值th1的情况下检测保持操作作为交互，并且在距离d1超过第一阈值th1的情况下检测成像操作作为交互。另一方面，用户与虚拟对象30之间的距离d1等于或小于第一阈值th1，可以检测保持(移动靠近)操作和成像操作二者作为交互。
[0138]
在这种情况下，用户可以通过保持交互或成像交互来指定存在于用户的可到达距离内的虚拟对象30。
[0139]
在这种情况下，作为hmd 10上的提醒ui 31，可以同时ar显示保持ui 31a和成像ui 31b二者，或者可以随时间交替地切换保持ui 31a和成像ui 31b。
[0140]
[虚拟对象30是否已经被成像的确定]
[0141]
接下来，将描述虚拟对象30(成像目标对象30b)是否已经由智能电话20成像的确定。也就是说，将描述图4中的步骤204。
[0142]
图5是示出确定虚拟对象30(成像目标对象30b)是否已经由智能电话20成像的处理的流程图。注意，图5中所示的处理由“智能电话20”的控制单元21执行。
[0143]
首先，智能电话20的控制单元21确定用户是否已经选择了成像模式(步骤301)。下面将参照图6详细描述是否已经选择了成像模式的确定。
[0144]
在用户尚未选择成像模式的情况下(步骤301中为否)，智能电话20的控制单元21确定成像目标对象30b尚未由用户进行成像(步骤302)。在这种情况下，图4中的步骤204中的确定为“否”。
[0145]
另一方面，在用户已经选择了成像模式的情况下(步骤301中为是)，智能电话20的控制单元21在智能电话20的显示单元23上显示由智能电话20的成像单元26拍摄的图像以开始成像模式(步骤303)。
[0146]
接下来，智能电话20的控制单元21通知hmd 10开始成像模式(步骤304)。接下来，智能电话20的控制单元21基于智能电话20的自身位置和成像目标对象30b的位置来确定成像目标对象30b是否存在于智能电话20的成像单元26的成像视角内(步骤305)。注意，成像目标对象30b的位置是从hmd 10提供的(参见图3中的步骤110)。
[0147]
在成像目标对象30b不存在于成像视角内的情况下(步骤305中为否)，智能电话20
的控制单元21进行到步骤313。另一方面，在成像目标对象30b存在于成像视角内的情况下(步骤305中为是)，智能电话20的控制单元21进行到下一步骤306。
[0148]
在步骤306中，智能电话20的控制单元21在智能电话20的显示单元23上ar显示成像目标对象30b(也参见图9)。由于智能电话20与hmd 10一起使用公共坐标系，因此智能电话20的控制单元21能够在距hmd 10没有任何偏离的情况下在智能电话20的显示单元23上ar显示成像目标对象30b。
[0149]
在此，关于智能电话20的短语“ar显示虚拟对象30(成像目标对象30b)”意指在智能电话20的显示单元23上显示通过将虚拟对象30叠加在由智能电话20的成像单元26当前拍摄的图像上而获得的图像，从而使用户在虚拟对象30如同是存在于真实地点中的真实对象的那样来感知虚拟对象30(这同样适用于选择ui 32的ar显示)。
[0150]
在该实施方式中，关于智能电话20，术语“ar显示”虚拟对象30和术语“显示”虚拟对象30(与虚拟对象30有关的图像)具有不同的含义。此外，使用了术语“显示”虚拟对象30(与虚拟对象30有关的图像)，不包括“ar显示”虚拟对象30的含义。
[0151]
注意，在该实施方式中，三种类型的虚拟对象30即保持目标对象30a、成像目标对象30b和未分类的虚拟对象中的仅成像目标对象30b被ar显示在智能电话20的显示单元23上。
[0152]
同时，除了成像目标对象30b之外，可以在智能电话20的显示单元23上ar显示保持目标对象30a或未分类的虚拟对象30。然而，在智能电话20的显示单元23上ar显示仅成像目标对象30b的情况下，用户可以容易地了解成像目标，这在这一点上是有利的。
[0153]
当成像目标对象30b被ar显示在智能电话20的显示单元23上时，然后智能电话20的控制单元21对智能电话20上ar显示的成像目标对象30b的数目进行计数(步骤307)。然后，智能电话20的控制单元21确定成像目标对象30b的数目是否为一个(步骤308)。
[0154]
在智能电话20上ar显示的成像目标对象30b的数目为两个或更多个的情况下(步骤308中为否)，智能电话20的控制单元21确定多个成像目标对象30b的批量成像的选项是否有效(步骤310)。例如，该批量成像的选项可以通过由用户操作智能电话20而在有效与无效之间切换。
[0155]
在智能电话20上ar显示的成像目标对象30b的数目为一个的情况下(步骤308中为是)，智能电话20的控制单元21进行到步骤309。类似地，在智能电话20上ar显示的成像目标对象30b的数目为两个或更多个但是批量成像的选项有效的情况下(步骤310中为是)，智能电话20的控制单元21进行到步骤309。
[0156]
在步骤309中，智能电话20的控制单元21确定用户是否已经执行了成像目标对象30b的成像操作。由用户进行的成像操作包括例如由用户操作在智能电话20的显示单元23上显示的快门按钮。此外，由用户进行的成像操作包括由用户操作(例如，轻敲操作)智能电话20的显示单元23上ar显示的成像目标对象30b。
[0157]
在步骤310中，在多个成像目标对象30b的批量成像的选项无效的情况下(步骤310中为否)，智能电话20的控制单元21进行到步骤311。在步骤311中，智能电话20的控制单元21在与成像目标对象30b对应的位置处在智能电话20的显示单元23上ar显示选择ui 32。选择ui 32是用于使用户从多个成像目标对象30b中选择要成像的成像目标对象30b的ui。
[0158]
图10是示出选择ui 32的示例的图。在图10中所示的示例中，示出了在围绕成像目
标对象30b的矩形虚线被ar显示为针对三个立方成像目标对象30b中的每一个的选择ui 32的情况下的示例。此外，在图10中所示的示例中，示出了在显示单元上显示建议通过轻敲从由四边形虚线包围的成像目标对象30b中选择一个成像目标对象的字符的情况下的示例。
[0159]
注意，选择ui 32可以是任何形式，只要其能够建议使用户从多个成像目标对象30b中选择要成像的成像目标对象30b即可。
[0160]
返回至图5，在步骤311中，当选择ui 32被ar显示在智能电话20的显示单元23上时，智能电话20的控制单元21进行到下一步骤312。在步骤312中，智能电话20的控制单元21确定用户是否已经执行了基于选择ui 32的成像目标对象30b的选择操作(步骤)。基于选择ui 32的成像目标对象30b的选择操作是例如在智能电话20的显示单元23上的轻敲或触摸目标的操作，但是可以采用各种操作作为该选择操作。
[0161]
在步骤309中，在用户已经执行了成像目标对象30b的成像操作的情况下(步骤309中为是)，智能电话20的控制单元21进行到步骤314。类似地，在步骤312中，在用户已经执行了基于选择ui 32的选择操作的情况下(步骤312中为是)，智能电话20的控制单元21进行到步骤314。
[0162]
在步骤314中，智能电话20的控制单元21确定成像目标对象30b是否已经由用户进行成像。在这种情况下，图4中的步骤204中的确定为“是”。
[0163]
在步骤309中，在用户尚未执行成像目标对象30b的成像操作的情况下(步骤309中为否)，智能电话20的控制单元21进行到步骤313。类似地，在步骤312中，在用户尚未执行基于选择ui 32的选择操作的情况下(步骤312中为否)，智能电话20的控制单元21进行到步骤313。注意，同样在如上所述成像目标对象30b不存在于智能电话20的成像单元26的成像视角内的情况下(步骤305中为否)，智能电话20的控制单元21进行到步骤313。
[0164]
在步骤313中，智能电话20的控制单元21确定是否已经满足了成像模式的结束条件。成像模式的结束条件包括用户已经选择了结束成像模式的条件和用户没有操作智能电话20持续预定时间段的条件，并且当满足这两个条件之一时确定已经满足了结束条件。
[0165]
在尚未满足成像模式的结束条件的情况下(步骤313中为否)，智能电话20的控制单元21返回至步骤305，并且再次执行步骤305和后续步骤的处理。
[0166]
另一方面，在已经满足了成像模式的结束条件的情况下(步骤313中为是)，智能电话20的控制单元21确定成像目标对象30b尚未由用户进行成像(步骤315)。在这种情况下，图4中的步骤204中的确定为“否”。
[0167]
在步骤314中，在确定已经对成像目标对象30b进行了成像的情况下，智能电话20的控制单元21进行到步骤316。类似地，在步骤315中，在确定成像目标对象30b尚未被成像的情况下，智能电话20的控制单元21进行到步骤316。
[0168]
在步骤316中，智能电话20的控制单元21通过结束在智能电话20的显示单元23上显示由智能电话20的成像单元26拍摄的图像来结束成像模式。然后，智能电话20的控制单元21通知hmd 10结束成像模式(步骤317)并且结束处理。
[0169]
[是否已经选择了成像模式的确定]
[0170]
接下来，将描述用户是否已经选择了成像模式的确定。即，将描述图5中的步骤301。
[0171]
图6是示出确定用户是否已经选择了成像模式的处理的流程图。注意，图6中所示
的处理由“智能电话20”的控制单元执行。
[0172]
首先，智能电话20的控制单元21确定智能电话20是否正被用户使用(步骤401)。在智能电话20未被使用的情况下(步骤401中为否)，智能电话20的控制单元21确定智能电话20是否已经从睡眠状态激活(步骤402)。
[0173]
在步骤401中，在智能电话20正被使用的情况下，智能电话20的控制单元21进行到步骤403。类似地，在步骤402中，在智能电话20已经从睡眠状态激活的情况下(步骤402中为是)(例如，在用户看到hmd 10的提醒ui 31，从口袋中取出智能电话20，并且从睡眠状态激活智能电话20的情况下)，智能电话20的控制单元21进行到步骤403。
[0174]
在步骤403中，智能电话20的控制单元21通知用户可以开始成像模式。可以使用任何方法作为该通知方法。其示例包括可以在智能电话20的显示单元23上显示指示成像模式的字符的方法以及通过来自扬声器的语音提供这样的通知的方法。
[0175]
当进行了成像模式可行的通知时，然后智能电话20的控制单元21基于该通知确定用户是否已经选择了成像模式的开始(步骤404)。可以使用任何方法来确定是否已经选择了成像模式的开始。其示例包括以下方法。
[0176]
例如，智能电话20的控制单元21在智能电话20的显示单元23上显示用于选择成像模式的开始的ui，并且基于用户是否已经操作(例如，轻按)该ui来确定是否已经选择了成像模式的开始。此外，例如，智能电话20的控制单元21基于是否已经经由麦克风从用户输入了指示开始成像模式的语音来确定是否已经选择了成像模式的开始。
[0177]
在步骤402中，在智能电话20尚未从睡眠状态激活的情况下(步骤402中为否)，智能电话20的控制单元21进行到步骤405。类似地，在步骤404中，在尚未选择成像模式的开始的情况下(步骤404中为否)，智能电话20的控制单元21进行到步骤405。
[0178]
在步骤405中，智能电话20的控制单元21确定用户是否已经执行了成像有关的操作。成像有关的操作是例如直接激活智能电话的成像单元26的操作或者直接按压成像按钮(在机械成像按钮被专门设置在移动装置上的情况下)的操作。
[0179]
在步骤404中，在用户已经选择了成像模式的开始的情况下(步骤404中为是)，智能电话20的控制单元21进行到步骤406。类似地，在步骤405中，在用户已经执行了成像有关的操作的情况下(步骤405中为是)，智能电话20的控制单元21进行到步骤406。
[0180]
在步骤406中，智能电话20的控制单元21确定用户已经选择了成像模式。在这种情况下，在图5中的步骤301中，确定为“是”。
[0181]
在步骤405中，在用户尚未执行成像有关的操作的情况下(步骤405中为是)，智能电话20的控制单元21进行到步骤407。
[0182]
在步骤407中，智能电话20的控制单元21确定用户尚未选择成像模式。在这种情况下，在图5中的步骤301中，确定为“否”。
[0183]
[虚拟对象30的隐藏控制]
[0184]
在此，在该实施方式中，执行了由hmd 10进行的虚拟对象30的ar显示的隐藏控制。首先，将描述执行该隐藏控制的原因。
[0185]
在该实施方式中，虚拟对象30被ar显示在hmd 10的显示单元3上，并且同时，在成像模式下，虚拟对象30(成像目标对象30b)也被ar显示在智能电话20的显示单元23上。在这种情况下，如果不采取措施，则由hmd 10ar显示的虚拟对象30和由智能电话20ar显示的虚
拟对象30从用户的视点看起来彼此交叠并且在某些情况下看起来不自然。
[0186]
图11是示出在由hmd 10ar显示的虚拟对象30和由智能电话20ar显示的虚拟对象30看起来不自然的情况下的示例的图。
[0187]
在图11中所示的示例中，吊灯的虚拟对象30被ar显示在hmd 10的显示单元3上。同时，在成像模式下，吊灯的虚拟对象30被ar显示在智能电话20的显示单元23上。
[0188]
在hmd 10的显示单元3和智能电话20的显示单元23中，从用户的视点来看hmd 10的显示单元3存在于前侧。为此，从用户的视点来看，由hmd 10ar显示的吊灯的虚拟对象30看起来在由智能电话20ar显示的虚拟对象30的前侧上，从而导致看起来不自然。
[0189]
在该实施方式中，为了以对用户来说自然的方式ar显示虚拟对象30，执行用于根据需要在hmd 10的显示单元3中隐藏虚拟对象30的控制。
[0190]
图7是示出当虚拟对象30根据需要在hmd 10中隐藏时的处理的流程图。注意，图7中所示的处理由“hmd 10”的控制单元1执行。
[0191]
如图7中所示，首先，hmd 10的控制单元1确定是否已经从智能电话20进行了成像模式的开始的通知(步骤501)。注意，在智能电话20中当成像模式开始时从智能电话20进行成像模式的开始的通知(图5中的步骤304)。
[0192]
接下来，hmd 10的控制单元1基于hmd 10的自身位置和智能电话20的位置来估计智能电话20中的显示单元23相对于hmd 10的相对位置(步骤502)。注意，在该实施方式中，由于使用了上面提及的公共坐标系，因此hmd 10的控制单元1能够准确地确定智能电话20的显示单元23的位置。
[0193]
接下来，hmd 10的控制单元1确定当从用户观看时由hmd 10ar显示的虚拟对象30(成像目标对象30b)的显示区域与智能电话20的显示单元23是否彼此交叠(步骤503)。
[0194]
在虚拟对象30的显示区域与智能电话20的显示单元23彼此交叠的情况下(步骤503中为是)，hmd 10的控制单元1在hmd 10的显示单元3中隐藏虚拟对象30的交叠区域(步骤504)。
[0195]
图12是示出在hmd 10的显示单元3中虚拟对象30与智能电话20的显示单元23之间的交叠区域已经被隐藏的情况下的示例的图。在如图12中所示的示例中，在hmd 10的显示单元3上ar显示的吊灯的下侧上的部分与智能电话20的显示单元23交叠。为此，在hmd 10中吊灯的下侧上的部分被部分地隐藏。
[0196]
返回至图7，当执行隐藏虚拟对象30的交叠区域的处理时，hmd 10的控制单元1返回至步骤505。类似地，在步骤503中，在虚拟对象30的显示区域与智能电话20的显示单元23彼此不交叠的情况下(步骤503中为否)，hmd 10的控制单元1进行到步骤505。
[0197]
在步骤505中，hmd 10的控制单元1确定是否已经从智能电话20进行了成像模式的结束的通知。注意，当在智能电话20中结束成像模式时，从智能电话20进行成像模式的结束的通知(参见图5中的步骤317)。
[0198]
在尚未从智能电话20进行成像模式的结束的通知的情况下(步骤505中为否)，hmd 10的控制单元1返回至步骤502并且再次估计智能电话20的显示单元23的位置。另一方面，在已经从智能电话20进行成像模式的结束的通知的情况下(步骤505中为是)，hmd 10的控制单元1结束虚拟对象30的隐藏控制以执行正常的ar显示(步骤506)并且结束处理。
[0199]
在此处的描述中，在成像模式下，已经描述了以下情况：当在hmd 10的显示单元3
上ar显示的虚拟对象30的显示区域与智能电话20的显示单元23交叠时，在交叠区域中的虚拟对象30被隐藏。同时，在成像模式下，当虚拟对象30的显示区域与智能电话20的显示单元23交叠时，可以隐藏整个对应的虚拟对象30。
[0200]
图13是示出在成像模式下已经隐藏了与智能电话20的显示单元23交叠的整个虚拟对象30的情况下的示例的图。在图13中所示的示例中，示出了以下情况：由于在成像模式下，由于在hmd 10上ar显示的吊灯的下侧上的部分与智能电话20的显示单元23交叠，因此整个吊灯被隐藏。
[0201]
《效果等》
[0202]
如上所述，在该实施方式中，虚拟对象30被ar显示在hmd 10的显示单元3上，检测用户通过智能电话20(交互装置)对虚拟对象30的交互，并且根据交互在智能电话20的显示单元23上显示与虚拟对象30有关的图像。
[0203]
结果，在该实施方式中，当佩戴hmd 10的用户对虚拟对象30感兴趣并且通过智能电话20执行对虚拟对象30的交互时，在智能电话20上显示与虚拟对象30有关的图像。然后，用户可以通过注视智能电话20上显示的虚拟对象30的图像来获取关于虚拟对象30的信息。
[0204]
因此，当用户对虚拟对象30感兴趣时，他/她无需待在原地并且通过hmd 10保持注视虚拟对象30。此外，目前，智能电话20通常具有比hmd 10更高的分辨率，并且因此可以说是适于更真切地注视用户感兴趣的虚拟对象30。
[0205]
此外，在该实施方式中，检测移动智能电话20靠近虚拟对象30的操作，特别地，保持操作，作为交互。在此，目前，将智能电话20保持在某物上方的操作是通常用于公共交通中的车费的支付和购物的支付的操作。为此，将智能电话20保持在虚拟对象30上方的操作也被认为是用户的自然交互，并且因此，这样的保持交互被认为是可由用户在没有不适感的情况下自然地接受。
[0206]
此外，在该实施方式中，由智能电话20的成像单元26对智能电话20的显示单元23上ar显示的虚拟对象30进行成像的操作被检测为交互。目前，利用智能电话20对感兴趣的真实对象(建筑物、人、qr码等)进行成像的操作是常用的操作。为此，利用智能电话20对虚拟对象30进行成像的操作也被认为是用户的自然交互，并且因此，这样的成像交互被认为是可由用户在没有不适感的情况下自然地接受。
[0207]
在此，作为比较，假设用户执行通过手直接触摸由hmd 10ar显示的虚拟对象30的交互。虚拟对象30通常在没有物理线索(physical clue)的地方中，例如在空气中ar显示。因此，在这种情况下，存在用户难以执行诸如直接触摸虚拟对象30的物理交互的问题。此外，在该方法的情况下，由于如果在hmd 10的成像单元4的成像视角内没有捕获到手则不能执行通过手识别的交互的确定，因此可以执行交互的范围受到限制。
[0208]
另一方面，在该实施方式中，由于智能电话20被手握持并且保持在虚拟对象30上方，因此与通过手直接触摸虚拟对象30的情况相比，存在相对容易地执行交互的优点。此外，在该实施方式中，由于利用智能电话20对虚拟对象30进行成像，因此与通过手直接触摸虚拟对象30的情况相比，存在容易地执行交互的优点。此外，在该实施方式中，不需要在hmd 10的成像单元4的成像视角内捕获手，并且因此，可以执行交互的范围较少受到限制。
[0209]
此外，在该实施方式中，交互根据佩戴hmd 10的用户与ar显示的虚拟对象30之间的距离d1而改变。结果，可以根据距离d1适当地改变交互。
[0210]
此外，在该实施方式中，在用户与虚拟对象30之间的距离d1等于或小于第一阈值th1的情况下，检测保持操作(移动靠近操作)作为交互。另一方面，在用户与虚拟对象30之间的距离d1超过第一阈值th1的情况下，检测成像操作作为交互。
[0211]
结果，当虚拟对象30在距用户的可到达距离内时，保持操作被用作交互，而当虚拟对象30不在距用户的可到达距离内时，成像操作被用作交互。如上所述，在该实施方式中，可以根据用户与虚拟对象30之间的距离d1适当地改变交互。
[0212]
此外，在用户与虚拟对象30之间的距离d1等于或小于第一阈值th1的情况下，可以检测保持(移动靠近)操作和成像操作二者作为交互。在这种情况下，用户可以通过保持交互或成像交互来指定存在于距用户可到达距离内的虚拟对象30。
[0213]
此外，在该实施方式中，提醒用户交互的提醒ui 31被ar显示在hmd 10的显示单元3中与虚拟对象30对应的位置处。结果，用户可以通过视觉地识别提醒ui 31来容易地识别可以执行的交互以及应该执行什么交互。
[0214]
此外，在该实施方式中，在多个提醒用户ui被ar显示在hmd 10的显示单元3上并且提醒ui 31的显示区域与其他提醒ui 31的显示区域交叠的情况下，调整提醒ui 31的ar显示位置。结果，可以以易于看到的方式将提醒ui 31呈现给用户。
[0215]
此外，在该实施方式中，在成像模式下，在hmd 10的显示单元3上ar显示的虚拟对象30的显示区域与智能电话20的显示单元23交叠的情况下，在与智能电话20的显示单元23交叠的区域中隐藏虚拟对象30。结果，可以防止在hmd 10上ar显示的虚拟对象30看起来在由智能电话20ar显示的虚拟对象30的前侧，从而导致看起来不自然。
[0216]
此外，在成像模式下，在hmd 10的显示单元3上ar显示的虚拟对象30的显示区域与智能电话20的显示单元23交叠的情况下，可以隐藏整个对应的虚拟对象30。同样以这种形式，类似地，可以防止这样的看起来不自然。此外，用户可以专注于利用智能电话20对虚拟对象30进行成像。
[0217]
此外，在这种形式的情况下，由于无需准确地确定在hmd 10中hmd 10的虚拟对象30与智能电话20的显示单元23之间的交叠区域，因此可以减少处理负荷。此外，在这种形式的情况下，当不能准确地测量hmd 10与智能电话20之间的相对位置关系并且不能准确地估计交叠区域时(而在该实施方式中，由于使用了上面提及的公共坐标系，因此可以准确确定交叠区域)也是有效的。
[0218]
此外，在该实施方式中，在成像模式下，在多个虚拟对象30被ar显示在智能电话20的显示单元23上的情况下，用于使用户选择要成像的虚拟对象30的选择ui 32被ar显示在智能电话20的显示单元23上。结果，用户可以通过基于选择ui 32的选择操作容易地从多个虚拟对象30中选择任意虚拟对象30，并且可以防止选择错误发生。
[0219]
《《各种修改示例》》
[0220]
在以上描述中，已经描述了在hmd 10的显示单元3上实际ar显示的虚拟对象30是智能电话20的交互目标的情况(参见步骤101至步骤111)。同时，由于存在于hmd 10周围而可以在hmd 10上ar显示的虚拟对象30(例如，存在于距hmd 10某个距离内的虚拟对象30)可以是智能电话20交互的目标，而与hmd 10的显示单元3是否被实际ar显示无关。
[0221]
在这种情况下，例如，用户可以通过将智能电话20保持在虚拟对象30上方(移动智能电话20靠近虚拟对象30)来指定虚拟对象30，而无需通过hmd 10看向虚拟对象30的方向。
此外，在这种情况下，即使用户没有通过hmd 10看向虚拟对象30的方向，当智能电话20被指向虚拟对象30的方向时虚拟对象30也被ar显示在智能电话20上，并且用户可以通过对虚拟对象30进行成像来指定虚拟对象30。
[0222]
在以上描述中，智能电话20已经被描述为用于用户执行交互的交互装置的示例。另一方面，交互装置不限于智能电话20。典型地，交互装置仅需要是可以被用户保持的移动装置或者可以被用户的手或手臂佩戴的可穿戴装置。
[0223]
可以被用户保持的移动装置的示例包括除智能电话20之外的移动电话、平板pc(个人计算机)、便携式游戏机和便携式音乐播放器。可以被用户的手或手臂佩戴的可穿戴装置的示例包括手表型(腕带型)、戒指型和手套型可穿戴装置。
[0224]
在以上描述中，已经描述了hmd 10的控制单元1执行图3和图7中所示的处理并且交互装置的控制单元21执行图4至图6中所示的处理的情况。同时，图3至图7中所示的处理可以由hmd 10的控制单元1和交互装置的控制单元21之一来执行。
[0225]
作为示例，将描述由交互装置的控制单元21执行图3中所示的处理的情况。在这种情况下，首先，交互装置的控制单元21从hmd 10接收hmd 10的成像单元4中的图像信息以识别hmd 10的周围环境，并且基于环境识别结果指示hmd 10在hmd 10的显示单元3上ar显示虚拟对象30(步骤101)。
[0226]
接下来，交互装置的控制单元21选择一个虚拟对象30(步骤102)并且计算用户(头部)与虚拟对象30之间的距离d1(步骤103)。关于计算距离d1所需的用户的位置，例如，与由hmd 10估计的自身位置有关的信息从hmd 10获取，并且交互装置的控制单元21基于该信息获得用户的位置。
[0227]
接下来，交互装置的控制单元21将用户与虚拟对象30之间的距离d1与第一阈值th1和第二阈值th2进行比较，以确定虚拟对象30的分类(步骤104和步骤107)。然后，交互装置指示hmd 10针对每个分类来ar显示对应的提醒ui 31(步骤106和步骤109)。
[0228]
然后，交互装置的控制单元21对所有虚拟对象30执行诸如距离d1的计算和分类的处理(步骤111中为是)，并且在提醒ui 31彼此交叠的情况下(步骤112中为是)指示hmd 10调整提醒ui 31的位置(步骤113)。
[0229]
此外，作为示例，将描述由hmd 10的控制单元1执行图4中所示的处理的情况。在这种情况下，首先，hmd 10的控制单元1在存在保持目标对象30a的情况下(步骤201中为是)确定用户是否已经将交互装置保持在保持目标对象30a上方(步骤202)。在这种情况下，由于需要智能电话20的位置信息，因此hmd 10的控制单元1仅需要从智能电话20获取由智能电话20估计的自身位置的信息。
[0230]
此外，hmd 10的控制单元1在存在成像目标对象30b的情况下(步骤203中为是)确定用户是否已经通过交互装置对成像目标对象30b进行了成像(步骤204)。在这种情况下，由于需要与用户通过交互装置的成像操作有关的信息，因此hmd 10的控制单元1仅需要从智能电话20获取与成像操作有关的信息。
[0231]
在保持交互或成像交互的情况下(步骤202中为是和步骤204中为是)，hmd 10的控制单元1确定虚拟对象30已经被指定(步骤205)。然后，hmd 10的控制单元1指示智能电话20在智能电话20的显示单元23上显示与虚拟对象30有关的图像(步骤206)。
[0232]
此外，图3至图7中所示的处理可以不由头戴式显示器或交互装置执行，而是由能
够与这些装置通信的外部装置的控制单元执行。该外部装置的示例包括各种pc，例如台式pc和膝上型pc，以及网络上的服务器设备。
[0233]
在此，“信息处理装置”意指包括执行图3至图7中所示的各种类型的处理的控制单元等的设备。为此，在头戴式显示器执行所有主要处理的情况下，单独的头戴式显示器可以被视为一个信息处理装置。类似地，在交互装置执行所有主要处理的情况下，单独的交互装置也可以被视为一个信息处理装置。类似地，诸如网络上的服务器设备的外部装置执行所有主要处理，单独的外部装置也可以被视为一个信息处理装置。
[0234]
此外，在头戴式显示器、交互装置和外部装置中的至少两个或更多个装置共享并执行处理的情况下，包括共享和执行处理的两个或更多个装置的整个系统可以是被视为一个信息处理装置。注意，在上面提及的第一实施方式中，头戴式显示器和交互装置(智能电话20)共享并执行处理，并且因此，包括这两个装置的整个信息处理系统100被视为第一实施方式中的一个信息处理装置。
[0235]
本技术还可以采用以下配置。
[0236]
(1)一种信息处理装置，包括：
[0237]
控制单元，该控制单元使头戴式显示器的第一显示单元以ar(增强现实)方式显示虚拟对象，检测关于虚拟对象的用户交互，该交互通过交互装置执行，以及根据交互使交互装置的第二显示单元显示与虚拟对象有关的图像。
[0238]
(2)根据以上(1)所述的信息处理装置，其中
[0239]
交互装置包括成像单元，以及
[0240]
控制单元将虚拟对象ar显示在第二显示单元上，并且检测由成像单元对被ar显示的虚拟对象进行成像的操作作为交互。
[0241]
(3)根据以上(2)所述的信息处理装置，其中
[0242]
控制单元检测移动交互装置靠近虚拟对象的操作作为交互。
[0243]
(4)根据以上(3)所述的信息处理装置，其中
[0244]
移动操作是将交互装置保持在虚拟对象上方的操作。
[0245]
(5)根据以上(3)或(4)所述的信息处理装置，其中
[0246]
控制单元根据佩戴头戴式显示器的用户与ar显示的虚拟对象之间的距离来改变交互。
[0247]
(6)根据以上(5)所述的信息处理装置，其中
[0248]
在用户与虚拟对象之间的距离超过预定阈值的情况下，控制单元检测成像的操作作为交互。
[0249]
(7)根据以上(6)所述的信息处理装置，其中
[0250]
在用户与虚拟对象之间的距离为预定阈值或更小的情况下，控制单元检测移动操作作为交互。
[0251]
(8)根据以上(6)所述的信息处理装置，其中
[0252]
在用户与虚拟对象之间的距离为预定阈值或更小的情况下，控制单元检测移动操作和成像操作二者作为交互。
[0253]
(9)根据以上(1)至(8)中任一项所述的信息处理装置，其中
[0254]
控制单元在第一显示单元中在与虚拟对象对应的位置处ar显示用于提醒用户交
互的提醒用户界面。
[0255]
(10)根据以上(9)所述的信息处理装置，其中
[0256]
在多个提醒用户界面被ar显示在第一显示单元上并且提醒用户界面的显示区域与其他提醒用户界面的显示区域交叠的情况下，控制单元调整提醒用户界面的ar显示位置。
[0257]
(11)根据以上(2)所述的信息处理装置，其中
[0258]
在第一显示单元上ar显示的虚拟对象的显示区域与第二显示单元交叠的情况下，控制单元在与第二显示单元交叠的区域中隐藏虚拟对象。
[0259]
(12)根据以上(2)所述的信息处理装置，其中
[0260]
在第一显示单元上ar显示的虚拟对象的显示区域与第二显示单元交叠的情况下，控制单元隐藏整个对应的虚拟对象。
[0261]
(13)根据以上(2)所述的信息处理装置，其中
[0262]
在多个虚拟对象已经被ar显示在第二显示单元上的情况下，控制单元使第二显示单元ar显示用于使用户选择要成像的虚拟对象的选择用户界面。
[0263]
(14)根据以上(1)至(13)中任一项所述的信息处理装置，其中
[0264]
交互装置是能够被用户保持的移动装置或者能够被用户的手或手臂佩戴的可穿戴装置。
[0265]
(15)一种信息处理方法，包括：
[0266]
使头戴式显示器的第一显示单元ar显示虚拟对象；
[0267]
检测关于虚拟对象的用户交互，该交互通过交互装置执行；以及
[0268]
根据交互使交互装置的第二显示单元显示与虚拟对象有关的图像。
[0269]
(16)一种使计算机执行以下处理的程序：
[0270]
使头戴式显示器的第一显示单元ar显示虚拟对象；
[0271]
检测关于虚拟对象的用户交互，该交互通过交互装置执行；以及
[0272]
根据交互使交互装置的第二显示单元显示与虚拟对象有关的图像。
[0273]
[附图标记列表]
[0274]
1、21 控制单元
[0275]
2、22 存储单元
[0276]
3、23 显示单元
[0277]
4、24 成像单元
[0278]
5、25 惯性传感器
[0279]
6、16 操作单元
[0280]
7、27 通信单元
[0281]
10 hmd
[0282]
20 智能电话
[0283]
30 虚拟对象
[0284]
31 提醒ui
[0285]
32 选择ui
[0286]
100 信息处理系统