微软hololens能做什么(微软虚拟现实hololens)

微软HoloLens 2现身：科技魔法走进真实世界

作者现在正处微软公司总部，亲身体验HoloLens 2的演示项目。通过位于地下的长长走廊，穿过一扇沉重的金属侧拉门，我在微软员工的引导下进入了这个如 汽车 生产车间般的项目所在地。这里弥漫着一股橡胶轮胎的味道。在我面前的底座上，摆有一辆ATV全地形车。另外，房间各处都堆放着工具与零件。

这时候，工作人员将一部HoloLens 2交到我手中，并提醒我如何用它学习修车。

微软公司的HoloLens终于回来了。3年前，该公司发布了这款混合现实头戴设备的初代版本，而如今的新版本已经开始接受预订，价格为3500美元，计划于今年晚些时候全面出货。通过试戴，我发现不用摘眼镜就能很轻松地将它套在头上。这种感觉有点像 配戴 一台工业工具，或者焊工面具。设备显示内容非常清晰，我进行了眼动追踪设置，眼前出现了一个网格点。我跟随着该点从一个角落看向另一个角落，又从一侧望向另一侧。整个过程完全没问题，效果也很好。据了解，接下来微软最新打造的Dynamics 365 Guides还将引导应用正式启动，负责为使用者提供使用指令集。

更确切地说，这台设备就像是拥有了实际转向指示的谷歌地图，或者是能够直接显示拼装手册的乐高产品。当我把目光移向漂浮在面前空中的一张张指示卡片时，系统就会提醒我首先要让车子保持稳定。现在，一个浮动的箭头从3D空间中延伸向前，提醒我车子上的换档部位以及我应该如何对其进行切 换。 完成之后，我眨了眨眼睛并进行下一步。接下来，我开始调整车子底部已经松掉的链条。一个长长的虚线箭头指向靠近墙壁的一只工具箱，并进一步提示使用其中的棘轮。在这一步操作中我差一点抓错了，好在及时意识到箭头指向的是另一个工具。我把目光投向下一张卡片，有一条弧线向我展示了前往螺丝盒的路径，并将其拧进正确的孔位。

有时候，箭头的排列会出现一些问题。同时，我也很好奇，我会不会抓到错误的工具？如果我犯了错误，程序会及时加以纠正吗？我真的应该试着抓起错误的工具，看看设备会有什么反应——有点后悔。而且必须承认，在空间当中放置指向箭头有点像构建一个大型3D导航器，感觉上有点奇怪。在试用过程中，我不禁想到任天堂产品特别是Labo的使用经验——这是一款任天堂专门为其Nintendo Switch开发的 游戏 ，能够指导玩家通过屏幕上的指示利用精美的纸板进行创作小玩具。想象一下，配合HoloLens 2，这款 游戏 可能会到处弹出指导信息，并指向玩家面前的真实物体，而且整个系统完全以3D方式呈现。这样，世界一下子变会成乐高主题套装的模样！

值得一提的是，这次试用没有出现蜘蛛织网 游戏 ，我也没有玩到《我的世界》或者《光环》。四年之前，微软公司一直在强调HoloLens当中的 游戏 载体属性，但如今微软的整体态度也发生了转变，更多地展示其在企业应用场景下的巨大潜能。HoloLens 2是一台能够切实帮助企业员工的实用性设备，这意味着AR技术开始成为员工完成工作的重要助力。这台头戴式设备非常舒适，能够提供更好的视频以及更出色的眼睛与手部追踪体验。另外，它还与更多微软云服务相关联，而这些服务又能够进一步对接各类iOS与Android应用。

我还记得去年曾在Magic Leap上体验过《查理的巧克力工厂》，而微软HoloLens 2在使用感受上就像是Magic Leap的终极追求。当然，双方可能还需要沟通以确定这项技术的下一步发展方向。

显然，增强现实技术不再只是痴人说梦。苹果与谷歌公司一直在手机领域中 探索 这一技术，而包括Magic Leap在内的不少头戴设备厂商也在努力设计出一种舒适、功能性强且能够随身携带的全息显示解决方案。

第一款HoloLens的问世更像是一项成就或者一种标志，因为它可以自成一体、不需要电线甚至完全无需接入任何设备。而微软如今推出的新一代HoloLens 2也并没有引入什么全新概念，但却确立了一款头戴式设备必须具备的三大核心要素：眼动追踪、更大的视野以及更出色的手部追踪能力。当然，它也更加舒适，而且对需要佩戴眼镜的用户非常友好（包括我本人以及我的同事们），能够让我们轻轻松松罩在眼镜之上，带来非常好的体验。另外，HoloLens当中使用了一块高通850移动处理器负责运算执行，同时还配合微软自己的AI引擎以替换上一代HoloLens所使用的英特尔处理器。

对于没有实际比较的朋友们来说，这一次的新设计在观感上似乎与上代产品没什么区别。但我得告诉大家，新一代版本明显没那么笨重，份量也确实轻了一点。通过咨询，我们确定本代版本的重量减少至566克，折合1.25磅。虽然相较于初代版本的579克，折合1.28磅，减去的重量似乎非常有限，但之所以使用感受得到极大提升，主要归功于其重心分布的大幅调整。这一次的新版本加厚了用户后脑部位的护垫，而前部布置则相对较小。如今产品的整体重心位于耳朵再靠后一点的地方，这意味着使用感受有点像“戴上一顶棒球帽”。我松开头带，将设备戴在眼镜之上，仍然没有任何问题。新的重心转换意味着我们再也不用花整整5分钟时间才找到舒服的配戴的位置。通过试用，我们觉得新版本更像是背上一个背带设计更出色的背包。

另外，新版本甚至还提供了翻盖式的显示部分设计。显示镜处能够向上掀起，用户可以轻松回归真实视觉或者更轻松地执行常规工作——此前由合作伙伴开发的微软Windows Mixed Reality品牌VR设备就一直采用这样的设计。我很喜欢这种自在的感觉，现在我可以在演示当中随时擦擦自己的眼镜，或者挠挠额头。

HoloLens 2的硬件仍然自成一体，与前代设计一样，它不需要任何额外的腰部配戴装置（Magic Leap One就使用了这样的设计）。当然，这同时意味着HoloLens的头戴本体部分要比Magic Leap One更大（后者价格为2295美元），售价也比其贵上1000多美元。这样的差价无可厚非，因为Magic Leap One逼迫我戴上隐形眼镜，或者再配一副能够与其槽位匹配的镜片——目前，Magic Leap还不支持我的这种镜片。相比之下，HoloLens 2能够直接容纳我的眼镜，我非常喜欢这样的设计。

眼动追踪并不是VR及AR当中最重要的因素，至少目前还不是。第一款HooLens并不提供眼动追踪功能。当然，Magic Leap One已经支持这项功能，HTC Vive Pro Eye以及Varjo VR-1等高端企业级VR设备也开始引入。眼动追踪功能可以识别出用户使用内置摄像头时的位置，这意味着大家不再需要移动头部。

HoloLens 2的眼动追踪主要用于两大场景：它能够测量眼球运动并借此与虚拟物体进行交互。另外，微软也开始利用新的眼动追踪摄像头进行生物识别以保障安全。HoloLens 2通过Windows Hello进行虹膜扫描，因此用户可以立即登录Windows并启动个人账户，或者借此保存自己的个人设置选项。

更令人印象深刻的是，我之前体验过的大部分眼动追踪技术都会因为配戴眼镜而受到一定影响。比如，必须把带子调松一些，才能避免HTC Vive Pro Eye早期版本的演示无法正常起效。使用Tobii的眼动追踪VR技术时，也曾经发生过类似的情况。好消息是，在进行几轮HoloLens 2演示体验的过程中，这种问题一次也没有出现。

在此次体验当中，我试用过的唯一一项眼动追踪实际用途，就是利用自己的快速眼动在无需移动头部的情况下选定某个虚拟物体。我可以直接盯着这些物体并通过指令使其爆开，从而制造出大量虚拟水晶碎片。当然，这项功能还有更多实际用途：以Tobii为代表的众多企业软件厂商正在利用眼部追踪技术为用户创建所需要的分析结果与热图，从而改进培训效果。

但在谈到其它眼动追踪技术的应用方向时，似乎出现了一点偏差。微软公司技术研究员Alex Kipman表示，HoloLens 2的眼动追踪摄像头能够通过微小的眼部变化以及用户的注视位置来测量相应情绪。

但是，如果HoloLens都开始预测用户的感受，甚至是脑中的想法了，那接下来又会怎样？我不太确定。

在微软的Human Factors实验室当中，这款硬件经历了舒适性与可访问性测试。我们走进一个摆放着无数原型设备模型的房间，里面还有一张放着大量不同橡胶耳朵的桌子。微软公司高级设计总监Carl Ledbetter向我们展示了如何针对各种头型与耳廓特征对这款新设备进行舒适度、疲劳感以及眼部观看效果测试。另外，在某个角落的桌子上，还摆着一个嵌有传感器网的人体模型头部，这是一个脑电感应头盔。一眼望过去，我还以为自己来到了《少数派报告》电影里的场景。

Ledbetter介绍称：“我们用它来测量脑波活动，甚至可以测量对象的思维负荷有多大。当然，我们并没有把所有成果都真正引入HoloLens。不过我们觉得这是个好机会，相关的结论可以被应用到其它一些项目当中。”

跟我一起参加这次体验的同事Ian SHerr问道，“HoloLens 3是不是就能读心了？”

“这个嘛……有可能吧”，我猜Ledbetter是在半开玩笑。当然，他没准是说真的。

全息显示就像一场魔术，而如果栩栩如生的显示效果在用户的视野之内就被硬生生切断，那么观感体验必然要大打折扣。第一代HoloLens的纵向可视角度约为30度，这种感觉就像是通过一扇窗户观看虚拟物体，而窗户的大小则是一张距离用户的脸只有几英寸的扑克牌。

HoloLens 2将视野扩展到了52度，微软公司表示这意味着新一代产品的有效可视区域达到了上代产品的两倍。这感觉就像是通过一扇与课本差不多大的窗户观看全息图像，纵向观察空间提升了不少。具体来看，如今的虚拟显示空间类似于使用台式机上的大号显示器，而上代HoloLens的使用感受则像是使用笔记本上的小屏幕。虽然HoloLens 2上仍然存在着某些3D效果被拦腰截断的情况，毕竟我的余光视觉没有受到任何遮挡，因此上下左右都存在着显示断层。但是，它的视野仍然要比Magic Leap One好得多，而Magic Leap One又比初代HoloLens好得多。

除此之外，HoloLens 2的有效分辨率也得到有效提升，如今它能够实现单眼显示内容的2K分辨率——远高于初代HoloLens的单眼720p分辨率。然而，图像显示的密度仍然相同，为每度47像素（单位为PPD）。PPD是一种用于测量光学显示中像素密度的方法，类似于手机或者平板电脑上的每英寸像素数。Kipman将其称为等同于苹果“视网膜显示”效果的分辨率。但老实说，虽然观感上已经非常接近，我仍然能够从中看到像素，这与我的日常视觉体验有所不同。不过，这已经比许多传统的VR设备好上太多了。（Varjo的全新VR头戴设备在视觉中心位置提供更高的PPD分辨率，但周边区域的分辨率则有所下降。）另外，其中的全息图视觉效果仍然比较怪异，这一点与Magic Leap以及初代HoloLens差不多。画面很明亮，足以让我在室内空间中清晰识别并遵从指引。而微软同时也表示，在户外环境下的显示效果也一样出色。

新版本的图形处理效果与上一代HoloLens并没有太大的差别，最显著的应该就是以上提到的观看区域的大幅扩展。另外，考虑到处理器配置，Magic Leap提供的图形效果可能仍然优于HoloLens 2——至少在双方都不依赖云计算资源时是这样。

简单说一下其中的工作原理：HoloLens的基本目标就是让用户出现“对眼”。微软公司光学工程总经理Zulfi Alam解释了显示内容如何配合多份图表及放大镜功能共同起效。与初代HoloLens一样，新版本的显示镜处同样拥有波导管，可以利用LCOS（片上液晶）通过MEMS（微电子机械系统）弯曲光线以使其投射至眼部。

下面来看HoloLens 2中的新特性：初代HoloLens采用的是一块尺寸较小的显示屏，因此视野相对比较有限。如今，HoloLens 2上的显示屏采用了基于镜面的激光系统进行蚀刻。该系统能够生成每秒120帧的图像与三道激光速，如同老式显示器一样，只是响应速度更快。另外，它还支持超宽视野，这意味着我们观看暗光区域时镜片将完全透明。从体验上来看，我只能说，虽然原理听起来非常复杂，但最终结果看起来确实不错。

HoloLens 2并不提供任何物理控制器：微软公司决定完全依赖于手部追踪加语音控制。值得一提的是，手部追踪技术同样向前迈出了一大步。传感器如今可以通过手腕与手指在一只手上识别最多25个关节点。此外，其还能够识别手掌的方向，这意味着手指弯曲、手部动作以及拾取物体等功能全部可以直接实现。初代HoloLens只能基于手势支持手指点击与其它一些简单的动作。这一次，HoloLens 2已经能够支持捏、拉、按等操作。这感觉要比Magic Leap One的手部追踪更加先进。

此外，我们还尝试了微软公司提供的“Shell演示”全体验。在一个类似于起居室的园区大房间，我看到一张摆着大量全息虚拟物体的桌子，其中包括一部引擎以及一架风车。我走到旁边，并看到它们被纳入一个框体轮廓。系统提示我抓住框体的一角然后向外拉，依样操作之后整个全息图即可快速缩放，类似于拖动Windows中窗口的一角。

这就是HoloLens 2上提供的3D窗口。为了移动物体，我需要将手伸进物体的中心，握拳，而后移动自己的拳头。我也可以把两只拳头一起放进去，然后把拳头分开，这样物体就会放大。整个操作过程有点奇怪，因为没有触觉反馈会让人觉得操作很“假”。但这一切都能够正常起效。

接下来，我观察了整个房间，并发现沙发那边放着一个发光的水晶状物体。这里也有自己的框体，只是附带的是一个三角形的播放按钮。我用手指按下按钮，随之开启了眼动追踪的演示。

我望着四块水晶，目光掠过时对应的水晶就会闪闪发光。这种感觉很好，轻松愉快。当我说出“爆炸”这个词时，我望着的水晶就会立刻炸裂。微软随后展示了另一个眼动追踪的示例：一只飘逸的蜂鸟以全息图的形式悬停在一个类似维基百科的文本框旁边，上面有一篇关于蜂鸟的文章。我读了一会，并在眼睛向下望时触发了文本框滚动操作。有时候滚动速度可能太快或者太慢，但我很快学会了如何用眼睛控制滚动速度。而且最重要的是，我也可以用眼部控制的方式移动物体，这让我的双手能够休息一下。

这一切在真实场景下的配合体验是怎样的？

说回引导程序中包含的虚拟修车环节。让我好奇的是——我以后还会记得这些操作说明吗？是继续上一次未结束的引导培训，还是依赖一步步的后续提示？几周之后，在撰写这篇文章时，我真的完全想不起自己当时在那个房间里进行过哪些操作。有人提醒我，现在的人在开车的时候，也经常会变成“导航地图依赖症患者”——完全依靠导航指引，而忘记了自己到底想去哪。有一些出租车司机喜欢背下地图从而实现知识内化。我想知道的是，这种导航式的分步教学是否会降低学习或者帮助效果？对此，微软方面回应，这确实是个很好的问题，值得他们认真研究。

很明显，这个问题还没有确定的答案，但HoloLens 2确实展现出了一种可能性。分步指引与PowerPoint deck一样易于开发。也许在未来的某个时间点上，人们将会在现实世界当中留下指引，以便其他人稍后发现并借此“导航”——这有点像赛车 游戏 中的“幽灵对手”，以幻影的形式存在提示玩家对方的先进轨迹与当前成绩。此前，谷歌公司在手机版本的谷歌地图上就曾经发布过类似的AR功能。

微软公司这一次反复强调了多用户混合现实的重要意义，也就是通过微软Azure提供云服务。这些服务使得人们能够在HoloLens甚至是自己的手机上体验混合现实。谷歌公司去年发布了自己的多用户AR项目，而苹果也推出了iOS平台上的ARKit。

想象一下，如果能够共享同一个3D对象，进而在同一3D模型之上协同工作，那么未来的办公场景会是怎样。微软公司的Dynamics 365 Layout应用可以通过云端存储对象，以确保这些对象始终被绑定在某一位置以供他人查找。另外，其提供的“云锚点”机制也可以确保每一位用户都共享同样的显示内容，甚至可以在iPhone上利用相同的AR工具通过微软应用程序在iPad与Android设备之间建立AR体验。

在这一次的演示当中，我们得以体验大房间、圆桌子以及一套面向合作小组的简短操作展示。我头戴着HoloLens 2，坐在身边的是我的同事Ian Sherr与Gabriel Sama——他们同样戴着HoloLens 2。整个场景就像是星际代表团的成员们围坐在一起。桌面上显示的是微软园区的一份发光3D虚拟地图，由HoloLens 2设备创建而成。一位女士从桌上的图形中出现，向我们介绍微软公司的未来园区扩展计划。Ian与Gabriel也在观看。我们从三个不同的角度观看着同样的内容。有趣的是，他们头顶弹出了自己的姓名。如果能望向自己，相信我的头顶也浮现出了自己的名字。微软公司明显希望借此展示混合现实的未来发展方向：协作与多用户。为了展示这一切是如何跨平台实现的，几位手持手机的助理来到我们身旁，并向我们示范如何通过手机屏幕看到同样的全息图。是的，我们所看到的都是相同的内容。

我立刻注意到视野在这种情况下得到了极大的改善。我在桌子上看到的一切对象，都不存在被硬生生切断的情况。

当然，这一切还远达不到完美。微软方面提醒，我们使用的只是早期工程模型。果然，当我转向观察自己所处的房间时，以半透明3D形式呈现在桌面上的微软园区图出现了一次倾斜。虽然其随后自动完成了调整，但这不禁让我好奇——如果企业客户需要利用空间计算以精确渲染现实，那么他们对于这样的小问题又有怎样的容忍度？

微软公司的云服务旨在进一步提升混合现实质量。如果现有HoloLens设备能够实现厘米级别的精度，那么在云计算的加持之下，其精度将提升至毫米级别。同样的，3D渲染的质量也将大幅提高。Kipman通过几张幻灯片向我们展示了当前混合现实图形只支持观看，但还无法实现创建。他展示了一个引擎对象，介绍如何通过添加Azure云渲染向其中添加更多细节。

据透露，微软还计划利用Azure服务渲染HoloLens中所显示的更多对象，从而改善设备上的图形展示效果——具体来讲，单凭HoloLens能够渲染3D对象上的10万个多边形，但对接云端后多边形数量可提升至1亿个。微软公司的最终目标是缩小头戴设备的尺寸并尽可能将资源负担转移至云端。就目前来看，这意味着HoloLens 2应该能够更多地使用云账户与云文档，但我还没想明白这一切将如何被结合在一起。

当前，HoloLens 2设备的设计基本上能够自给自足。如前文所说，它自成一体，能够实现脱机工作，它通过Wi-Fi接入网络，但不支持蜂窝网络连接。根据微软方面的说法，这主要是考虑到HoloLens 2的设计使用方式。但最终，当5G网络将高速数据覆盖至全球之后，HoloLens也一定会迎头赶上，成为一款高度依赖云端资源且更为强大的设备。

值得注意的是，HoloLens 2当中仍然没有提供任何物理控制器。与初代HoloLens一样，这款头戴设备是专门针对手势与语音控制而设计。虽然使用手感已经大大改善，但触觉控制器或者力反馈功能的缺失仍令人非常失望，甚至让我觉得有些不安。相比之下。Magic Leap One就提供一个单手物理控制器——虽然有限但却能够增加一点与事物互动时的真实感，而且通过振动反馈提供触觉响应。

微软公司表示正在考虑控制与触觉问题，但目前还未提供相关解决方案。

Alex Kipman告诉我：“我们当然很喜欢触觉。我可以先朝你扔一份全息图，然后你接住它再推回来，这种沉浸感确实要好得多。我在抓住全息图时，应该能够感受到它的温度——是冷、是暖、还是温度适中。这将彻底改变渲染感与体验可信度的水平。”

然而，Kipman补充称这样的触觉“显然只存在于梦想当中，”而且微软并没有使用Windows VR头戴设备中出现过的那些控制器。“我们认为手上没有实物或者触觉回馈，并不代表着用户就无法做出操作的行动。事实上，在我们的Windows VR头戴设备中，我们有着一些相当不错的方案，可以用到与HoloLens相同的传感器套件。”遗憾的是，虽然微软已经决定为这些周边产品冠以“混合现实”品牌的名号，但Kipman到目前还没有见过任何能够实际体验的Windows VR控制器。

也许这一切会在HoloLens 3当中成为现实？“在我们的发展路线图当中，自然也会考虑到物体交互时的触觉需求，让用户不仅仅能够拿起我们创造的东西，还能与虚拟对象交互。例如，如果我手里拿着一把真实世界中的锤子，那么该如何进行虚拟对象交互？如果我的手没有闲着，比如端着一个咖啡杯，但仍想操作自己的全息图，又该怎么办？”

我也好奇随着时间推移，新的控制机制会带来怎样的使用变化。现在抓取物体与按下按钮的感觉已经更加真实，但这究竟是我真正想要的真实感，还是仅仅只属于一种刚刚上手的新鲜感以及心理安慰？这些将如何在HoloLens 2上发挥作用？

显而易见，微软公司正在利用其Azure云计算为HoloLens 2持续注入能量。这意味着HoloLens 2将能够在3D空间中更准确地放置物体，同时提供更为详细的图形显示与绘图能力。Kipman还强调称，像HoloLens这样的产品将成为未来大规模连续性体验中的组成部分。支持计算机视觉功能的HoloLens 2能够实现真实世界追踪，这意味着这款头戴设备能够像自动驾驶 汽车 与无人机安装的导航摄像头传感器一样起效，并在一定程度上趋近于家庭、工厂以及家用电器中的扫描摄像头。（如今，微软公司正在销售一款采用HoloLens传感器的新型云连接版Kinect。）

听起来，整个世界似乎都将被大量边缘计算设备所占据，并依靠云环境带来越来越快的执行速度。也许在5G技术的支持下，一切未来推出的HoloLens设备乃至其它VR头戴设备都将高度依赖于云端。虽然HoloLens 2还不支持蜂窝网络——其仅提供Wi-Fi与蓝牙，但这只是因为LTE领域尚未做好准备。

就连Kipman本人也承认，HoloLens 2并不适合每一位用户，也不适合一切使用场景。虽然Kipman自己每天都会花上几个小时来使用HoloLens，“但只要待在办公室里，我大多数情况下还是宁愿使用键盘、鼠标加上PC显示屏来完成工作。”

但是，如果5G成为现实，触觉技术也成为现实，结果会如何？正如AR/VR/MR领域的所有参与厂商一样，微软公司显然也有着自己的大棋。毕竟下一代HoloLens距离我们可能并不遥远。Kipman本人甚至也无法断言接下来五年当中这方面技术会发生怎样的变化：“老实说，我没法面向未来五年做出预期。我只能谈谈这款产品生命周期之内的趋势，而且只能专注于其中的一到两个发展方向。我认为一切成功的产品都将围绕企业使用场景进行设计。”

也许到那个时候，新的产品将真正成为我个人长久以来所期待的5G超级装备！

Hololens是什么

Hololens是微软首发的头戴式增强现实设备（混合现实），用户可以通过配有MR头盔显示屏与世界进行全息影像交互。在2019年2月25日的WMC2019大会上，微软推出全新的Hololens2，运行性能和使用体验再次升级。

新一代Hololens2采用了全新的活动式设计，能够随时回到真实世界，提升佩戴的使用体验。据了解，微软通过扫描数千人头部数据来优化整个Hololens2的设计，并且额外加入的碳纤维材质，使得舒适性比上一代提升三倍。

Hololens2每度视力可达47像素，视野面积比上一代提升一倍以上，用微软官方举的例子就是，相当于从720P的屏幕升级到2K屏幕一样，效果看起来有了更好的提升。Hololens2支持语音识别，能够实现更多语音指令，眼动追踪与手部追踪的加入，能够更方便操作。而Hololens2也允许更多定制化，以满足不同用户的需求。

相较于第一代，Hololens 2的提升可谓是巨大。更舒服的配搭体验，更大的视野范围，更多的操作方式以及更好的性能都能让Hololens2显得更加完美。

在价格方面，Hololens2定价3500美元，首发地区包括美国、日本、中国、德国、加拿大、英国、爱尔兰、法国、澳大利亚和新西兰。

微软 HoloLens 2 的幕后故事

华盛顿州，雷德蒙德 ——当人们第一次戴上全新HoloLens 2时，设备会自动开始识别他们：它会测量包括用户手的准确形状、精准的瞳距在内的一切数据。在英国剑桥领导HoloLens科学团队的资深科学家Jamie Shotton表示，实现这些功能的人工智能研发过程“惊人的复杂”，但如果想让使用该设备的体验变成一种“本能”体验，这些研发工作至关重要。

“我们希望用户不用专门学习，就知道如何使用HoloLens。”他补充到：“我们知道如何与现实世界中的事物进行交互：我们拿起东西，按下按钮，然后指向目标物。我们致力于将其直接转化为混合现实。”

微软于 2019年11年7日 在 纽约 宣布 HoloLens 2 正式开始向客户发货 。这款内置传感器的全息计算头戴显示设备利用人工智能代替时间和空间，创造出一个由人、位置和物体组成的混合现实，以促进我们最基本的人类冲动之一：交换知识。

微软技术院士Alex Kipman表示，我们希望这款头戴显示设备可以展示智能边缘设备的优秀能力——支持人工智能技术，即使没有稳定的互联网连接，也能收集和处理数据——并在联网时与智能云共享部分或全部数据。

不久之前，Kipman在他办公室的数字白板上勾勒了这种普适计算结构的示意图。他说：“HoloLens是微软首个基于这种世界观开发的设备。” HoloLens 2中的人工智能与微软云计算平台Azure的人工智能功能相结合，让那些需要腾出双手操作的一线工作人员能够学习有助于职业发展的技能，并使地球两端说不同语言的人能够通过对物体的互通认知进行协作。

微软公司Microsoft Azure部门副总裁Julia White说：“你可以通过HoloLens做真正有趣的事，也可以通过云来做真正有趣的事。但是当这两者相结合时，你会发现，它改变了人们实际做事的方式方法。”

通过人工智能交付混合现实

为了实现与HoloLens 2的自然交互，Shotton和他的同事共同开发、训练人工智能模型，并将其部署在设备上，以跟踪人们的手部动作和视线，比如人们可以感知漂浮在自己眼前的全息影像并伸手调整大小或对其重新定位。

为了构建手部跟踪系统，该团队制作了一个带有向内指向的圆顶摄像头设备，用来记录人们各种各样的手形。之后团队会使用离线的云处理技术来构建能够代表所有人手形和动作的3D模型。通过这个3D模型，团队能够使用计算机图形来渲染逼真的合成人手图像和合成标签，从而使该模型能够适用于各种手形、姿势和运动。Shotton说：“你可以有效地生成无穷多的训练数据。”

该团队使用这些数据来训练一个紧凑型深度神经网络，这是一种适用于HoloLens的机载处理器的人工智能算法，能够对来自设备的深度传感器的每一帧画面进行高效处理。当新用户戴上HoloLens 2时，系统会利用这个神经网络构建一个适合用户手掌大小的个性化3D模型，从而实现与全息影像自然交互所需的精确跟踪。

Shotton表示：“眼球追踪、全息影像和现实世界的匹配、人手的互动，所有这一切，如果没有足够的精度，根本谈不上本能自然的交互体验。”

贯穿边缘到云端的人工智能

不仅仅是手部和眼球跟踪功能，其它的智能功能，比如SLAM（同步定位与地图构建），都已经被嵌入到HoloLens 2的第二代全息处理单元中，该芯片也被称为HPU2.0。

Kipman把这种设备上的人工智能功能称作感知人工智能。他说：“感知就像爬行动物的大脑，它执行的是脑部本能、想都不用想的操作。”对于人来说，这类智能使我们的心脏保持跳动、我们的肺部自主呼吸、我们的眼睛进行微跳动以测量景深。比如当我们口渴并想要喝水时，我们的眼睛会本能地测量到手举水杯到唇边的距离。

HoloLens 2上的感知人工智能使人们能够操控全息影像并与之进行交互，而无需担心所谓的延迟——通常，数据传输到云端、进行处理并返回到边缘需要花数百毫秒的时间。当你在全息影像上按下一个按钮，或者用眼球在全息影像上浏览文本时，“即使几十毫秒也会产生显著的感知差异。”Shotton指出：“运转时长至关重要。”

对隐私的保护是在设备上进行本地人工智能计算的另一个原因，例如HoloLens 2用来验证客户身份的虹膜扫描信息——人们可能不希望将这类私人数据发送到云端。然而，对于许多其它类型的数据来说，将其发送到云端是有好处的：因为一旦这些数据到达云端，客户就可以利用Azure AI和混合现实服务，将他们设备上的数据与整个普适计算结构中的数据相结合，“这使很多更高级的运算和认知功能得以运行。”Kipman说。

云端协作

微软混合现实与人工智能苏黎世实验室主任Marc Pollefeys表示，智能云赋能的全息计算的一个关键优势就是，它可以与其他拥有HoloLens或类似设备的人共享信息。Pollefeys正在领导一个团队研发用于混合现实云服务的核心计算机视觉算法——Azure Spatial Anchors，该服务能够让全息影像保留并锁定在现实世界中，供任何具有适当访问权限的人查看。

比如说，Spatial Anchors技术让工厂管理者能够把全息影像放在装配线上的设备旁边，包含重要的实时操作和维护信息，任何获得认证并拥有混合现实设备的工人都可以访问这些信息。

Pollefeys说：“如果我只能在我自己的设备上回看这些信息，那这样的全息影像就毫无意义。但是，如果我能够在全息影像中对现实世界进行批注和标记，并且公司里任何有访问权限的人都可以看到这些信息，那么这就实现了价值飞跃。”

为了创建这一功能，Pollefeys和他的团队开发了人工智能计算机视觉算法，该算法可处理来自传感器的数据，提取周围环境的3D几何信息，并将其整合、上传到云平台，创建出基于这些相关区域数字孪生系统或视图。

Pollefeys指出，HoloLens总是通过解读3D或空间信息的方式，了解其所在的运行环境。Azure Spatial Anchors创建、优化这些视图，并在各种设备上进行共享，这就是为什么要把来自各个设备的视图拼凑在一起并存储在云中。他说：“只在一台设备上存储这些数据是没有意义的。就好比我有一小块拼图、其他人也有一小块拼图，只有当我们把各自设备中生成的拼图整合到一起，才可以覆盖整个空间。”

随着各种支持混合现实功能的设备，包括HoloLens以及适当配置的手机、平板电脑和笔记本电脑，绘制出的环境信息不断整合，并共享在云端，这些视图将随着时间的推移变得更加详实、更加精确、更加强大。

以工厂为例，随着越来越多有访问权限的工人用自己的设备查看全息影像，工厂车间的整体视图将会不断地改进，最终完整全息影像将会被经理放置在装配线设备的上方。该功能还支持其它一些场景，例如：建筑师和客户开会时，每个参会人员都佩戴一个混合现实设备，将可以从自己的视角查看该建筑的全息3D设计图，并与之进行交互。

Julia White指出，Azure包含预构建服务，可在HoloLens和任何其它混合现实设备上，包括运行iOS和安卓操作系统的智能手机和平板电脑，为这类体验编写应用程序。她指出：“这种协作体验不仅仅限于HoloLens。而且开发者在编写这些令人惊叹的应用时的成本、操作难度和技能要求都随之 大大 降低。” 例如，跨设备和平台功能可以优化《我的世界：地球》的 游戏 体验。将流行的视频 游戏 与混合现实融合在一起，一个玩家可以在现实世界中搭建并放置可持久存在的虚拟结构，这样，其他玩家就可以在自己的设备上与之进行交互。

Julia White说：“我们都参与其中，因为它基于云技术，能够被各种类型的设备解读和诠释。”

以人为本的技术

Kipman指出，要想让HoloLens达到我们预想的那样去工作，支持这种体验的技术就必须以类似人类的方式来理解这个世界。因此，他和微软各个部门的同事合作，一同在这普适计算的数据网中开发、部署这些技术，并充分利用人工智能技术研究解决方案——从HoloLens 2的芯片到Azure AI和混合现实服务。

我们的目光再次回到Kipman的数字白板，他现在已经勾勒出一个普适计算的愿景，这个白板上有文字、方框、箭头，还有一幅简笔画——画中的两人在一个智能设备旁交谈。

他说，这就是普适计算的终极目标——让人们以自然的方式与他人进行交互。为了强调这一点，他特意停顿了一下，与观众进行眼神交流，并说：“希望你们能从这次的谈话中得到更多收获，因为在真实世界中大家现在就在我身边。”

他继续说道：“我们本可以通过 电话 或者Skype来交流，我甚至可以录下我的演讲，然后把磁带寄给你们。但大家没有选择这么做，而选择了面对面交流。为什么？因为这就是我们人类习惯的做事方式。”

“但这样面对面的缺点是，大家必须和我同时在同一个地点。而全息技术的力量就在于，它能够帮助我们打破空间和时间的界限。”

目前，HoloLens 2已经正式面向中国大陆地区市场发货，中国地区的设备定价为人民币27,388元。

与第一代HoloLens销售模式相比 ，新一代HoloLens 2发售时中国大陆地区将在原有微软中国官方商城的线上模式基础上，新增线下销售模式。