一文看懂Magic,说起敬请关注

科技世界网     发布时间:2017-06-19   
本文授权转载自将门创业(thejiangmen)原作者:Jono
MacDougall译者:曲晓峰
Magic
Leap一直对他们的技术的工作细节保密。我们现在仅仅知道他们的系统是一个全新的系统,并且远超一切消费者熟知的现存竞争对手。这也难怪Magic
Leap想要为自己的革命性的系统保密。众多的企业都在伺机窥探,想要了解究竟是什么技术,让人们如此的兴奋。
这种技术,听上去就是Apple想要拥有的,那种潜在的革命性的带有真正创新意味的“新事物”;也是微软在Hololens上想要努力实现,却又远未实现的。它受ogle
Glass的启发,却又明显领先几代的。
这个技术到底是什么,它究竟是如何工作的?我调查了在Magic
Leap工作的人所做的演讲、专利、工作申请和他们的背景,试图寻找这个问题的答案。
总体来说 这是常规大小眼镜。但相机又往哪放呢?注:这可不是Magic
Leap的产品。
在谈论细节之前,我们先总体上谈谈这是个什么技术。简单说,Magic
Leap在做一个设备,这个设备能把物体投影到人的视场,而且真实得远超我们现在所见的其它类似设备。Magic
Leap的设备由两部分组成:一副眼镜和一个便携的口袋式投影仪/计算模块。这模块是差不多手机大小的没屏幕的长方体。这个便携式计算模块通过数据线连接眼镜。眼镜与普通眼镜有着类似的尺寸和结构,也许稍胖一点点。体积小是该产品的一个重要特征。体积小意味着该产品可以在社交场合里佩戴使用,也许有可能会像智能手机一样地便携易用,随处可用。
便携式投影和计算模块 如图所示,一个与Magic
Leap便携模块大小类似的充电宝。 Magic
Leap最突出的是能把一大部分必须的硬件设备从眼镜本体上拆除,放在另外一个独立的模块中。HoloLens,刚好相反,其显著地削减了头戴设备中各个组件的尺寸,但也只能做到现在的程度。那便携模块里面都有些什么呢?可能有如下部分:
电池
这块电池的容量大约相当于现在的智能手机,也许还得再多点。如果要替代智能手机,那更得是相当牛的一块大电池。估摸着差不多至少得5000毫安时。
CPU/GPU
肯定要用最新一代的移动CPU。估计会用高通的。幸运的是,他们应该用不到高端图形处理,因为混合现实(Mixed
Reality
MR)只需要渲染局部,不需要渲染整个场景。这样就避免了虚拟现实(Virtual
Reality VR)所需的高强度图形处理。 内存 跟智能手机差不多,估计3 – 4 GB。
定制的SLAM芯片 这个是把虚拟物体摆放到真实世界所必需的。他们可能会自己流片,或者采用Movidius或其它类似的芯片。
4G/Wifi/蓝牙 SIM卡 GPS芯片 相机
眼镜上肯定要有一堆相机,但这并不意味着便携模块就可以没有了。头戴设备上的SLAM相机跟普通数码相机是不同的。眼镜的体积有限,可能容不下一个高功耗的相机,只能放进便携模块。这样设计的好处是可以减轻他人对隐私侵犯的担忧,没有便携模块只有眼镜的话,没法拍照。
激光投影仪
这是该设备最主要的创新。把投影系统从眼镜上拿走,挪到便携模块上,使得产品的体积显著缩小。投影的光由便携模块生成,然后通过光纤传导到头戴设备。后面我们会详细分析一下其工作原理。
眼镜
当我们尽可能把所有东西都塞进便携模块之后,眼镜上剩下啥了?眼镜上得安装如下组件:
惯性测量单元 就是常见的加速度传感器、陀螺仪和指南针。 耳机 也许会用ogle
Glass上的那种骨传导耳机。这要看他们的设计思路是不是要与身体相协调。骨传导的优势是你既能听见耳机播放的音乐,同时听到其他的声音。
麦克风 光学部分 相机 光学部分和相机是最有趣的组件,我们详细分析一下。
光学部分 根据专利文献,Magic Leap使用的光学设备比HoloLens和ogle
Glass使用的传统投影系统小很多。如上图所示,光源是与头戴设备的主体分离的,这就是为什么我们可以推测光源在便携模块中。其次,该设备的镜片系统也非常小。示意图所虽然明显不是等比例绘制,但也一定表示相关元件的大致尺寸。我们唯一真正看到的元件是镜片。比较图中上侧的5、6、7、8元件和镜片的宽度,我们不难看出相对大小。
这说明什么?他们怎么能把光学部分缩小这么多,同时还号称能实现光场显示、高分辨率和惊人的视野?答案包括两部分:光纤扫描显示与光子光场芯片。
光纤扫描显示 光纤扫描显示是从未在消费电子产品中使用过的全新的显示系统。我们只能通过其2013年的专利申请文件进行了解。这份专利申请文件有些日子了,所以关于系统性能的一些细节可能已经不准确了,但基本概念应该还是一样的。该系统使用一组致动光纤来扫描输出远大于其数值孔径的图像。这就像老式的显像管电视。只不过不是扫描输出电子到荧幕来激发荧光粉发光,而是直接扫描输出光。扫描是通过压电致动器来实现的。扫描频率保持在大约几十kHz。但实际图像刷新率并没有那么高。因为需要多次扫描(专利里面举例如250次)才生成一整幅图像。这完全改变了我们对于分辨率的概念。这个技术的图像分辨率取决于光纤的扫描频率,光纤可以汇聚的最小光斑尺寸,生成一幅图像所需的扫描次数和刷新帧率。考虑到专利申请之后,他们对于该技术的进一步优化,其分辨率应该远超现有的消费电子产品。
一组光纤扫描单元紧密排列为一束来增加显示的尺寸。每根光纤扫描单元的宽度为1
mm。 除了分辨率和帧率,一个宽广的视场(Field of View,
FOV)同样也是显示逼真的全息图像的关键。关于这一块,专利的背景信息部分有一段很有趣的描述。
头戴显示器(Head Mounted Display,
HMD)的视场可以由微型显示器的图像尺寸和观察光路共同决定。人类的视觉系统的视场,水平大约200°,垂直大约130°。但大多数头戴显示器仅仅提供了40°
左右的视场。…… 大约50 –
60弧秒的弧度分辨率代表着20/20的视力表分辨率(译者注:视力测试标准中正常人眼较高的成绩,参见WIKI)。而弧度分辨率,是由微型显示器的像素密度决定的。为了匹配一般人的视觉系统,头戴显示器应在水平40°、垂直40°
的视场内提供20/20视力表分辨率。以50弧秒计算,相当于八百万像素。如果把视场拓展到水平120°、垂直80°,则需要五千万像素。
这里谈到了两件事。第一,消费级显示器的分辨率远远小于大视场所需。这就是为什么HoloLens想要增大视场的话如此的艰难。第二,这显示出Magic
Leap的野心。他们想提供一个水平120°、垂直80°的视场。这个视场比Oculus Rift
的视场还大,同时分辨率也远超。他们有没有实现呢?现在还很难说,但至少专利里面已经提到了一些技术参数,同时不要忘了这些还是三年前的数据。他们很有可能已经改进提高了这个技术。
像素间距是从一个像素中心到相邻像素中心的距离。它限制了图像的分辨率。传统的微型显示器,例如HoloLens
所用的,其像素间距在4 –
5微米。像素间距限制了这些显示器的分辨率,也因此限制了生成的视场。专利申请文件表明,扫描式光纤显示器能够生成0.6微米的像素间距,提升了一个数量级。
那究竟能达到什么分辨率?专利里有一段提到一个4375 x
2300分辨率,但我觉得还不止。这是在描述基本方法时举的一个例子,后面还讨论了多核光纤对于性能的提升。我认为其分辨率会远远高于该分辨率。这对于宽广的视场是至关重要的。
最后专利提到120° 视场的这句特别值得注意:
以上所述技术可以用来制造具有宽广视野的头戴式或其他近眼显示方式的超高分辨率显示器。
我认为这充分验证了,其视场将至少大于 40°,接近其宣称的 120°
也并不是不可思议的。要我下注的话,我赌 90°。 光子光场芯片 第一次听说Rony
Abovitz
给他的镜片起名叫“光子光场芯片”,我都郁闷了。别总给这些早就有的东西起一些不着调的名字了。就叫它Rony
镜片就好了。但随着我逐渐加深理解,它还真不是一个简单的镜片。它究竟是干什么的,为什么它比其他镜片更有意思?我们先来了解一下衍射光学元件。
一个衍射光学元件的例子 可以把衍射光学元件(Diffractive Optical
Elements,
DOEs)想成是一组非常细的镜片。他们可以用来整形,分光,匀化、扩散。Magic
Leap
使用带有圆形镜片的线性衍射光栅来分光,并生成特定焦距的光束。就是说,它把光导入你的眼中,并让这些光就好像是从一个正确的焦平面发射出来的一样。常言道,说起来容易做起来难,但这个说起来都难。至少我找到的专利文件是这么写的。
为了生成光场,Magic Leap
使用两个分立的元件配置了一个光子芯片。一个元件提取投影光,并将其插入第二个元件,第二个元件将光导入人眼。
这两个元件都是使用DOEs 来完成工作。DOEs
的主要问题在于,他们经过精心调试只能用来进行一个特定工作。他们不能工作于不同的波长,不能实时改变到不同的焦点。为了解决这个问题,Magic
Leap
堆叠了一组针对不同波长和焦平面优化的DOEs,作为一个大镜片组来用。这些
DOEs
都非常的薄,跟光的波长在一个尺度,所以加在一起也不会让设备变得太厚。这就是为什么这个光学系统被称为芯片。Magic
Leap 能够开关 DOEs
的不同层。这样,他们可以改变光到达人眼所使用的路径。这就是他们如何改变图像的焦点,来形成一个真实的光场。就像专利里面说的:
例如,当打开一组 DOEs
里面的第一个的时候,对于一个从正面看进来的观察者,可以产生一个光学观察距离
1米的像。一组里面的第二个 DOE 打开时,可以生成一个光学观察距离
1.25米的像。
你可能觉得这个技术很局限,尤其是当你需要一大堆层来产生各种不同焦点的像的时候,但还真不是那么回事。不同的
DOEs 的组合可以产生不同的输出。并不是一个 DOE 对应一个焦平面,而是一个
DOEs 组合对应一个焦平面。 改变 DOEs
组中的激活层,就会改变从光子光场芯片射出的光。他们很有可能有比图中多得多的层,但具体多少层就天知道了。
最终,我们明白了 Magic Leap
怎么实现其过去宣称的用光来制造暗了。我们分别使用一个外侧的 DOE
和一个内侧的 DOE
就可以像主动降噪耳机一样抵消外界的光。专利里面是这样说的:
这可以用来抵消类似于背景光或真实世界光的平面光波导,在某种程度上类似于主动降噪耳机。
那,为什么这是一个芯片?呃,一个典型的电子芯片基于某种条件改变电子的流向。Magic
Leap 的光子光场芯片基于某些参数改变光子的通路。我觉得也算是一种芯片了。
我们还缺什么?我们有了光子光场芯片,有了高分辨率投影,但如何构造一幅图像。这个是靠组合。图像是分层绘制的,以便让不同的部件投影到不同的焦距的子图像上。就是说,每一帧都是通过多次扫描来构建的,每一个焦平面都是分别绘制的。
相机 Magic Leap
试图在相机上实现三个功能。第一个是最明显的,一个能生成日常图像的相机。这是他们所使用的最容易理解的相机技术,他们也许就是用一个智能手机市场上最新的类似传感器。这个相机是放在眼镜上还是便携模块上,仍不可知,但总要有一个能拍照片的。
其他两个功能很有意思。Magic leap
反复提到其设备具有理解周围世界的能力。在一个采访里面,提到该设备能识别物体,例如刀和叉子。要想做到这个,他们需要一组相机。我们可以看看这方面做的不错的
HoloLens。HoloLens 有一组四个环境感知相机和一个深度相机。从 Magic Leap
的专利文档中我们能得到进一步确认。
原理图上显示的是眼镜左右镜腿上的两个元件。上面是左边镜腿的,下面是右边镜腿的。
由以上原理图,我们可以发现两个向外的相机,叫做“world
camera”。专利的文字描述暗示可能不止两台相机,原文所述为“一个或多个面向外侧或提供世界视角的相机”。暂时,还不知道具体会有多少个相机,也不知道
Magic Leap
会把这些元件做得有多小。但我们知道的是,这些要放在眼镜上,而且对于 SLAM
非常重要。
最后一个相机的功能也可以从上面的原理图中找到。至少要有两个相机拍摄眼睛。这是用来追踪视线和眼动以便获取焦点和视线方向。同时也会有红外
LED
为这两个相机提供照明。眼跟踪对于用户交互很重要。我想“你在看什么”个问题对于你如何与
Magic Leap
交互应该是非常重要的。这将是其主要的交互工具,就像是电脑的鼠标。
当然,现在,我没法验证这些信息是真是假,但这些加总在一起,确实感觉上就像
Magic Leap
正在做的东西。不管最后这个产品会不会在消费市场上获得成功,这确实是好一阵子没有见到的一个技术产业的真正意义上的创新。我真的无比激动想要看看他们会有什么奇遇,同时也期待该产品在业界会造成什么样的影响。

图片 1

图片 2

作者:张晗、蔡苏

作者:张晗、蔡苏

来源:教育新技术

来源:教育新技术

物联网智库 整理发布

物联网智库 整理发布

转载请注明来源和出处

转载请注明来源和出处

——   【导读】   ——

AR与VR如火如荼,但是其中值得称道的黑科技呢?

——   【导读】   ——

AR与VR如火如荼,但是其中值得称道的黑科技呢?

光场介绍

光场介绍

光场(Light
Field)技术被业界认为是未来的完美显示技术。那么,什么是光场呢?光场在哪里呢?

光场(Light
Field)技术被业界认为是未来的完美显示技术。那么,什么是光场呢?光场在哪里呢?

简单地说,人们看自然界真实物体时看到的是光场(当然是在有光情况下啦),而从普通显示屏幕上看到的,物体的像,不是光场。人们会感觉到看真实物体时物体很“真实”,有立体感,有远近感,人们打量一个物体时,还会时不时地晃动脑袋,变换一下观察方向,感受一下这个物体的立体结构。但是当人们从屏幕上看物体的像时,虽然也能感觉到一定的立体感(明暗关系,遮挡关系起作用),和真实物体没法比,人们也不会看屏幕时变换光强方向,即使变化光强方向,看到的画面也不会发生变化。

简单地说,人们看自然界真实物体时看到的是光场(当然是在有光情况下啦),而从普通显示屏幕上看到的,物体的像,不是光场。人们会感觉到看真实物体时物体很“真实”,有立体感,有远近感,人们打量一个物体时,还会时不时地晃动脑袋,变换一下观察方向,感受一下这个物体的立体结构。但是当人们从屏幕上看物体的像时,虽然也能感觉到一定的立体感(明暗关系,遮挡关系起作用),和真实物体没法比,人们也不会看屏幕时变换光强方向,即使变化光强方向,看到的画面也不会发生变化。

那么从屏幕中发射的光线和真实物体发射或反射的光线相比缺少了哪些内容呢?从拍照说起,屏幕的像就是人们给物体拍的照片,缺少了光线的方向信息,在拍摄照片时通过凸透镜将物体发射的光线搜集,汇聚到底片上,底片是平面,会逐点记录光线到达底片的颜色。

那么从屏幕中发射的光线和真实物体发射或反射的光线相比缺少了哪些内容呢?从拍照说起,屏幕的像就是人们给物体拍的照片,缺少了光线的方向信息,在拍摄照片时通过凸透镜将物体发射的光线搜集,汇聚到底片上,底片是平面,会逐点记录光线到达底片的颜色。

如果有两条来自不同方向的光线,它们通过凸透镜后,打到底片上的同一位置,那么底片会把这两条光线记录在同一像素上,记录下这两条光线混合后的颜色,但没有记录下这两条光线的方向。既然拍照的时候没有记录下光线的方向,屏幕显示的时候也不可能还原出光线的方向。(信息论,信息不能凭空创造出)。

如果有两条来自不同方向的光线,它们通过凸透镜后,打到底片上的同一位置,那么底片会把这两条光线记录在同一像素上,记录下这两条光线混合后的颜色,但没有记录下这两条光线的方向。既然拍照的时候没有记录下光线的方向,屏幕显示的时候也不可能还原出光线的方向。(信息论,信息不能凭空创造出)。

屏幕显示图像时,所有的光线都从屏幕(一个平面)发出,通过直线传播到达眼睛,人们要看清屏幕上的物体就要把眼睛聚焦到屏幕上。但真实的物体发出/发射的光线是从物体的各个位置发出的,并非从一个平面上发出,光线携带了物体的立体信息,人们要看清真实物体时,眼睛需要聚焦到物体的真实表面上。即使屏幕做的再复杂,也没有真正的物体给人的感觉真实。

屏幕显示图像时,所有的光线都从屏幕(一个平面)发出,通过直线传播到达眼睛,人们要看清屏幕上的物体就要把眼睛聚焦到屏幕上。但真实的物体发出/发射的光线是从物体的各个位置发出的,并非从一个平面上发出,光线携带了物体的立体信息,人们要看清真实物体时,眼睛需要聚焦到物体的真实表面上。即使屏幕做的再复杂,也没有真正的物体给人的感觉真实。

物体从各个位置发出的光线方向不同距离不同,人有两只眼睛,位置不同,接受的光线方向也不同,位置不同,会产生双目视察,移动视察,聚焦模糊,通过大脑的处理,人们能感受到物体的立体感。但从普通屏幕发出的光线是从一个平面发出的,到达眼睛的距离,方向,基本相同,人的两只眼睛看到的图像基本相同,即使移动一下,改变观察方法,也不会有大的变化,也不用根据物体表面各点的距离调节聚焦(直接聚焦到屏幕上即可)。所以大脑不能处理立体信息,自然没有了立体感。

物体从各个位置发出的光线方向不同距离不同,人有两只眼睛,位置不同,接受的光线方向也不同,位置不同,会产生双目视察,移动视察,聚焦模糊,通过大脑的处理,人们能感受到物体的立体感。但从普通屏幕发出的光线是从一个平面发出的,到达眼睛的距离,方向,基本相同,人的两只眼睛看到的图像基本相同,即使移动一下,改变观察方法,也不会有大的变化,也不用根据物体表面各点的距离调节聚焦(直接聚焦到屏幕上即可)。所以大脑不能处理立体信息,自然没有了立体感。

光场不是一个平面发出的光,是从整个三维立体空间发出的光,如果能记录光线颜色,位置,方向,并且能在显示端还原出来,就是完整的光场技术,如果只能记录出光场信息,则成为光场拍摄技术;如果能显示出光场,就是光场显示技术。

光场不是一个平面发出的光,是从整个三维立体空间发出的光,如果能记录光线颜色,位置,方向,并且能在显示端还原出来,就是完整的光场技术,如果只能记录出光场信息,则成为光场拍摄技术;如果能显示出光场,就是光场显示技术。

光场理论

光场理论

以上是对光场的通俗的解释,光场也有严格的理论,称为5维全光学理论,光线是从三维空间中的任意一点发出的,三维空间任意点可以用(X,Y,Z)三个参数表示,光线是从这个点上发出的一条射线,射线在空间中的方向可以用(θ,φ)两个参数表示,那么表示空间中的光线的公式是L=F(X,Y,Z,θ,φ)成为5维全光函数。

以上是对光场的通俗的解释,光场也有严格的理论,称为5维全光学理论,光线是从三维空间中的任意一点发出的,三维空间任意点可以用(X,Y,Z)三个参数表示,光线是从这个点上发出的一条射线,射线在空间中的方向可以用(θ,φ)两个参数表示,那么表示空间中的光线的公式是L=F(X,Y,Z,θ,φ)成为5维全光函数。

图片 3

图片 4

图 1五维全光学理论示意图

图 1五维全光学理论示意图

光线还有波长(颜色),强度(亮度),偏振等等,有很多维度,我们说的5D是光源的位置和光线的方向。没有记录颜色和亮度等等。普通的照片就是只记录颜色亮度,光源位置的x,y,不记录z和光线方向θ,φ。如果记录光线位置x,y和光线方向θ,φ,颜色和亮度,但不记录光源的距离,就是4D光场相机(比如
Lytro)。

光线还有波长(颜色),强度(亮度),偏振等等,有很多维度,我们说的5D是光源的位置和光线的方向。没有记录颜色和亮度等等。普通的照片就是只记录颜色亮度,光源位置的x,y,不记录z和光线方向θ,φ。如果记录光线位置x,y和光线方向θ,φ,颜色和亮度,但不记录光源的距离,就是4D光场相机(比如
Lytro)。

4D
光场也可以两个平面坐标来表示,L=F(U,V,S,T)其中,U,V和S,T分别是两个互相平行的平面上的点,这是4D光场比较常见的表示方法。

4D
光场也可以两个平面坐标来表示,L=F(U,V,S,T)其中,U,V和S,T分别是两个互相平行的平面上的点,这是4D光场比较常见的表示方法。

图片 5

图片 6

图 2四维全光学理论示意图

图 2四维全光学理论示意图

Lytro光场相机原理

Lytro光场相机原理

Lytro
主要命令是在图像传感器上贴了一张微凸透镜膜,里面是蜂窝状微透镜,数量大概十万,光线从不同方向进入微透镜时,经过折射会映射到微透镜后面不同的像素上,就是说微透镜完成了将光线方向转换成屏幕位置的功能,然后用微透镜后面图像传感器记录下来

Lytro
主要命令是在图像传感器上贴了一张微凸透镜膜,里面是蜂窝状微透镜,数量大概十万,光线从不同方向进入微透镜时,经过折射会映射到微透镜后面不同的像素上,就是说微透镜完成了将光线方向转换成屏幕位置的功能,然后用微透镜后面图像传感器记录下来

图片 7图 3Lytro基本原理示意图

图片 8图 3Lytro基本原理示意图

图片 9图 4微透镜示意图(箭头所指)

图片 10图 4微透镜示意图(箭头所指)

这样 Lytro
就实现了用普通的图像传感器记录光线方向的功能,成了光场相机。有很多精密算法,从平面上把光线的方向还原出来,判断景物距离,实现先拍照后对焦,还有精密的加工工艺。

这样 Lytro
就实现了用普通的图像传感器记录光线方向的功能,成了光场相机。有很多精密算法,从平面上把光线的方向还原出来,判断景物距离,实现先拍照后对焦,还有精密的加工工艺。

图片 11

图片 12

图 5光场相机拍摄的光场图

图 5光场相机拍摄的光场图

【注:通俗来讲,传统的摄影器材通常只有一个景深范围和焦点,一般来说在调整好主要目标的焦距后,背景会出现模糊的现象,而我们只能通过调整精神或缩小光圈的方式来拍摄。而Lytro采用的光场技术,可以将多个物体捕捉到整个的场景中,并且存在多个焦点,然后用户可以在拍照完毕后期通过电脑进行对焦处理,实现先拍摄后对焦,获得更到完美的拍摄效果。

【注:通俗来讲,传统的摄影器材通常只有一个景深范围和焦点,一般来说在调整好主要目标的焦距后,背景会出现模糊的现象,而我们只能通过调整精神或缩小光圈的方式来拍摄。而Lytro采用的光场技术,可以将多个物体捕捉到整个的场景中,并且存在多个焦点,然后用户可以在拍照完毕后期通过电脑进行对焦处理,实现先拍摄后对焦,获得更到完美的拍摄效果。

如果还不明白,我们可以将其比喻成对乐器和弦的录音。传统相机就是每次只能录下特定的旋律,而光场相机则是一次性将20个和弦都录下,然后再通过软件将不同的旋律根据需求提取出来】

如果还不明白,我们可以将其比喻成对乐器和弦的录音。传统相机就是每次只能录下特定的旋律,而光场相机则是一次性将20个和弦都录下,然后再通过软件将不同的旋律根据需求提取出来】

理论上 Lytro
相机可以对焦到无穷远,镜头景深做得很大,让拍摄到的每个像素基本都是清晰的,然后通过解算每个像素到相机的距离将对焦距离外的像素人为模糊掉,实现全景深范围内的后对焦。并不是全部景深都可以先拍照后对焦的,有一个范围。

理论上 Lytro
相机可以对焦到无穷远,镜头景深做得很大,让拍摄到的每个像素基本都是清晰的,然后通过解算每个像素到相机的距离将对焦距离外的像素人为模糊掉,实现全景深范围内的后对焦。并不是全部景深都可以先拍照后对焦的,有一个范围。

图片 13图 6对焦示意图

图片 14图 6对焦示意图

这张图上中间颜色的部分就是可以后对焦的部分。如果这个范围大,那么对焦的步长就大,不精细。否则就精细些。由于
Lytro
记录数据量有限,不能连续选择聚焦距离,图中一个颜色就是一个步长,如果微透镜尺寸大,或者每个微透镜后面的图像传感器包含的像素多,步长就小,照片的分辨率就会低,相当于
Lytro 将更多地资源记录光线的方向。

这张图上中间颜色的部分就是可以后对焦的部分。如果这个范围大,那么对焦的步长就大,不精细。否则就精细些。由于
Lytro
记录数据量有限,不能连续选择聚焦距离,图中一个颜色就是一个步长,如果微透镜尺寸大,或者每个微透镜后面的图像传感器包含的像素多,步长就小,照片的分辨率就会低,相当于
Lytro 将更多地资源记录光线的方向。

图片 15图 7光场相机拍摄出的图片

图片 16图 7光场相机拍摄出的图片

这张图就是先拍照和对焦的效果。用 Lytro
光场相机拍下一张照片,然后可以输出左边的效果,也可以输出右边的效果。因为图像传感器的分辨率是有限的,而
Lytro
记录颜色方向都是在同一个传感器上,资源平衡问题出现了,如果更多地像素分配给颜色,尺寸会大,那么方向分辨率就低,聚焦的步长会大。

这张图就是先拍照和对焦的效果。用 Lytro
光场相机拍下一张照片,然后可以输出左边的效果,也可以输出右边的效果。因为图像传感器的分辨率是有限的,而
Lytro
记录颜色方向都是在同一个传感器上,资源平衡问题出现了,如果更多地像素分配给颜色,尺寸会大,那么方向分辨率就低,聚焦的步长会大。

【注:关于步长,个人理解是两次对焦成像距离的变动长度】

【注:关于步长,个人理解是两次对焦成像距离的变动长度】

图片 17

图片 18

图 8 微透镜阵列(放大版)

图 8 微透镜阵列(放大版)

这是一个微透镜阵列,其实这个透镜很大,不算微透镜了,示意一下吧。Lytro
实现了光场记录,只用于后对焦并没有将光场显示出来,这属于光场拍摄技术产品。

这是一个微透镜阵列,其实这个透镜很大,不算微透镜了,示意一下吧。Lytro
实现了光场记录,只用于后对焦并没有将光场显示出来,这属于光场拍摄技术产品。

如果能将光场显示出来,就不需要佩戴眼镜,裸眼就能观察到立体感图像,也不用跟踪眼球,实现多人裸眼立体显示,如果实现4d光场显示就能呈现双目视差,移动视差。5D
光场显示就能呈现聚焦模糊。使用 Lytro
逆过程,光路可逆,我们能用Lytro图像传感器变成发光屏幕,将尺寸放大到显示器大小,微透镜也放大,张贴在屏幕上,屏幕上光线必须经过微透镜折射才能进入人的眼睛。

如果能将光场显示出来,就不需要佩戴眼镜,裸眼就能观察到立体感图像,也不用跟踪眼球,实现多人裸眼立体显示,如果实现4d光场显示就能呈现双目视差,移动视差。5D
光场显示就能呈现聚焦模糊。使用 Lytro
逆过程,光路可逆,我们能用Lytro图像传感器变成发光屏幕,将尺寸放大到显示器大小,微透镜也放大,张贴在屏幕上,屏幕上光线必须经过微透镜折射才能进入人的眼睛。

微透镜入射和出射的光线方向是一致的,还原了拍摄光线的方向,还原了光场。实际有很多包括加工精度等问题。这种技术立体感很强,左右晃动脑袋时还可以看到不同的侧面,北航xR实验室对于4d光场重现装置已经试验成功。

微透镜入射和出射的光线方向是一致的,还原了拍摄光线的方向,还原了光场。实际有很多包括加工精度等问题。这种技术立体感很强,左右晃动脑袋时还可以看到不同的侧面,北航xR实验室对于4d光场重现装置已经试验成功。

Magic Leap原理分析

Magic Leap原理分析

Magic
leap也是光场显示技术,宣传视频上是用户不需要戴眼镜,但是从技术分析上来看,还是需要的。

Magic
leap也是光场显示技术,宣传视频上是用户不需要戴眼镜,但是从技术分析上来看,还是需要的。

图片 19

图片 20

图 9 4D光场重现的装置示意图

图 9 4D光场重现的装置示意图

图片 21图 10MagicLeap眼镜的示意图

图片 22图 10MagicLeap眼镜的示意图

Magic Leap
轻便,图像在小盒子里产生,通过光纤传输到眼镜。普通的是像素点发光来显示图像,Magic
Leap 使用的是光纤投影仪来显示图像的。

Magic Leap
轻便,图像在小盒子里产生,通过光纤传输到眼镜。普通的是像素点发光来显示图像,Magic
Leap 使用的是光纤投影仪来显示图像的。

图片 23图 11光纤投影仪的示意图

图片 24图 11光纤投影仪的示意图

光纤的顶端会发出光线,光线并不是静止的,是通过压电装置驱动发生有规律的抖动,实现扫描功能,就像原来的电视机图像都是电子束扫描出来的,这里是通过光纤振动扫描出来。

光纤的顶端会发出光线,光线并不是静止的,是通过压电装置驱动发生有规律的抖动,实现扫描功能,就像原来的电视机图像都是电子束扫描出来的,这里是通过光纤振动扫描出来。

图片 25图 12光纤扫描成像的示意图

图片 26图 12光纤扫描成像的示意图

Magic Leap
使用的光纤扫描仪很小,一个只能扫描出直径大概一毫米的图像,一个眼镜需要很多个扫描仪排成阵列,合成尺寸足够大的图像。

Magic Leap
使用的光纤扫描仪很小,一个只能扫描出直径大概一毫米的图像,一个眼镜需要很多个扫描仪排成阵列,合成尺寸足够大的图像。

图片 27

图片 28

图 13光纤投影仪阵列的示意图

图 13光纤投影仪阵列的示意图

使用原因是:Magic leap
想给人们展示大幅面的水平视角120度,垂直视角80度,没有纱窗效应的光场图像,这样需要极高的图像分辨率

使用原因是:Magic leap
想给人们展示大幅面的水平视角120度,垂直视角80度,没有纱窗效应的光场图像,这样需要极高的图像分辨率

【注:所谓的纱窗效应,即在像素不足的情况下,实时渲染引发的细线条舞动、高对比度边缘出现分离式闪烁】

【注:所谓的纱窗效应,即在像素不足的情况下,实时渲染引发的细线条舞动、高对比度边缘出现分离式闪烁】

图片 29图 14纱窗效应显示图

图片 30图 14纱窗效应显示图

人眼的角分辨率为一分来计算,,如果没有纱窗效应,水平视角120度,垂直视角80度的图像,
需要 7200*4800 约等于4兆的像素。

人眼的角分辨率为一分来计算,,如果没有纱窗效应,水平视角120度,垂直视角80度的图像,
需要 7200*4800 约等于4兆的像素。

【注:角分辨率的1’在这里就是指1/360度,目前公认的数据是人眼在中等亮度情况下可分辨的最小分辨角为1.5’。目前科学界公认的数据表明,观看物体时,人能清晰看清视场区域对应的分辨率为2169
X 1213。 再算上上下左右比较模糊的区域,人眼分辨率是6000 X 4000。
那么,2169 X 1213是怎么计算出来的呢?

【注:角分辨率的1’在这里就是指1/360度,目前公认的数据是人眼在中等亮度情况下可分辨的最小分辨角为1.5’。目前科学界公认的数据表明,观看物体时,人能清晰看清视场区域对应的分辨率为2169
X 1213。 再算上上下左右比较模糊的区域,人眼分辨率是6000 X 4000。
那么,2169 X 1213是怎么计算出来的呢?

人观看物体时,能清晰看清视场区域对应的双眼大约是35°(横向)X
20°(纵向)。 同时人眼在中等亮度,中等对比度的为0.2mm,对应的为0.688m。
其中d与L满足tg(θ/2)=d/2L,θ一般取值为1.5’,是一个很小的角。
将视场近似地模拟为地面为长方形的正锥体,其中锥体的高为h = L =
0.688m,θ1=35°(水平视角), θ2=20°(垂直视角)。以0.0002m为一个点,可以得知底面长方形为2169
X 1213的分辨率。

人观看物体时,能清晰看清视场区域对应的双眼大约是35°(横向)X
20°(纵向)。 同时人眼在中等亮度,中等对比度的为0.2mm,对应的为0.688m。
其中d与L满足tg(θ/2)=d/2L,θ一般取值为1.5’,是一个很小的角。
将视场近似地模拟为地面为长方形的正锥体,其中锥体的高为h = L =
0.688m,θ1=35°(水平视角), θ2=20°(垂直视角)。以0.0002m为一个点,可以得知底面长方形为2169
X 1213的分辨率。

兆像素:一个兆像素(megapixel)是一百万个像素,通常用于表达数码相机的解析度。例如,一个相机可以使用2048×1536像素的解析度,通常被称为有“3.1百万像素”
(2048 × 1536 = 3,145,728)。

兆像素:一个兆像素(megapixel)是一百万个像素,通常用于表达数码相机的解析度。例如,一个相机可以使用2048×1536像素的解析度,通常被称为有“3.1百万像素”
(2048 × 1536 = 3,145,728)。

而且这么高的分辨率在小面积屏幕实现,一般的屏幕是不可以的,Magic Leap
光纤投影仪,投影仪需要 7mm*5mm,就可以放在眼镜的一侧。但是光线在侧面,我们需要将光线从侧面引到前面,才能将画面呈现到前面。他们用一种特殊的光学元件:光子光场芯片,能够把特定波长的光线从侧面变化到前面,并投到眼睛,在视网膜上成像,通过电控制实现不同的图像焦平面,模拟光线是从不同的距离发射过来的。

而且这么高的分辨率在小面积屏幕实现,一般的屏幕是不可以的,Magic Leap
光纤投影仪,投影仪需要 7mm*5mm,就可以放在眼镜的一侧。但是光线在侧面,我们需要将光线从侧面引到前面,才能将画面呈现到前面。他们用一种特殊的光学元件:光子光场芯片,能够把特定波长的光线从侧面变化到前面,并投到眼睛,在视网膜上成像,通过电控制实现不同的图像焦平面,模拟光线是从不同的距离发射过来的。

【注:焦平面:过第一焦点(前焦点或物方焦点)且垂直于系统主光轴的平面称第一焦平面,又称前焦面或物方焦面】

【注:焦平面:过第一焦点(前焦点或物方焦点)且垂直于系统主光轴的平面称第一焦平面,又称前焦面或物方焦面】

图片 31

图片 32

图 15焦平面

图 15焦平面

图片 33
16光子光场芯片,也即是magicleap的眼镜片

图片 34
16光子光场芯片,也即是magicleap的眼镜片

这时Magic
Leap就实现了在光场中显示z参数,能模拟光源到眼睛的距离,如果Magicleap能重现光的方向,就能进行5d光差显示,如同看真实物体一样。

这时Magic
Leap就实现了在光场中显示z参数,能模拟光源到眼睛的距离,如果Magicleap能重现光的方向,就能进行5d光差显示,如同看真实物体一样。

【编者注:其实前文中已经叙述了,忘了的可以看看介个~图
1五维全光学理论示意图光线是从三维空间中的任意一点发出的,三维空间任意点可以用(X,Y,Z)三个参数表示,光线是从这个点上发出的一条射线,射线在空间中的方向可以用(θ,φ)两个参数表示,那么表示空间中的光线的公式是L=F(X,Y,Z,θ,φ)成为5维全光函数】

【编者注:其实前文中已经叙述了,忘了的可以看看介个~图
1五维全光学理论示意图光线是从三维空间中的任意一点发出的,三维空间任意点可以用(X,Y,Z)三个参数表示,光线是从这个点上发出的一条射线,射线在空间中的方向可以用(θ,φ)两个参数表示,那么表示空间中的光线的公式是L=F(X,Y,Z,θ,φ)成为5维全光函数】

图片 35图 17光子光场芯片的示意图

图片 36图 17光子光场芯片的示意图

Magic Leap
也是通过眼镜将现实和虚拟混合,但他们认为这不是普通的AR产品,他们认为普通的AR产品是二维的没有深度的图像和现实场景混合,他们能将三维的与真实场景能够互相遮挡的虚拟物体和现实场景混合即MR

Magic Leap
也是通过眼镜将现实和虚拟混合,但他们认为这不是普通的AR产品,他们认为普通的AR产品是二维的没有深度的图像和现实场景混合,他们能将三维的与真实场景能够互相遮挡的虚拟物体和现实场景混合即MR

图片 37图 18VR,AR,MR之间的异同点

图片 38图 18VR,AR,MR之间的异同点

VR是虚拟场景和虚拟物体,AR是现实场景和虚拟物体,但是只是像贴在屏幕上一样,没有发生遮挡关系,MR非常真实,现实场景和虚拟物体,与AR不同的是其有层次关系,现实场景可以挡住虚拟物体的一部分,就像真实场景一样。要实现MR中显示物品和自然场景有遮挡关系,Magic
Leap
必须能正确理解场景三维结构,对运算性要求高,目前对于slam算法实施性有待提高,Magic
Leap 是否采用slam算法理解自然场景还不能确定。

VR是虚拟场景和虚拟物体,AR是现实场景和虚拟物体,但是只是像贴在屏幕上一样,没有发生遮挡关系,MR非常真实,现实场景和虚拟物体,与AR不同的是其有层次关系,现实场景可以挡住虚拟物体的一部分,就像真实场景一样。要实现MR中显示物品和自然场景有遮挡关系,Magic
Leap
必须能正确理解场景三维结构,对运算性要求高,目前对于slam算法实施性有待提高,Magic
Leap 是否采用slam算法理解自然场景还不能确定。

【注Slam:Simultaneous localization and
mapping(即时定位与地图构建)一般应用于机器人领域,指的是机器人在自身位置不确定的条件下,在完全未知的环境中创建地图,同时利用地图进行自主定位和导航。浅析链接:就是ppt做的有点丑••

【注Slam:Simultaneous localization and
mapping(即时定位与地图构建)一般应用于机器人领域,指的是机器人在自身位置不确定的条件下,在完全未知的环境中创建地图,同时利用地图进行自主定位和导航。浅析链接:就是ppt做的有点丑••

Magic Leap
是需要实时获取用户眼球信息的,要记住用户的注视方向和聚焦点,计算聚焦点和眼睛的距离,如果要将虚拟物体正确的投射到眼睛的聚焦点处,就要通过光子光场芯片正确的模拟光场的距离。为了理解三维空间的结构和获取人眼球的信息,需要很多摄像头,对外需要拍摄外景,对内需要拍摄眼球,因此至少需要5-6个摄像头。

Magic Leap
是需要实时获取用户眼球信息的,要记住用户的注视方向和聚焦点,计算聚焦点和眼睛的距离,如果要将虚拟物体正确的投射到眼睛的聚焦点处,就要通过光子光场芯片正确的模拟光场的距离。为了理解三维空间的结构和获取人眼球的信息,需要很多摄像头,对外需要拍摄外景,对内需要拍摄眼球,因此至少需要5-6个摄像头。

图片 39

图片 40

往期热文(点击文章标题即可直接阅读):

往期热文(点击文章标题即可直接阅读):

  • 日本
    “迷你晶圆厂”技术若成熟,台积电的好日子将会到头

  • 《三大股神豪赌物联网:巴菲特、李嘉诚、孙正义的深谋远虑》

  • 《专访邬贺铨院士:四个好消息说明物联网的发展步入了正轨》

  • 《中国第1份低功耗广域网络LPWAN市场报告重磅发布:下一个物联网机会在哪里?[文字版]》

  • 《一幅漫画告诉你:NB-IoT背后,还有一个大家都在说的LoRa是什么?》

  • 一幅漫画告诉你:除了WiFi,蓝牙,最近火爆的NB-IoT能干嘛?

  • 《麦肯锡重磅报告:企业如何挖掘“工业4.0”的价值?(收藏版)

  • 日本
    “迷你晶圆厂”技术若成熟,台积电的好日子将会到头

  • 《三大股神豪赌物联网:巴菲特、李嘉诚、孙正义的深谋远虑》

  • 《专访邬贺铨院士:四个好消息说明物联网的发展步入了正轨》

  • 《中国第1份低功耗广域网络LPWAN市场报告重磅发布:下一个物联网机会在哪里?[文字版]》

  • 《一幅漫画告诉你:NB-IoT背后,还有一个大家都在说的LoRa是什么?》

  • 一幅漫画告诉你:除了WiFi,蓝牙,最近火爆的NB-IoT能干嘛?

  • 《麦肯锡重磅报告:企业如何挖掘“工业4.0”的价值?(收藏版)

图片 41

图片 42

Hi,我是iot101君!

Hi,我是iot101君!

关于物联网,

关于物联网,

我的每一句话都不是扯的;

我的每一句话都不是扯的;

如果遇到物联网有关的问题,

如果遇到物联网有关的问题,

别打110,

别打110,

来iot101君这里看看就行!

来iot101君这里看看就行!

阅读原文:

阅读原文:

相关文章