人类生活和社会经济的每一次重大升级总离不开新的科技概念,例如过去移动互联网的出现,如今人工智能的复燃,以及可以预见的元宇宙到来。而这些新概念往往需要能够落地的产品作为载体,才能真正作用于人类文明的历史长河,让科技的迭代带动社会生产力的飞跃。
集微网消息,人类生活和社会经济的每一次重大升级总离不开新的科技概念,例如过去移动互联网的出现,如今人工智能的复燃,以及可以预见的元宇宙到来。而这些新概念往往需要能够落地的产品作为载体,才能真正作用于人类文明的历史长河,让科技的迭代带动社会生产力的飞跃。
iPhone为代表的智能手机解锁了移动互联网,时下爆火的ChatGPT则为人工智能提供了无限遐想。但对于元宇宙而言,其迄今为止却似乎还停留在晦涩难懂的概念阶段,遑论成熟的载体产品。
而在芯原股份董事长戴伟民看来,AR眼镜或许有望如同iPhone解锁移动互联网一般,真正撬开元宇宙的大门,从而成为消费电子行业下一款现象级产品。因为这样一款足以替代 手机+无线蓝牙耳机 组合的单一智能产品,其在击碎虚拟与现实之次元壁的同时,能无缝衔接切入人们的生活,并从手机和蓝牙耳机这两个存量市场外创造出同体量级的增量市场。
除了AR,实际上诞生更早的VR也曾被列为元宇宙落地的载体产品之一,另外还有AR与VR相结合的XR等。未来元宇宙将通过何种产品全面落地尚不得而知,但就目前的趋势来看,答案无外乎出自AR、VR与XR这三种设备之内,而这三款设备的功能实现则又需要从芯片层面展开讨论。
为抵达元宇宙,聚焦AR、VR和XR三大技术,究竟需要哪些芯片作为支撑呢?5月12日,芯原股份主办的第十三届松山湖中国IC创新高峰论坛对该问题给出了一部分答案。10家本土公司在该论坛上集中发布了10款代表了中国IC先进设计水平,与元宇宙相关硬件设备需求密切结合的国产芯片,共同勾勒出了多条能见度较高的技术路线。
芯原股份内部人士直言: 经过对每个赛道的深度调研和对头部企业的遴选,本次论坛上亮相的10家企业都是各自领域的佼佼者,包括计算、感知、显示、通信以及存储五大领域。
算力优
元宇宙的落地离不开庞大的图像算力支撑,这需要用到领先的处理器芯片提供计算底座。而关于AR、VR以及XR眼镜未来主流的处理器方案探讨,业界目前有高度集成化的单芯片和主处理器+协处理器两种形式。
在松山湖高峰论坛的圆桌环节上,多位嘉宾都表示主控芯片+协处理器的形式将是未来很长时间里的主流方案,因为AR、VR以及XR眼镜这些新的消费级电子产品对摄像头、显示屏幕连接,以及人机新交互方式上对算法和算力提出了更高要求,值得为主控芯片搭配专用的协处理器芯片。而这种形式也对国产芯片将更加友好,因为在主控芯片很难与海外大厂匹敌的前期,国内芯片公司可以通过协处理器突围来打入供应链,深度参与整个元宇宙的落地过程。
本次松山湖高峰论坛也有两家厂商带来了自己的处理器芯片产品,分别是成都视海芯图微电子有限公司的多模态智能芯片SH1580和每刻深思智能科技(北京)有限责任公司的低功耗感算一体智能芯片MKS2206。
第一颗:视海芯图多模态智能芯片SH1580
视海芯图董事长许达文表示,目前许多AI模型的很多AI模型的主干网络正从CNN转变为Transformer,后者可以解决终端芯片访存密集型、不规则访存,以及NPU利用率低的难题。因此,视海芯图推出了一款可以兼顾CNN与Transformer加速的SoC SH1580芯片。
据许达文介绍,SH1580芯片采用12nm工艺打造,具备自研NPU、高性能主核、高性能图像处理的特点。通过集成Transformer加速架构,视海芯图独创的PTPU(多态张量处理器)架构,通过可重构数据流设计,使得SH1580能够兼顾CNN与Transformer加速。
SH1580芯片具备2TOPS@INT8有效算力,在图像处理方面,能够支持AI-HDR、3D-ToF图像处理等。其采用专用加速以及独立的电源管理架构,空闲模式功耗仅为46mW,超长待机模式下功耗更是低至6mW。
许达文指出,SH1580有两种应用场景,不仅能作为协处理器,通过DP接口与高通SoC连接。还可以支持单路输入的单芯片轻量级方案。
第二颗:每刻深思低功耗感算一体智能芯片MKS2206
每刻深思总经理邹天琦认为,在语音和视觉等信号处理上,传统信号处理路径是从模拟信号到数模转换,再到数字处理,该路径下模数转换存在计算效率低、功耗大等弊端。
以每刻深思为代表的模拟计算,则能够通过在模拟领域进行特征提取和存内模拟计算,将部分数字信号处理任务进行预处理前置,提高系统效能,并在精简待处理信息的同时降低功耗。
每刻深思的低功耗感算一体智能芯片MKS2206基于自主创新设计,以其低功耗、高精度、高性能和高稳定性的特性,成功应对各种复杂的识别任务,能够被广泛应用于AR、VR、MR以及智能座舱等复杂人机感知和交互场景。
据邹天琦介绍,MKS2206集成了每刻深思多核自研NPU,支持包括图像、语音等多种感知模态。该款芯片解决了众多技术难点,在画面抖动、低视频分辨率、低照度及多目标类别等情况下,可提供稳定的检测和跟踪方案。在面向XR设备的手势识别应用场景中,能够实时区分左右手并完成手势坐标点的定位,定位误差小于10mm,实时处理帧率大于60fps。该芯片可实现小于50ms延迟的连续无卡顿交互。
感知准
就元宇宙目前的概念而言,其是由一系列的增强现实(AR),虚拟现实(VR)、互联网和物联网所组成的虚拟世界。而现实世界与元宇宙的连接点就需要传感器来实现。这需要更优秀的传感器提供感知能力,采集相关数据,为应用领域赋能。
与多元信息处理的难度相当,信息的精准感知同样对AR、VR和XR眼镜提出了更高要求。因此,为真正获得元宇宙的沉浸感体验,高精度、高性能的传感器至关重要。
松山湖高峰论坛上,锐思智芯、中科融合感知智能研究院(苏州工业园区)、南京芯视界、武汉聚芯微电子以及深圳纽瑞芯带来了5款业界领先的感知类芯片,助力AR、VR和XR眼镜等产品的传感、成像和定位功能优化。
第三颗:锐思智芯融合式超低功耗视觉传感器ALPIX-Titlis
传统图像传感器面临着动态模糊、冗余数据量大、功耗高、算力消耗大、高动态范围窄(过暗与过曝)等问题。基于事件的视觉传感器(EVS)正逐渐兴起,这种模仿人类眼睛的感光机制而建立的传感器技术,以异步方式检测亮度变化,并结合坐标及时间信息,只输出有变化的像素数据,通过高时间分辨率,仅捕获运动物体的轨迹信息,实现高效率、高速低延迟数据输出。
锐思智芯董事、合伙人况山介绍称,锐思智芯新型融合视觉传感器ALPIX-Titlis,基于公司独创的Hybrid Vision融合视觉技术,融合了基于事件的视觉传感器(EVS)和传统CIS的优势,同步捕捉变化的事件信号和静态图像信号。先捕捉动态的事件信号,实现更低延迟、更低功耗和数据量的优势,再叠加传统图像信号数据,帮助补充在帧率、数据量、动态范围等方面的图像数据的不足,打破传统视觉传感器的瓶颈和制约,提供动静态信息捕捉融合。
在具体的XR应用中,ALPIX-Titlis可以应用中包括高速相机、眼动追踪、人机交互、SLAM、HDR采集等多种应用中。其不仅能保持对场景连续感知的同时,降低系统功耗。还能在像素端过滤80%冗余信息,节省系统成本,增加事件流数据,提高算法精度与效率,适配现有图像系统。
第四颗:中科融合感知智能研究院高精度MEMS微振镜芯片
在中科融合联合创始人刘欣看来,3D视觉将是机器视觉的重点发展方向之一,根据Gartner最新发布的新兴技术曲线报告,3D传感技术正在进入成熟期,3D视觉将进入市场爆发的初级阶段。
未来,3D扫描成像技术被认为将会广泛用来作为XR/元宇宙,数智孪生、虚拟人等应用的数据获取的入口。刘欣指出,3D扫描成像能够对物体、人物等进行高精度的扫描建模,获得的点云被进行智能处理,并且被虚拟化。
相较目前主流的三维成像技术,条纹结构光可以达到最高水平的成像精度和分辨率。中科融合自研的MEMS激光微振镜投射芯片则是实现条纹结构光的条纹投影的核心部件。
据刘欣介绍,作为精密光学指向性控制芯片,中科融合的MEMS芯片拥有的技术优势包括以下三点:
体积小,低功耗。基于电磁驱动的MEMS芯片设计(MEMS芯片功耗
光路简单。FoV可调范围大:无需复杂透镜组,FoV可调范围为0到~100 ;
抗干扰强。光机使用边发射激光作为光源,频带宽度窄(考虑温漂以后~10nm),相比起LED光源,可使用带宽更窄的滤光片,提升对环境光的抗干扰性。
中科融合基于自研MEMS微振镜投射芯片的激光投射模组,采用高精密驱动控制实现低温漂和高角度重复精度,支持可见光、红外波段等激光光源,能够提供高精度、高对比度、抗干扰能力强的激光投射模组。
刘欣指出,中科融合已量产的高精度MEMS激光投射模组具有高精度、低功耗、高可靠性、小体积等优势。与其他知名友商的激光投射模组产品相比,拥有现有最大的FoV( 55 x50 ),同时还拥有和机械振镜相当的精度,明显优于同样使用MEMS技术的友商产品。同时,公司的MEMS微振镜芯片正在被应用于自研的Laser Beam Scanning(LBS)模组中,用于XR显示等应用。相比其他技术路线(LCOS,u-LED),LSB技术具有成本低、可小型化、光路结构更简洁等优势,因此被认为是XR领域成像的最优方案。
第五颗:芯视界3D dToF芯片 VI63xx Liszt
成立于2016年的南京芯视界致力于成为光学芯片的领导者,目前该公司单区与多区dToF产品已经在手机、扫地机器人市场完成数千万级的交付。
芯视界在松山湖论坛上发布的3D dToF芯片 VI63xx Liszt是一款单光子图像传感器,集成了1.2K像素(40行 x 30列)的SPAD 探测器阵列以及3D Global Shutter成像电路。
据芯视界产品总监张良介绍,基于芯视界的单光子探测技术和直接光飞行时间(dToF)技术,VI63xx可以输出精度为毫米级的3D点云数据及深度图。这款SoC为ARVRXR 等穿戴设备的3D成像提供了高效能、低功耗、低成本、高集成、超易用的解决方案。
第六颗:聚芯微电子3D dToF图像传感器芯片SIF7010
松山湖亮相的另一款3D dToF芯片来自武汉聚芯微电子,该公司推出的SIF7010是一款基于聚芯微全自主知识产权的3D dToF图像传感器芯片。其采用了业界领先的3D堆栈式工艺,实现了性能与功耗的平衡。
聚芯微电子创始人孔繁晓指出,AR、VR、XR的各种应用场景中,对于ToF技术的典型需求主要分为两个方向,一是更精细、更高速的基于肢体或手势的识别率场景,这种场景下希望有更高的分辨率,更精细的识别精度和帧率;二是针对混合现实场景,智能眼镜需要对整个空间进行扫描和建模。
孔繁晓介绍称,SIF7010集成了高PDP的SPAD成像阵列,高性能TDC以及低功耗DSP,其拥有的1200的成像点可以广泛适用于多区对焦、SLAM、手势操作等应用。
SIF7010提供了比现有ToF技术更高的分辨率,可以实现更精确的深度感知和更高质量的3D重建。孔繁晓强调,SIF7010恰到好处的分辨率能够助力影像效果提升,这种低成本、低功耗的Apple-Like AR/VR方案将带来更多的价值优势。
作为元宇宙的潜在载体产品,AR设备等产品最先落地的应用场景将决定传感器芯片的具体类型和各项参数要求。在松山湖会议的圆桌论坛投票环节,关于AR设备未来3-5年可能会率先落地的应用场景,现场有24.11%参会人员认为会在娱乐应用中落地,其次是实时翻译(19.64%),导航(17.86%)以及社交媒体通知(11.61%)。
第七颗:纽瑞芯UWB通信定位系统芯片NRT81880
除了图形感知,精准的位置感知也是元宇宙时代各类终端产品需要具备的能力。UWB被认为将是AR、VR以及XR眼镜上的主流定位芯片之一。
纽瑞芯在松山湖论坛发布的NRT81880是一款高性能UWB SoC芯片,符合IEEE 802.15.4 / 4z协议标准以及FiRa联盟规范。
据纽瑞芯销售副总裁张海昆介绍,NRT81880集成了一个带有高性能ARM CortexTM-M4F处理器的MCU,支持UWB 3D PDoA和AoA算法,以及UWB雷达功能。此芯片支持UWB安全高速通信。芯片采用 1T3R 架构,有利于高精度和实时测距以及 AoA 检测。它可以广泛用于智能手机、消费电子和工业应用。
张海昆表示,纽瑞芯的产品能在不加外部射频器件的基础上达到100米以上的测距距离,这大幅刷新了单芯片UWB测距的范围限制。
除了定位、测距以外,测角精度是一个新的重点需求,欧美主流芯片测角精度大多在3 -10 ,这对应用场景也存在较大限制。张海昆表示,纽瑞芯在芯片上做了很多提升,已经可以实现1 的精度水平,领先国际竞品。
显示明
通过感知采集以及计算处理后的数据,将被转化为图像、文字或视频在AR、VR以及XR设备屏幕上显示。在移动互联网时代,人们对于显示越来越高的要求将会在元宇宙时代延续下去。因此,AR、VR和XR眼镜如何提升显示水平一直是业界讨论的重点。
在松山湖论坛上,在关于AR眼镜未来主流显示方案的讨论中,现场有
90%的参会人员认为将会是Micro-LED+光波导的形式。深圳纳得光学有限公司创始人兼CEO彭华军也在元桌上表示,Micro-LED+光波导将会是强强结合,同时满足AR眼镜显示对于亮度与清晰度的高要求。
为进一步助力显示质量,Micro-LED驱动芯片也需要同步跟进。松山湖上的第七颗国产芯片便是来自于思坦科技的一款Micro-LED显示驱动芯片。
第八颗:思坦科技Micro-LED显示驱动芯片SMD013G1W002
在AR设备的BOM成本中,显示模组占比最高,达到了30%。而在显示模组中,驱动芯片则是至关重要的一环。
思坦科技是一家致力于高性能Micro-LED芯片与显示模组的研发与生产的公司,该公司在深圳龙华区建成国内第一条Micro-LED专用中试线,启动Micro-LED芯片及显示模组的产品验证及小批量试产。目前,该公司已成长为国家高新企业、大湾区知识产权优势企业,累计申请本领域相关自主知识产权近500项,授权200余项。
关于此次推出的Micro-LED显示驱动芯片SMD013G1W002,思坦科技董事长刘召军指出,这款高度集成的硅基CMOS驱动芯片在0.13 inch的Micro-LED显示屏中首次实现了业内产品中最高的10000 PPI,能够充分满足当前AR、VR以及XR市场对超小体积、超高解析度及超低功耗的显示屏需求。
传输快
随着元宇宙脚步的临近,形形色色的AR、VR、XR眼镜一款接一款的出现,这些设备对于数据速率要求也达到了10Gbps级别。为了提高这些设备的应用场景,高速率、低延时、抗干扰的 无线化 传输数据是亟待解决的技术难题。
作为中国引领的技术标准,45G毫米波WiFi技术被认为在大带宽、高速率、低延时近距离场景具有先天优势,是XR等设备无线传输的很好解决方案。
南京迈矽科微电子科技有限公司便在松山湖论坛上带来了一款高集成度、低成本的45G毫米波WiFi 射频收发器,助力元宇宙时代的数据高效传输。
第九颗:迈矽科微电子45G毫米波WiFi芯片MSTR202
结合在毫米波芯片领域的优势,迈矽科推出的高集成度、低成本45G毫米波WiFi 射频收发器,配合高速率的WiFi基带芯片,能够用于短距高速WIFI、投屏器、AR/VR/XR、回传等场景,推动国产化方案的快速落地。
据迈矽科董事长兼总经理候德彬介绍,MSTR202是一款高集成度、低成本的45G毫米波WiFi芯片。此芯片作为业界第一款支持802.11.aj标准的产品,集成了锁相环、双通道毫米波收发机,同时具有芯片级联功能。配合高速WiFi多通道基带芯片,可以支持超过10Gbps以上的传输速率,能满足XR等设备的场景应用。
候德彬指出,MSTR202等45GHz WiFi芯片可以适配现有60GHz的802.11ad基带,替代现有国内60G市场。还可以与WiFi 6/6E/7的基带芯片适配,呈现高低频融合的AP方案。
侯德彬强调: 低成本硅基工艺的45GHz集成芯片也逐渐成熟,通过适配不同数字芯片方案,将会很快得到广泛应用。结合未来的802.11aj标准基带芯片,在传输速率上能达到超过10Gbps,更好支持AR/VR的无线高速传输。
存低耗
随着AR、VR以及XR眼镜产品的逐渐成熟,这些终端设备的开机快速启动、蓝牙和Wi-Fi连接等功能要求也提升了对于NOR Flash的存储需求。
第十颗:普冉半导体Flash存储器芯片P25Q32SN
2018年,普冉半导体曾在松山湖论坛推出了第一代超低功耗PU系列,该系列目前已累计销售1.8亿颗。本次松山湖论坛上,普冉带来的升级版P25Q32SN则是业界首家1.1V6.5uJ/Mbit新一代领先工艺、超低电压超低功耗、面向AIOT的高性能Flash存储器芯片。
据普冉设计中心高级总监冯国友介绍,P25Q32SN能够支持1.1V电源系统,为业界最低,具备宽电压范围1.05V~2.00V,可涵盖1.1V、1.2V和1.8V AIOT系统。
在业界创新工艺和领先制程的40nm SONOS工艺加持下,P25Q32SN拥有目前行业最低功耗,1.1V 80M STR 4IO 读取功耗约2.86mW,80M DTR 4IO读取功率约为4.2mW,低于业界同类产品功耗的一半。
另外,在快速读取方面,P25Q32SN也拥有416Mbps (STR 4IO)、640Mbps (DTR 4IO) 的亮眼表现。
冯国友指出,该系列16Mb-64M已顺利出货,后续还将开发全容量系列,同时支持SOP8、USON8、WSON8、TSSOP8、WLCSP 等多种封装形式以及 KGD for SiP。
P25Q32SN可基于极低功耗,为音频、图像等多模态SoC智能主控芯片提供必要性存储辅助,助力元宇宙的国产生态链完善, 冯国友如是说。
总结
在戴伟民看来,AR、VR以及XR眼镜不仅可能是元宇宙时代的iPhone,也可能会是AIGC和ChatGPT很好的落地场景之一。
在可预见的未来,无论是AR、VR、XR眼镜,还是苹果即将发布的MR眼镜,这些能够同时替代手机和耳机的消费级电子产品终将会有一种产品形态大规模普及,而在这波大规模普及到来之前,中国作为全球最大的消费级电子产品市场,不能仍像以往一般,仅参与设备组装或终端产品定义,而应该深度下沉到产品的供应链基层,例如芯片、软件等。
本次松山湖亮相的10款国产芯片正在从多个维度为元宇宙落地铺路,也反映出近几年国内芯片行业的发展已经有所成就,本土芯片公司并没有停留在红海市场执着于 国产替代 ,而是已经敢于在下一个新兴市场中,利用技术优势去开展卡位战。