视海芯图Transformer加速SoC助力AR/VR设备性能升级

5月12日，第十三届松山湖中国IC创新高峰论坛在广东东莞松山湖凯酒店举行，本届活动继续由中国半导体行业协会IC设计分会（ICCAD）、芯原微电子、松山湖管委会主办，东莞松山湖集成电路设计服务中心，东莞市生技置业有限公司承办。电子发烧友网受邀参与活动并作现场报道。

成都视海芯图微电子有限公司创始人许达文认为，很多AI模型的主干网络正从CNN转变为Transformer，Transformer可以解决终端芯片访存密集型、不规则访存，以及NPU利用率低的难题。

视海芯图推出了Transformer加速SoC——SH1580芯片，采用12nm工艺，具备自研NPU、高性能主核、高性能图像处理的特点。SH1580芯片具备2TOPS@INT8有效算力，在图像处理方面，支持AI-HDR、3D-ToF图像处理等。

许达文介绍，SH1580芯片的核心技术为PTPU架构，具备定制电路支持Transformer存储结构和访存优化的特点，另外视海芯图还设计了可重构数据流，同时高效支持CNN和Transformer。

在AR/VR的应用中，为了能够让数字世界跟物理世界实现深层次的融合，需要把数字信息映射到物理世界中。这就需要场景识别功能，还需要支持混合性输入，包括图像输入、语音输入。“特别是图像输入这块，往往要输入、接收2D、3D图像。这么复杂的一些场景和算法的话，它就需要一个配套的算法来支撑。”许达文表示。而基于Transformer为架构的模型能够结束一部分问题。

在AR/VR设备中，SH1580芯片在SLAM中可以做特征点匹配LoFTR、地点识别SVT-Net，另外在AR/VR设备的应用中还能实现语义分割 SegFormer以及三维重建 Point-Bert。传统CNN算法很难做稀疏纹理匹配，但是Transformer可以做到准确的无纹理特征识别。

值得一提的是，AR/VR设备对于需要有低功耗有着一定的需求。SH1580芯片基于12nm工艺。采用电源与芯片架构，idle功耗为46mW，超低功耗模式可以做到6mW。该产品在AR眼镜上已有应用案例。