多摄像头 3D 环视系统已经在许多乘用车使用。对这类系统的需求，在特种车辆上也开始增长，例如建筑机械、收割机、公交车或者军用车辆。相比于个人汽车，这些车辆的产量较少，并且对光学系统有较高的定制化需求。
3D Surround View System

在该博文中，我们将介绍一种基于 NXP®  i.MX 6 SoC 的 Toradex Apalis iMX6 计算机模块 可定制化嵌入式 3D 环视一站式解决方案，对于对应车辆特殊的需求可以快速地集成。

NXP - Apalis iMX6 System on Module

请观看来自德国纽伦堡的 Embedded World 2017 上的视频，这里演示了该解决方案：


我们同样会说明如何理解 3D环视、逐步评估该解决方案以及最后如何形成满足您特定需求的产品。

TES 3D 环视拼接库 – 该系统方案的核心

TES Electronic Solutions 提供针对嵌入式系统、CPU/GPU 独立、高度可定制化的 3D 环视软件库。详细信息可以在参考 TES 3D Surround View 网页。

Vehicle 3D View - Maneuver Situation

该软件从内存中获取原始的雨眼图片，以动态的方式计算出车辆的 3D 环视信息。

TES 3D 环视 特点：
通过增强的场景感知能力提高安全性和舒适性：
  • 卓越的合成和 3D 场景生成技术
  • 从车辆内部和外部任意位置观看机动场景
  • 任意数量的预设观看点，支持自持不同观看点之间的动态转换
  • 每个观看点支持多种配置参数
  • 高度可定制化和便携性
  • 兼容各种摄像头类型（软件只需要读取内存中的原始鱼眼图像）
3D 环视一站式解决方案

下面我们将介绍基于 Toradex Apalis iMX6Q IT 计算机模块的完整软硬件系统方案，可以便捷地定制硬件来满足特定的用户需求。

系统设置
3D Surround View Turn-Key Solution
系统包含下面的组件：
处理器：
  • Toradex Apalis iMX6 IT 计算机模块，安装散热器
  • Toradex Ixora 载板
摄像头系统：
  • First Sensor Mobility Area View Kit – DC–AVK 包括
    • 4x 1MPixel MJPEG Ethernet Cameras (PoE), DC3K-1-EAP
    • 4x 5m 以太网线 (每个摄像头最长 25m)
    • Micrel Gigabit Ethernet (PoE) Switch
    • 桌面应用的 Metal Plate ，以及 4 个车辆应用的真空杯
软件：
  • 在 Apalis iMX6 上采用 Linux 的 TES 3D 环视软件
资源用途：
  • 3D 环视算法主要利用 GPU。CPU 仅用于系统控制和观察点变换
  • 配置：4个 MJPEG IP 摄像头，采用 80Mbit 速率 @30 fps 和 1百万像素分辨率。低面车辆建模，1280x1024 屏幕分辨率，60Hz刷新率。
  • GPU：3-6 GFlops（取决于屏幕上描述像素点的数量）
  • RAM 使用：总共 60MB
    • 4* 10 MB 摄像头数据缓存
    • 2 MB 3D 环境和车辆模型
    • 18 MB 摄像头视频文字
该一站式解决方案可以快速地用于评估和原型目的。当然，每个组件可以根据应用的需求更换或者使用，例如：
  • 可以更换其他种类的摄像头。
  • 专门的特定应用底板可以参考 Ixora 载板设计。
  • 3D 环视软件的用户界面和 HMI 可以轻松地调整。
  • 便捷地更换车辆 3D 模型
Toradex 和 TES 可以提供必要的技术支持
认识和了解 3D 环视
环视不仅仅只是在嵌入式平台上运行一个算法。针对特定的使用案例，该系统的多个方面需要考虑和更改，例如：
  • 选择合适的摄像头，包括镜头、分辨率、数据传输（线缆长度！）、功耗、摄像头数量等。
  • 摄像头位置（通常越高越好）。
  • 定义合适的观看点，即 3D 场景中的虚拟位置和观察者的观看矢量。
  • 3D 环视参数优化，例如环境模型（投影面的形状和大小）、合成方法和参数。
  • 3D 环视系统的用户界面。
  • 车辆 3D 模型，可能需要透明。

拿挖掘机和个人汽车相比：在挖掘机上你需要比较长的线缆连接摄像头，摄像头通常安装在比较高的位置。延时并不是一个很大的顾虑，因为行驶速度缓慢。或许你只需要3个摄像，或者非对称地安装摄像头，司机可以清楚地看到车辆左前部分的区域，但是无法观察右前方。

所以试用下 3D 环视系统，了解该应用是一个不错的主意。为了这个目的，或者只是想要试用 TES 软件，有一个免费的离线 PC 演示。TES 按客户要求提供 zip 压缩包演示应用，用户无需安装（解压即可）。任何现在的 Windows 电脑都能够运行这个软件。软件带有预编码好的 MJPEG 以太网数据流 PCAP 格式文件，使用 TES 3D 环视软件运行这些数据流。电脑键盘和鼠标可以用于改变观察点：预定义的观察点位于数字键盘，可以通过鼠标和 Shift 键实现自动巡视。同样，3D 环视系统的参数例如碗状面大小和形状以及拼接参数都可以调整。欢迎联系 TES 获取该软件。

在实验室和车辆上的第一步

现在您已经使用过该软件（希望能够或多或少满足你的需求），你或许想要在真实的环境中尝试，无论在实验室或者直接在车辆上。

最快的方法是获取“First Sensor Mobility Area View Kit – DC–AVK”（在上面“系统设置”中查看详细内容）以及 TES 3D 环视 Windows PC 在线模式（评估）版本软件。该套件可以搭建实验室设备以及使用 Windows 笔记本的车载设备。我们已经测试过 20m 的线缆长度（摄像头到交换机）。TES 也能够帮助你购买该设备。

在嵌入式硬件上…

完成在实验室和目标平台车辆上的测试后，现在需要再次集中注意。你想要看你的设备在潜在的硬件平台上的表现。这个时候，你或许想使用你的 Apalis iMX6 计算机模块和 Ioxra 载板（如果你没有的话可以从 Toradex 购买），以及针对目标平台的 TES 3D 环视软件（原型版本）。抛开电脑，使用 Apalis/Ixora 平台。针对这个目标平台的 TES 原型软件和电脑上的评估版本具有相同的功能，你现在可以在该平台上重用早前在电脑上的配置。

形成产品

针对产品，您必须根据你的特定的应用需求定制系统。你使用 Apalis iMX6 模块作为核心部分，但是参考 Ioxra 重新设计载板，在接口、供电和结构方面满足特定的应用需求。

在这个阶段或者之前的时候，你或许想要更换其他种类的摄像头。

同样，TES 可以在硬件、系统定制、开发和制造（如果需要的话）方面帮助你。

总结

我们介绍了嵌入式 3D 环视一站式解决方案和以零成本了解该套系统的方法。采用这个方法，你的产品开发风险可以被有效地减少，因为你能够逐步评估该系统，与此同时决定你应用的特定需求。最后，我们也阐述了基于该一站式解决方案的形成产品的步骤。那就开始吧！

Author:  Thomas Hase, TES Electronic Solutions GmbH