多摄像头 3D 环视系统已经在许多乘用车使用。对这类系统的需求,在特种车辆上也开始增长,例如建筑机械、收割机、公交车或者军用车辆。相比于个人汽车,这些车辆的产量较少,并且对光学系统有较高的定制化需求。
3D Surround View System

在该博文中,我们将介绍一种基于 NXP®  i.MX 6 SoC 的 Toradex Apalis iMX6 计算机模块 可定制化嵌入式 3D 环视一站式解决方案,对于对应车辆特殊的需求可以快速地集成。

NXP - Apalis iMX6 System on Module

请观看来自德国纽伦堡的 Embedded World 2017 上的视频,这里演示了该解决方案:


我们同样会说明如何理解 3D环视、逐步评估该解决方案以及最后如何形成满足您特定需求的产品。

TES 3D 环视拼接库 – 该系统方案的核心

TES Electronic Solutions 提供针对嵌入式系统、CPU/GPU 独立、高度可定制化的 3D 环视软件库。详细信息可以在参考 TES 3D Surround View 网页。

Vehicle 3D View - Maneuver Situation

该软件从内存中获取原始的雨眼图片,以动态的方式计算出车辆的 3D 环视信息。

TES 3D 环视 特点:
通过增强的场景感知能力提高安全性和舒适性:
  • 卓越的合成和 3D 场景生成技术
  • 从车辆内部和外部任意位置观看机动场景
  • 任意数量的预设观看点,支持自持不同观看点之间的动态转换
  • 每个观看点支持多种配置参数
  • 高度可定制化和便携性
  • 兼容各种摄像头类型(软件只需要读取内存中的原始鱼眼图像)
3D 环视一站式解决方案

下面我们将介绍基于 Toradex Apalis iMX6Q IT 计算机模块的完整软硬件系统方案,可以便捷地定制硬件来满足特定的用户需求。

系统设置
3D Surround View Turn-Key Solution
系统包含下面的组件:
处理器:
  • Toradex Apalis iMX6 IT 计算机模块,安装散热器
  • Toradex Ixora 载板
摄像头系统:
  • First Sensor Mobility Area View Kit – DC–AVK 包括
    • 4x 1MPixel MJPEG Ethernet Cameras (PoE), DC3K-1-EAP
    • 4x 5m 以太网线 (每个摄像头最长 25m)
    • Micrel Gigabit Ethernet (PoE) Switch
    • 桌面应用的 Metal Plate ,以及 4 个车辆应用的真空杯
软件:
  • 在 Apalis iMX6 上采用 Linux 的 TES 3D 环视软件
资源用途:
  • 3D 环视算法主要利用 GPU。CPU 仅用于系统控制和观察点变换
  • 配置:4个 MJPEG IP 摄像头,采用 80Mbit 速率 @30 fps 和 1百万像素分辨率。低面车辆建模,1280x1024 屏幕分辨率,60Hz刷新率。
  • GPU:3-6 GFlops(取决于屏幕上描述像素点的数量)
  • RAM 使用:总共 60MB
    • 4* 10 MB 摄像头数据缓存
    • 2 MB 3D 环境和车辆模型
    • 18 MB 摄像头视频文字
该一站式解决方案可以快速地用于评估和原型目的。当然,每个组件可以根据应用的需求更换或者使用,例如:
  • 可以更换其他种类的摄像头。
  • 专门的特定应用底板可以参考 Ixora 载板设计。
  • 3D 环视软件的用户界面和 HMI 可以轻松地调整。
  • 便捷地更换车辆 3D 模型
Toradex 和 TES 可以提供必要的技术支持
认识和了解 3D 环视
环视不仅仅只是在嵌入式平台上运行一个算法。针对特定的使用案例,该系统的多个方面需要考虑和更改,例如:
  • 选择合适的摄像头,包括镜头、分辨率、数据传输(线缆长度!)、功耗、摄像头数量等。
  • 摄像头位置(通常越高越好)。
  • 定义合适的观看点,即 3D 场景中的虚拟位置和观察者的观看矢量。
  • 3D 环视参数优化,例如环境模型(投影面的形状和大小)、合成方法和参数。
  • 3D 环视系统的用户界面。
  • 车辆 3D 模型,可能需要透明。

拿挖掘机和个人汽车相比:在挖掘机上你需要比较长的线缆连接摄像头,摄像头通常安装在比较高的位置。延时并不是一个很大的顾虑,因为行驶速度缓慢。或许你只需要3个摄像,或者非对称地安装摄像头,司机可以清楚地看到车辆左前部分的区域,但是无法观察右前方。

所以试用下 3D 环视系统,了解该应用是一个不错的主意。为了这个目的,或者只是想要试用 TES 软件,有一个免费的离线 PC 演示。TES 按客户要求提供 zip 压缩包演示应用,用户无需安装(解压即可)。任何现在的 Windows 电脑都能够运行这个软件。软件带有预编码好的 MJPEG 以太网数据流 PCAP 格式文件,使用 TES 3D 环视软件运行这些数据流。电脑键盘和鼠标可以用于改变观察点:预定义的观察点位于数字键盘,可以通过鼠标和 Shift 键实现自动巡视。同样,3D 环视系统的参数例如碗状面大小和形状以及拼接参数都可以调整。欢迎联系 TES 获取该软件。

在实验室和车辆上的第一步

现在您已经使用过该软件(希望能够或多或少满足你的需求),你或许想要在真实的环境中尝试,无论在实验室或者直接在车辆上。

最快的方法是获取“First Sensor Mobility Area View Kit – DC–AVK”(在上面“系统设置”中查看详细内容)以及 TES 3D 环视 Windows PC 在线模式(评估)版本软件。该套件可以搭建实验室设备以及使用 Windows 笔记本的车载设备。我们已经测试过 20m 的线缆长度(摄像头到交换机)。TES 也能够帮助你购买该设备。

在嵌入式硬件上…

完成在实验室和目标平台车辆上的测试后,现在需要再次集中注意。你想要看你的设备在潜在的硬件平台上的表现。这个时候,你或许想使用你的 Apalis iMX6 计算机模块和 Ioxra 载板(如果你没有的话可以从 Toradex 购买),以及针对目标平台的 TES 3D 环视软件(原型版本)。抛开电脑,使用 Apalis/Ixora 平台。针对这个目标平台的 TES 原型软件和电脑上的评估版本具有相同的功能,你现在可以在该平台上重用早前在电脑上的配置。

形成产品

针对产品,您必须根据你的特定的应用需求定制系统。你使用 Apalis iMX6 模块作为核心部分,但是参考 Ioxra 重新设计载板,在接口、供电和结构方面满足特定的应用需求。

在这个阶段或者之前的时候,你或许想要更换其他种类的摄像头。

同样,TES 可以在硬件、系统定制、开发和制造(如果需要的话)方面帮助你。

总结

我们介绍了嵌入式 3D 环视一站式解决方案和以零成本了解该套系统的方法。采用这个方法,你的产品开发风险可以被有效地减少,因为你能够逐步评估该系统,与此同时决定你应用的特定需求。最后,我们也阐述了基于该一站式解决方案的形成产品的步骤。那就开始吧!

Author Thomas Hase, TES Electronic Solutions GmbH