基于手势的解决方案研发
发布时间：2021-05-14 19:34:49 所属栏目：交互 来源：互联网
导读：开发基于手势的解决方案的第一步是确定系统必须识别和解释哪些手势类型。例如，用户是只用手交流，还是全身运动？对于视觉系统来说，手指的运动会比整个身体更容易捕捉到吗？整个身体可能会被衣服或其他随身携带的物品部分遮住？ 手势复杂度也是重要的设计参
|
开发基于手势的解决方案的第一步是确定系统必须识别和解释哪些手势类型。例如，用户是只用手交流，还是全身运动？对于视觉系统来说，手指的运动会比整个身体更容易捕捉到吗？整个身体可能会被衣服或其他随身携带的物品部分遮住？ 手势复杂度也是重要的设计参数。例如，开门可能只需要一个手势，但调整环境控制或改变生产线可能需要一系列复杂的手势。 最后，移动速度和环境条件也会起到重要作用，例如，当照明水平较低或太亮时。了解所有这些因素有助于确定所需摄像机传感器的数量和类型、视野、焦距以及检测和解释手势所需的分辨率。 此外，还建议提供一个备用接口，如语音控制或物理触摸屏，以防用户无法使用手势方法。对于工业环境中的安全关键功能，应用软件可能需要进行功能安全评估和认证，如针对工业系统的IEC61508。 把概念变成现实 了解手势，环境和摄像头类型后，我们必须获取或建立手势识别机器学习模型。图1的左侧显示了将手势示例转换为推理引擎所需的步骤，该引擎实际上是识别手势的算法。TensorFlow，ONNX和Pytorch是用于此目的的一些常用工具。 只有现在我们才能确定合适的硬件和软件。手势识别系统通常建立在工业级嵌入式平台上，从连接到通用计算核心的单个智能摄像头，到为多核处理器提供高度优化视觉和机器学习加速器的多个摄像头传感器。图1显示了手势识别系统的两种选择，推荐用于更简单系统的i.MXRT微控制器平台，以及用于更复杂或更快响应手势和视觉系统的NXPi.MX8MPlus应用处理器。 立体视觉摄像头可以使用MIPI-CSI、USB或以太网连接以及音频输入，识别语音和声音发生器，以提供音频用户反馈。显示面板还可以向用户提供直观的指示和反馈，并且可以在非接触式控制发生故障或将不使用的情况下包含备用触摸屏。 最快的方法是利用现有的嵌入式平台和工具箱。例如，ToradexApalisi.MX8EmbeddedVisionStarterKit是一种工业级单板解决方案，基于NXPi.MX8应用程序处理器，结合AlliedVisionsensor，它利用AmazonWebServices（AWS）开发工具完成对象识别任务。该工具集可以收集手势示例，并将其传输到AWS工具中，以训练手势识别模型。然后，可以将生成的推理引擎加载回同一个工具包中，以识别手势并通知机器如何响应。  （编辑：文章分享网_茂名站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
