為滿足工廠自動化計算機視覺應用的發(fā)展需求，意法半導體（ST）憑借其深厚的技術積累和敏銳的市場洞察力，開發(fā)了一套基于STM32N6和STM32MP257的手勢識別與控制系統(tǒng)。該系統(tǒng)由三大部分構成：手勢識別與數據采集的感知部分、數據轉換與處理任務的PLC部分以及實現運動控制與手勢跟隨的靈巧手部分。

感知部分：手勢識別與數據采集

感知部分的核心是攝像頭，它像一個不知疲倦的觀察者，實時捕捉手部視頻。而負責處理這些視頻的是STM32N6微控制器，它集成了意法半導體強大的Neural-ART加速器神經處理單元（NPU），在視覺數據處理方面表現出色，確保手勢識別的高效與精準。

手勢識別技術采用了Google提供的MediaPipe Hand Landmarker技術。這一技術依賴于深度卷積神經網絡（CNN）訓練出的兩個模型：掌部檢測模型和手部關鍵點檢測模型。掌部檢測模型首先在圖像中準確定位手部區(qū)域，并裁剪出手掌圖像；隨后，手部關鍵點檢測模型在裁剪后的圖像上提取出21個關鍵點的xyz坐標（z軸代表相對深度信息）。STM32N6憑借出色的計算能力，能夠實現每秒超過30幀的高識別速率，真正實現實時處理。通過ST的X-CUBE-AI軟件擴展包及完整的AI生態(tài)系統(tǒng)，該模型可以輕松部署到STM32N6平臺，無需復雜優(yōu)化即可高效運行。最終，STM32N6通過485總線將21個關鍵點坐標數據發(fā)送給PLC，為后續(xù)控制提供精確輸入。

數據轉換與處理：關節(jié)角度計算與控制

數據處理的關鍵環(huán)節(jié)由基于STM32MP257的PLC承擔。STM32MP257是一款專為工業(yè)自動化設計的高性能工業(yè)級MPU，采用雙核Cortex-A35處理器和單核Cortex-M33組成的異構架構，具備強大的計算和實時處理能力。豐富的通信接口、圖形加速、AI加速以及多種安全功能，使其在工業(yè)自動化、機器人控制和智能邊緣計算等領域大顯身手。

這款PLC的一大亮點是集成了CODESYS軟件平臺，開發(fā)者可以通過它輕松創(chuàng)建、調試和部署控制程序，極大縮短開發(fā)周期。在本系統(tǒng)中，PLC借助CODESYS平臺完成多項關鍵任務：

關節(jié)角度計算：根據視覺系統(tǒng)傳來的21個關鍵點坐標，精確計算每個手指三個關節(jié)的角度數據，并將其轉化為機械手電機目標位置的映射關系；

數據處理與轉換：對關節(jié)角度數據進行坐標轉換、目標位置設定等處理，生成最終的控制幀；

實時通信與控制：通過標準CAN協議，將計算出的目標位置實時發(fā)送給機械手電機驅動系統(tǒng)，確保運動精確執(zhí)行。

此外，STM32MP257支持EtherCAT、Modbus TCP/RTU、Ethernet等常用通信協議和邏輯控制功能，能靈活適應不同工業(yè)環(huán)境，連接和控制各種設備，保障系統(tǒng)在多樣化場景中穩(wěn)定運行。其異構架構也為用戶提供了更多升級空間。

意法半導體還提供了基于STM32MP135的PLC方案，雖然主頻和網口數量稍遜一籌，但性價比較高，適合預算有限的應用場景。

靈巧手部分：運動控制與手勢跟隨

本系統(tǒng)選用睿研RY-H1靈巧手進行演示，這款機械手就像一位訓練有素的“模仿大師”。它擁有15個自由度和20個運動關節(jié)，內置15個高速精密空心杯電機，創(chuàng)新的直線驅動設計讓它高度仿生，動作協調自然，擬人度極高。RY-H1機械手搭載獨家專利的力位混合智能控制算法，由STM32G431 MCU實現高精度、高速控制，能模擬人手完成猜拳、握筆、握雞蛋、摘草莓、遞名片等復雜動作。

RY-H1機械手通過接收PLC傳來的目標位置數據進行插補控制，與手勢識別系統(tǒng)完美協同，精準跟隨手勢運動。無需觸覺傳感器就能自適應各種物體形態(tài)，抓取精準度令人贊嘆。

應用前景廣泛

這套基于STM32N6和STM32MP257的手勢識別與控制系統(tǒng)不僅提升了機器人的視覺能力和工作效率，還推動了自動化技術的進步。無論是在工業(yè)制造、物流配送還是醫(yī)療護理領域，這些先進的傳感器都能幫助機器人更好地完成任務。例如，在工業(yè)環(huán)境中，該系統(tǒng)可以用于自動引導車（AGV）的導航系統(tǒng)，提高生產效率；在醫(yī)療領域，它可以用于手術輔助機器人，提供高精度的視覺支持。

注：中芯巨能代理銷售意法半導體旗下全系列IC電子元器件，如需STM32N6和STM32MP257產品規(guī)格書、樣片測試、采購、BOM配單等需求，請加客服微信：13310830171。