基于 CNN+BiLSTM 与光流的手语识别系统设计

一、研究背景：打破无声世界的沟通壁垒

听障群体在日常生活中面临着巨大的沟通门槛。虽然手语是一种结构严谨、表现力丰富的独立语言系统，但绝大多数健全人并不具备手语阅读能力。

手语识别（Sign Language Recognition, SLR）的技术难点在于：

1. **多模态融合性**：手语不仅包含手掌形状（Handshape），还高度依赖手部运动轨迹（Trajectory）与身体相对朝向；

2. **时空强相关性**：同一个手部姿势在向前推与向后拉时代表完全相反的语义，纯空间卷积模型无法捕获时间维度的上下文依赖。

二、算法架构设计：空域、时域与运动光流的三维融合

我们构建了多流协同网络架构：

1. **空间静态特征流 (Spatial Stream)**：采用轻量化 MobileNetV3 骨干网络，对每一帧手部 ROI（感兴趣区域）提取 128 维手势形状特征；

2. **运动光流特征流 (Motion Optical Flow Stream)**：利用 Gunnar Farneback 密集光流算法，计算相邻帧之间的水平与垂直位移场 $(\Delta u, \Delta v)$，抑制背景静止杂乱干扰，凸显手掌挥动加速度；

3. **双向时序循环层 (BiLSTM Stream)**：将各帧融合特征输入 2 层 BiLSTM 网络，前后向同时捕捉动作起始与终末上下文，最后通过 Softmax 分类器输出对应手语词汇。

三、密集光流提取核心实现

import cv2
import numpy as np

def extract_dense_optical_flow(prev_gray, curr_gray):
    """
    计算两帧之间的 Farneback 密集光流并转换为归一化极坐标特征
    """
    flow = cv2.calcOpticalFlowFarneback(
        prev_gray, curr_gray, None, 
        pyr_scale=0.5, levels=3, winsize=15, 
        iterations=3, poly_n=5, poly_sigma=1.2, flags=0
    )
    # 计算光流大小与角度
    magnitude, angle = cv2.cartToPolar(flow[..., 0], flow[..., 1])
    # 归一化到 [0, 1]
    mag_norm = cv2.normalize(magnitude, None, 0, 1, cv2.NORM_MINMAX)
    ang_norm = angle * 180 / np.pi / 360.0
    
    flow_features = np.stack([mag_norm, ang_norm], axis=-1)
    return flow_features

四、实验成效与反思

在包含 50 组日常常用手语词汇（如“你好”、“谢谢”、“需要帮助”、“医生”等）的自采数据集上，该系统达到了 **94.8%** 的综合识别准确率，平均单词识别延迟低于 45ms，能够在消费级 CPU 笔记本上实现实时流畅推断。

这一早期项目不仅让我深入掌握了时序神经网络与传统光流算法的互补性，更深刻体会到了技术服务于人类关怀的温度。