手指运动姿势监测和识别是指跟踪人类手势, 感知其变化并转换为有意义命令的过程。 手指运动姿势监测和识别技术在远程医疗、 智能可穿戴以及人机交互等领域具有广泛的应用前景, 其研究和发展在逐渐影响和改变人们的生活方式^{[1, 2]}。 通常来说, 手指运动姿势识别方法有非接触式^{[3, 4, 5]}和接触式^{[6, 7, 8, 9]}两种。 非接触式识别主要是借助相机进行视觉监测, 其优点是设备容易获取, 但也存在易受周围光环境的影响, 涉及隐私等问题^{[3, 4, 5]}。 接触式识别通常是把电子传感器^{[10, 11, 12]}改装成可穿戴手套的样式, 对手指进行三维运动监测。 传感设备是接触式手势识别的重要组成部分^[1], 然而由于手指关节较多且运动方式复杂, 其对手势进行自然流畅识别仍然存在诸多挑战^{[1, 2]}。

光纤传感技术作为一种新型的传感监测手段, 有别于传统的电阻和电容型传感方法^{[13, 14, 15, 16]}。 光纤传感是以光波为载体、 光纤为介质去感知外界被测信号, 具有更好的抗电磁干扰性、 更小的尺寸, 更低的成本, 更容易多点串联以及可重复性好等优点。 光纤布拉格光栅(FBG)是一种光纤纤芯折射率沿轴向周期性调制的光纤传感器件, 当环境温度或应变等参量发生变化时, FBG反射谱中心波长亦相应变化^{[17, 18, 19, 20, 21, 22]}, 利用FBG的这种特性可对外界温度或应变等物理参量进行直接有效监测^{[23, 24, 25]}。 2011年, Mendes等^[23]研究人员首次提出了FBG传感手套的方法, 用于手部姿势监测的研究。 该系统使用了14个FBG传感器, 需确保每个FBG都能够精确对准相应指骨关节, 增加了传感器布设的复杂性。 2020年, Jha等^[24]设计了串联10个FBG传感器的手套, 可同步监测十个手指的运动幅度, 其监测数据相较于惯性测量单元(IMU)的平均绝对误差仅为0.80° , 其测量角度标准差为1.01° 。 2021年, Li等把单模FBG集成在手指防护带上, 对机械手指的弯曲程度进行监测, 得到其手指关节弯曲的测量灵敏度为(5.6± 0.5) pm· (° )^-1, 且通过数据分析得到均方根误差(RMSE)为5.949 pm^[22]; 2022年, Lin等串联多个单模FBG制作了一种可穿戴式传感手套, 实现了手指弯曲姿态的识别, 其测量误差为0.07~0.31 nm^[14]。 由此可见, 利用FBG传感技术可以对人体手指运动状态进行监测, 但现有方法均是基于单模FBG传感器, 其对微应力变化不敏感, 通常需要外加复杂或者尺寸较大的增敏结构^[16]。 此外, 将传感设备做成可穿戴手套的样式, 虽然可以在不同的应用场景下监测手指运动姿势, 但受限于这类传感设备的尺寸和重量, 会对手指的正常运动产生影响, 难以在自然舒适的运动状态下实现准确且流畅的手指运动姿势识别^{[10, 11, 12, 13, 14]}。

鉴于此, 利用248 nm准分子激光器以相位掩模法在双包层光纤上刻写不同周期的FBG, 通过在受测者前臂的不同位置布设6个不同周期双包层FBG传感器, 设计并搭建了一套基于双包层FBG传感器阵列的手指运动姿势识别系统, 可对由不同手指运动引起的前臂不同肌肉的微小形变进行实时精准监测; 在学习6种已知静态手势引起的双包层FBG传感器中心波长漂移的基础上, 进一步实现了对未知的简单手势(单个手指参与)和复杂手势(2个以上手指参与)的准确识别。 本文提出的双包层FBG传感器的应变灵敏度比普通单模FBG更高, 且将传感器布置在前臂上, 不会对手指的正常自然运动造成影响, 极大地减小了识别系统的复杂度, 可满足手势识别的精度要求, 有望为手势识别提供可靠的理论与实验依据。

手指运动姿势监测系统如图1(a)所示, 主要由解调仪、 FBG传感器和上位机构成。 解调仪中的扫频光源发出光波进入光环形器, 通过光环行器光波从解调仪输出端口发出, 到达布设于人体前臂处的FBG, FBG反射特定波长光进入解调仪的光环形器, 光电转换模块与主控板会对反射光进行信号处理, wifi模块会把解调出的数据发送到上位机。 当受测者手指运动时, 利用解调仪解调FBG获得的前臂不同位置肌肉应变信息, 实现对不同手势的识别。 实验中所用单模和双包层FBG是利用248nm准分子激光器以相位掩模法刻写, 刻写过程中用光谱分析仪(OSA, Yokogawa AQ6370D)监测FBG的光谱信息。 当光信号通过光纤传播时, FBG将反射与布拉格中心波长(λ _B)匹配的光信号。 FBG中心波长被定义为

λB=2neffΛ(1)

式(1)中, n_eff是FBG纤芯的有效折射率, Λ 是布拉格光栅周期。 FBG传感器周围环境发生的任意温度(T)、 压力(P)或应力(ε )变化都将引起FBG的n_eff和Λ 的改变, 进而转化为FBG的反射波长λ _B的变化, 这种现象被称为FBG布拉格中心波长偏移(Δ λ _B)^{[19, 20, 21, 22, 23]}

ΔλBλB=(1-Pe)×ε+((1-Pe)×αΛ+αn)×ΔT(2)

式(2)中, α _Λ , α _n和P_e分别为光纤的热膨胀系数、 热光系数和有效光弹性系数。 在恒温环境中, FBG传感器固定在测试人员前臂的皮肤上, 当受测者的手指移动时, 会带动相应肌肉主动收缩或者拉长, 引起前臂肌肉产生不同程度的形变, FBG会感知到应力(ε )的变化而导致布拉格中心波长偏移(Δ λ _B), 根据不同的波长偏移来识别不同手势。 双包层FBG如图1(b)所示, 相较于普通单模光纤其拥有更小的有效光弹性系数, 这意味着双包层FBG在相同微应变水平下将表现出更大的波长偏移。 实验中用医用胶带将双包层FBG粘贴于受测者前臂特定位置的表面皮肤上。 手指的弯曲运动与前臂的肌肉群密切相关^{[16, 19, 22]}, 具体关系如表1所示。 据此在前臂上选取了六块控制手指伸展和弯曲的肌肉作为FBG布设点, 如图1(c)所示。 6个栅区长度为6 mm的双包层FBG传感器的粘贴方向沿着肌肉的法线方向对齐, 此布局可以最大程度的感知前臂肌肉由于手指运动产生的微小形变, 同时也可以减少相邻肌肉的耦合对FBG监测结果的影响。 考虑到温度变化和脉搏跳动的影响, 在另一前臂的相同位置上也布设了6个FBG传感器, 进行交叉对照和误差补偿, 以此来提高监测数据的准确性和可靠性。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 人体姿势及运动状态监测系统示意图 (a): 手指运动监测系统; (b): 双包层光纤FBG; (c): 光纤光栅传感器的布置Fig.1 Schematic diagram of monitoring system for body posture and movement state (a): Finger movement monitoring system; (b): Double-clad fiber FBG; (c): Arrangement of fiber bragg grating sensors

表1

Table 1

表1(Table 1)

表1 手指运动状态与相应肌肉的对应关系 Table 1 The corresponding relationship between finger movement and corresponding muscles 编号 运动状态 肌肉名称 传感1 拇指伸展 拇长伸肌 传感2 拇指弯曲 拇长屈肌 传感3 食指伸展 食指伸肌 传感4 小指伸展 小指伸肌 传感5 2~5手指弯曲 趾浅屈肌 传感6 2~5手指伸展 趾伸肌

表1 手指运动状态与相应肌肉的对应关系 Table 1 The corresponding relationship between finger movement and corresponding muscles

以不同周期相位掩膜板刻写得到6个不同中心波长双包层FBG, 相应反射光谱如图2(a)所示, 依次标记为传感器1~6。 监测手指运动状态之前, 首先测试了双包层FBG和单模FBG传感器的传感性能(以传感器1为例)。 图2(b)显示了双包层和单模FBG反射光谱的中心波长与应力之间的关系。 数据显示, 双包层FBG中心波长与应力的线性拟合曲线函数为y=0.142 4x+1 546.41, 灵敏度为142 pm· N^-1, 拟合系数R²=0.99。 相同测试条件下, 单模FBG中心波长与应力的线性拟合曲线函数为y=0.097 02x+1 548.34, 灵敏度为97 pm· N^-1, 拟合系数R²=0.99。 图2(d)显示了双包层和单模FBG中心波长与温度之间的关系。 从图中可以得到, 双包层FBG反射光谱中心波长与温度的线性拟合曲线函数为y=0.010 82x+1 546.41, 灵敏度为10.8 pm· ℃^-1, 拟合系数R²=0.99。 对应单模FBG反射光谱中心波长随温度的线性拟合曲线函数为y=0.009 32x+1 548.35, 灵敏度为9.1 pm· ℃^-1, 拟合系数R²=0.99。 对比可知, 双包层FBG的应力灵敏度明显高于普通单模FBG。 这主要是因为, 相较于单模FBG, 双包层FBG拥有更小的光弹性系数和更大的纤芯直径, 这使其对微小应力变化更敏感^{[20, 21, 22]}, 表明双包层FBG可以更好的满足传感的要求。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 FBG传感器的校准 (a)布设后的6个双包层FBG光谱; (b): FBG中心波长与应力关系图; (c): FBG中心波长与温度关系图Fig.2 Calibration of the FBG sensors (a): Six double-clad FBG spectra after deployment; (b): Relationship between FBG central wavelength and stress; (c): FBG central wavelength and temperature relationship

进一步, 按照表1将6个不同中心波长双包层FBG传感器布设于受测者前臂相应位置, 通过不同手势引起前臂不同肌肉组织的应变来获取对应位置FBG传感器中心波长的偏移, 建立传感器中心波长漂移和不同手势之间的映射关系。 依据表1给出的手指运动与肌肉的对应关系, 设计以自然握拳拇指微张的手势为初始参考手势和6种不同手指运动静态手势, 如图3(a)所示。 并且定义单个手指运动为简单手势, 2个及以上手指运动为复杂手势, 如手势1和2为仅大拇指参与的简单手指运动, 手势3、 4、 5和6分别为食指弯曲、 小指弯曲、 四指外展和内收等多指参与的复杂手指运动。 通过不同手指运动引起不同肌肉组织的应变来获取相应位置FBG传感器中心波长的偏移值, 以此来建立双包层FBG传感手势识别数据集。 在手势识别数据集建立过程中, 首先采集简单手势1和2, 随后对更复杂的多指运动进行采集。 图3(b)给出了从参考手势到简单手势1时, 6个双包层FBG传感器波长偏移100次的平均值。 从图中可知双包层FBG传感器1波长偏移约为101 pm, 传感器2、 3、 4、 5和6的波长偏移分别约为-12、 -26、 -30、 23和-18 pm。 依据表1给出的手指运动与肌肉组织的对应关系, 可知手势1对应拇长伸肌运动, 此位置布设的是传感器1, 因此其波长偏移最大, 而其他5个传感器因各自所布设位置距离拇长伸肌远近不同, 从而显现出了不同的波长偏移值。 图3(c)给出了从参考手势到复杂手势5时, 6个双包层FBG波长偏移100次的平均值。 手势5对应食指伸肌、 小指伸肌和趾伸肌运动, 对应位置的传感器3、 4和6的波长偏移分别为87、 68和-116 pm, 其波长偏移远大于传感器1、 2和5。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 手指活动监控中的传感器 (a): 一个参考手势和六种静态手势; (b): 手势1运动时6个双包层FBG波长偏移量; (c): 手势5运动时6个双包层FBG 波长偏移量Fig.3 Sensors in finger activity monitoring (a): One reference gesture and six static gestures; (b): 6 double-clad FBG wavelength offsets when gesture 1 is in motion; (c): 6 double-clad FBG wavelength offsets when gesture 5 is in motion

在上述实验基础上, 进一步对其他4种不同手势运动时对应的双包层FBG的波长偏移进行了100次数据采集, 计算出平均值, 所有结果列于表2。 同时, 为了便于对比, 用单模FBG进行了相同实验, 结果列于表3。 从表2中可知, 当进行手势3运动时, 双包层传感器3的波长偏移为77 pm, 传感器6的波长偏移为-58 pm。 从参考手势到手势4中观察到类似的波长偏移, 但双包层传感器6的波长偏移更大, 这表明手势4在趾伸肌产生更大的应力变化。 而从表3可知, 同样的手势, 单模FBG产生的波长偏移更小。 两种类型的FBG传感器在相同微应变水平下的波长偏移结果进一步表明, 与单模FBG传感器相比, 双包层FBG传感器对微小应变具有更高的灵敏度, 这种特性对于准确识别不同的手势至关重要。

表2

Table 2

表2(Table 2)

表2 不同手势对应的双包层FBG波长偏移 Table 2 Double-clad FBG wavelength shift corresponding to different gestures 手指运 动状态 波长偏移/pm 传感 器1 传感 器2 传感 器3 传感 器4 传感 器5 传感 器6 手势1 101 -12 -26 -30 23 -18 手势2 17 101 -25 -31 23 -18 手势3 21 24 77 -13 24 -58 手势4 27 -9 17 65 -13 -77 手势5 9 13 87 68 16 -116 手势6 21 17 34 26 17 -103

表2 不同手势对应的双包层FBG波长偏移 Table 2 Double-clad FBG wavelength shift corresponding to different gestures

表3

Table 3

表3(Table 3)

表3 不同手势对应的单模FBG波长偏移 Table 3 Single-mode FBG wavelength shift corresponding to different gestures 手指运 动状态 波长偏移/pm 传感 器1 传感 器2 传感 器3 传感 器4 传感 器5 传感 器6 手势1 49 -6 -13 -15 11 -9 手势2 8 50 -12 -15 11 -9 手势3 10 12 38 -6 12 -26 手势4 13 -4 8 32 -6 -38 手势5 4 6 37 34 8 -52 手势6 5 8 11 9 13 -49

表3 不同手势对应的单模FBG波长偏移 Table 3 Single-mode FBG wavelength shift corresponding to different gestures

在得到完整的双包层FBG中心波长偏移与不同手势的映射关系数据后, 进一步将上位机置于与受测者不同的房间内, 在受测者做出一系列未知的手势时, 解调出双包层FBG相应的中心波长偏移, 再根据之前建立的映射关系来识别不同的手势, 以此来验证双包层FBG传感器识别手指运动的有效性。 图4显示了双包层FBG传感器监测参考手势和未知手势进行交替变换时的实时波长偏移曲线图, 其中每个手势大约保持10 s。 图4(a)为未知手势1下的双包层FBG传感器波长偏移, 可以观察到在15和55 s附近, 传感器2产生103 pm的波长偏移, 而其他传感器的波长偏移比传感器2小得多, 这表明拇长屈肌处产生了较大应力变化, 可以识别出是在做拇指向右移动的手势。 在35秒附近, 传感器1产生103 pm的波长偏移, 这表明手势是拇指向左。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 四种典型未知手势对应的双包层FBG传感器反射谱中心波长实时偏移 (a): 未知手势1; (b): 未知手势2; (c): 未知手势3; (d): 未知手势4Fig.4 The real-time shift of the central wavelength of the reflection spectrum of the double-clad FBG sensor corresponding to four typical unknown gestures (a): Unknown gesture 1; (b): Unknown gesture 2; (c): Unknown gesture 3; (d): Unknown gesture 4

图4(b)为未知手势2下的双包层FBG传感器波长偏移。 在15 s附近, 传感器3产生77 pm的波长偏移, 这表明手势是食指前伸。 在35 s附近, 传感器4产生65 pm的波长偏移, 这表明是在做小指前伸运动的手势。 在55 s附近, 传感器6产生-116 pm的波长偏移, 表明手势是四指前伸。 在15 s附近, 传感器6产生-58 pm的波长偏移, 而在在35 s附近, 传感器6产生-77 pm的波长偏移, 表明食指和小指运动在趾伸肌引起了不同的应力变化。 图4(c)为未知手势3下的双包层FBG传感器波长偏移。 在第15 s附近, 传感器2, 4, 6的波长偏移分别是77、 63和-99 pm, 表明小指和食指在同时向前运动, 而且传感器6的数据远小于四指同时前移的数据, 则可以推断无名指和中指并没有参与运动。 同时依据表2的数据, 也能推出第35秒是小指运动, 第55 s是小指、 食指和拇指在运动。 图4(d)为未知手势4下的双包层FBG传感器波长偏移。 在15 s附近, 传感器6波长漂移-102 pm, 而其他传感器的变化与传感器6相比则显得变化很小, 则表明是中指和无名指在运动。 在第35 s, 传感器5波长漂移111 pm, 而其他传感器的变化与传感器5相比则显得变化很小, 则表明在趾浅屈肌产生较大的应力变化, 四指在做弯曲运动类似于握拳。 在第55 s, 传感器2、 3和6的波长偏移分别是97、 76和-107 pm, 可推出为拇指左移并伴中指、 无名指和食指做前移运动。 总之, 对大量未知手势识别实验结果统计, 未知简单手势和复杂手势的识别率分别达近100%和87%, 表明双包层FBG传感器在准确分类和识别不同手指运动方面具有更高的准确性和有效性。

总之, 以相位掩膜法刻写了一系列双包层FBG, 并对其温度和应力传感性能进行了测试, 相应温度和应变灵敏度分别为10.8 pm· ℃^-1和142 pm· N^-1, 相比一般单模FBG具有更高的应力灵敏度。 进一步设计了一套基于双包层FBG传感器阵列的手指运动姿势识别系统, 根据不同手势引起前臂不同肌肉组织的应变来获取对应位置双包层FBG传感器中心波长的偏移, 建立了传感器中心波长漂移和不同手势之间的映射关系, 实现了对未知简单手势近100%和复杂多手指手势约87%的高准确率识别。 为双包层FBG传感器在手指运动姿势识别的应用提供了可靠的理论与实验依据, 展现了双包层FBG传感器在远程医疗、 人机交互和人类日常生活等需要精确传感能力的领域中的应用潜力。