语音/振动信号处理及CNN炼丹

摘要

本文实际上只是一些零碎的东西。

信息密度比较低，随便写写。

正文

语音/振动信号用于识别人的身份近几年才兴起。大概是2017年，出现了通过振动信号识别身份的论文,之后迅速出现了振动信号处理在其他方面的应用。我记得有人通过手指触摸物体产生的振动去识别物体的种类。当然物体种类是预先准备好的，可以看出这时已经可以粗略的利用振动信号处理识别相关的问题了。

之后出现了更多的应用，诸如通过佩戴手环，可以识别敲击位置，进而模拟键盘：

手机作为一个传感器完备的设备，自然也出现了通过振动识别身份的应用。有几篇就是通过振动信号的处理分析识别身份的。然而目前止步于此，没有人做出来多模式或者设备的振动信号识别，毕竟振动/声音和介质息息相关，换一个介质，振动下的生物信息就会改变，至于改变成什么样子，似乎完全和设备有关，还没有能够找到规律。

我做了一段时间的语音信号处理了，简述一下流程吧。

首先是信号采集，振动信号我用的sensor stream,典型的c/s形式，开源，可以采样到加速度计，声音等几乎所有可以采集的数据，可以自定义采样频率。github就能找到。

电脑端采集声音我直接用的arecord,毕竟我是linux的工作环境。

其次是数据处理，音频我直接采用的mfcc,13维，其他特征没有尝试过，毕竟，mfcc似乎是最好的了。

我做的问题可以转为分类问题，因此直接用的cnn,使用google的Efficintnet网络，基于python写的分类。主要是网络上有现成的代码，csdn,我是把mfcc后的图片直接喂给了cnn。这个网络架构也算比较轻量的，挺合适的。

这么看来我似乎没做什么实质性工作，笑。

接下来就得java写神经网络了，还想看resnet,虽然不是我这个方向的。

😴