语言是人类思维的媒介，是人与人之间沟通的主要形式，脑卒中、脑肿瘤、脑脊髓外伤、肌萎缩性脊髓侧索硬化症（又称“渐冻症”）等重大脑疾病可能造成语言功能障碍，我国约有800万病人因这些疾病而失去语言能力。国际上应用脑机接口技术已实现英语、西班牙语等西方语言合成。汉语作为世界上使用人口最多的语言，在听说读写各方面具有特殊性。如何针对汉语言神经编解码机制的特异性实现汉语合成是当前汉语言脑机接口重大挑战。

最新研究成果

近日，上海微系统所传感器技术全国重点实验室周志涛研究员团队与复旦大学附属华山医院吴劲松主任医师团队、上海脑虎科技有限公司陶虎研究员团队合作，于国际上首次实现脑机接口实时汉语解码和语句合成。项目团队针对汉语解码开发了256导高通量柔性脑机接口和实时神经网络解码算法，利用该系统，受试者训练九天后，394个汉语音节（汉语音节总共400个左右，解码未覆盖音节为生僻音节且受试者不认识）纯神经解码平均准确率71.2%，单音节解码延时65 ms，实时汉语语句解码速率49.6字/分钟。相关研究成果以“Real-time decoding of full spectrum Chinese using brain-computer interface”为题，发表在《科学·进展》（Science Advances）上（DOI: 10.1126/sciadv.adz9968），并被Science著专文报道“Researchers ‘decode’ Mandarin Chinese from neural signals - Advances in brain-computer interfaces could help millions who use tonal languages speak again after stroke or disease” (https://www.science.org/content/article/researchers-decode-mandarin-chinese-neural-signals)。

关键技术

研究团队选取了一位语言区占位的肿瘤癫痫患者作为研究参与者，在帮助患者定位癫痫病灶的同时进行语言解码任务。植入电极覆盖了颞中回、颞上回及腹侧感觉运动皮层等语言解码相关脑区，实现了对汉语单字与句子任务下高通量神经信号的高质量记录。通过构建多级实时解码数据流，以50毫秒滑窗精准提取High-γ频段（70-170 Hz）活动，对齐神经信号与语音起始点，并驱动双流解码器同步生成音节与声调概率分布，最终融合语言模型进行束搜索，实现了实时输出汉语语句。基于实时汉语解码技术，结合自主研发的通用型脑机操作系统，受试者实现了驱动数字分身、对话人工智能大模型，并能将人的脑电解码成语言进而转化成指令实时操控灵巧手实现人机交互。

实时汉语解码脑机接口系统框架和电极贡献度表征

论文第一作者为华山医院博士生钱友坤和上海微系统所博士后刘昶江，通讯作者为华山医院吴劲松主任医师和上海微系统所周志涛研究员。该研究工作得到了中国科学院青年创新促进会优秀会员（Y2023070）、上海市科技创新行动计划脑机接口项目（24DP3200100）、复旦大学人工智能专项基金（IDF151075）、上海市白玉兰浦江计划（24PJD134）等项目的支持。

论文链接：https://www.science.org/doi/10.1126/sciadv.adz9968