杨净 梦晨 发自 凹非寺 量子位 报道 | 公众号 QbitAI
万万没想到， 脑机接口这么快就有了重大突破！
甚至还登上了 Nature封面。
一位截瘫患者，正在用”意念”打出一段话， 0.5秒左右就能输出一个字母。
准确率也十分惊人，高达 99.1%。
他所需要做的就是将字母在脑海中手写，然后系统就会自动识别并生成字母，每分钟可以写90个字。
[En]
All he needs to do is to “handwrite” the letters in his head, and then the system will automatically recognize and generate letters, which can write 90 characters a minute.
这幅字虽然写的不咋地，但起码受到了Nature的”青睐”。
值得一提的是，在此之前，这位患者在另一个测试项目中，尝试过“意念”移动光标来打字，不过一分钟只能打出13.4个正确字符 。
这项研究一经发表，就引起了学术界和网民的高度关注。
[En]
As soon as this study was published, it aroused the great concern of the academic circles and netizens.
华盛顿大学的一位教授在祝贺的同时，甚至喊道：我的出租车比它还慢！
[En]
While congratulating, a professor at the University of Washington even called out, “my taxi is slower than it!”
RNN立功了
这位代号为T5的老爷子脑中植入的，是两个来自Braingate的电极阵列，各含有96个电极。
实验刚开始就遇到 第一个困难：如何识别用户什么时候开始尝试书写字母。
最后发现，原来用于语音识别的模型可以完成这一任务。
[En]
Finally, it is found that the model originally used for speech recognition can accomplish this task.
在解决了这个问题后，研究人员发现，在书写单个字符时观察到的大脑活动相对固定，而且总是集中。
[En]
After solving this problem, the researchers found that the brain activity observed when writing individual characters was relatively fixed and always concentrated.
并且书写形状类似的字母比如”b”和”p”时用到的区域是接近的。
看来即使 瘫痪多年，运动皮层中笔迹的神经表征也 没有消退。
手工标注后，数据可以作为原始数据集使用。
[En]
After manual tagging, the data can be used as the original dataset.
接下来是算法，研究人员选择了 循环神经网络 (Recurrent Neural Network，以下简称RNN)。
与常见的前馈神经网络相比，RNN对数据序列中的每个元素执行相同的任务，计算结果取决于之前的所有结果，所以用循环命名。
RNN更擅长 预测连续数据，正适合这次研究的连续书写一个句子。
RNN虽强大但有一个缺点，就是需要大量的数据，否则容易出现 过拟合。
POPS是唯一参与这项研究的人，他不愿意每天花几个小时重写来提供数据。
[En]
Pops was the only one who participated in this study, and he was unwilling to spend hours every day rewriting to provide data.
不过没关系，还有 数据增强 (Data Augmentation)。就是对每个图像数据进行一些微小的改变，旋转一下、缩放一点、或者镜像翻转之类的操作，增加数据的多样性。
除了26个字母以外，输入英文还得有一些必要的标点符号。比如空格，研究人员就要求老爷子用>代替，英文句号只有一个点也不好分辨，用～代替。此外还有逗号、顿号和问号。
不过这次研究没加入数字，可能是研究人员觉得区分z和2有点难，就留待下次解决了。
训练开始时使用的数据只有242句，然后每天都在增加，总共产生了572句31472字。
[En]
The data used at the beginning of the training was only 242 sentences, and then increased a little every day, resulting in a total of 572 sentences and 31472 characters.
最后，为了解决一些英文字母过于相似的问题，研究人员还专门为脑机接口设计了一套字母表进行测试，准确率很高，但学习成本很高。
[En]
Finally, in order to solve the problem that some English letters are too similar, the researchers also designed a set of alphabet specifically for brain-computer interface to test, with high accuracy, but with learning costs.
字符准确率最高达99.1%
然后是志愿者测试阶段。
[En]
Then came the volunteer testing phase.
根据屏幕提示，志愿者在大脑中逐个字母地抄写，字符在屏幕上识别并生成。
[En]
According to the on-screen prompt, volunteer to copy and write letter by letter in the brain, and the characters are recognized and generated on the screen.
结果测试显示，从大脑”手写”字符，到字符在屏幕中出现，中间会有一个延迟，大概在0.4-0.7秒之间。
总体而言，志愿者平均每分钟输入18个单词和90个字符，字符错误率仅为5.9%。
[En]
Overall, the volunteers typed an average of 18 words and 90 characters per minute, with a character error rate of only 5.9%.
经过类似于手机自动纠错的预测语言模型后，他们进一步将字符准确率提高到99.1%。
[En]
After a predictive language model similar to the automatic correction of mobile phones, they further increased the character accuracy to 99.1%.
单词的错误率也从25.1%降低到3.4%。
此外，志愿者们自己创作–他们不必自己抄写句子，结果他们每分钟可以打73.8个字，经过预测语言模型修正后，准确率达到97%以上。
[En]
In addition, the volunteers created themselves-they did not have to copy and “write” sentences by themselves, and as a result, they could type 73.8 characters per minute, with an accuracy of more than 97% after being corrected by the predictive language model.
最后，为了挑战极限，研究人员还训练了一个新的RNN，用户写完整个句子之后再集中处理，这种方法的正确率高达99.83%，不过用户就得不到实时的反馈了。
实际上，这其实是 BrainGate项目的一部分。这是一个多机构联盟的项目，包括布朗大学、美国生物技术公司Cyberkinetics，专注于脑机接口技术，致力于恢复神经系统疾病、损伤或丧失肢体的人的交流、行动和独立性。
此前，该项目实现了脑机接口信号的无线传输，让患者离开实验室环境，在家轻松在线观看视频。
[En]
Previously, the project realized the wireless transmission of brain-computer interface signals, allowing patients to leave the laboratory environment and easily watch videos online at home.
斯坦福大学霍华德・休斯医学研究所（HHMI）研究员、论文作者之一 Krishna Shenoy表示，此次研究最大的创新在于，破译了与手写笔记相关的大脑信号，让截瘫患者快速准确的打字。
论文一作，同样是来自斯坦福大学的Frank Willett博士，他表示会将整个研究的代码和神经数据开源。
目前，它还不是一个完整的、临床的商业系统，毕竟只在一个人身上进行了测试。
[En]
At present, it is not a complete, clinical business system, after all, it has only been tested on one person.
接下来，将在更多的测试组、打字功能(编辑、删除)和字符集(如大写字母等语言)的扩展方面进行改进。
[En]
Next, improvements will be made in more test groups, the expansion of typing functions (editing, deletion), and the expansion of character sets (such as uppercase letters, and other languages).
是不是可以dream一个汉语？
此外，还有一些因素值得讨论，比如成本和风险。
[En]
In addition, there are some factors worth discussing, such as cost and risk.
华盛顿大学生物工程系学者Pavithra Rajeswaran、电气和计算机工程系学者Amy Orsborn表示，这项研究仍需要经过试验论证，将电极植入大脑的费用和风险是否合理。
受益的不止瘫痪者
除了瘫痪的患者，还有其他受伤导致打字困难的人非常激动！
[En]
In addition to the paralyzed patients, there are also people with typing difficulties caused by other injuries who are very excited!
比如 闭锁综合症，因部分神经的损坏导致身体部分机能的退化或消失，虽然意识清醒，但无法通过语言交流。
还有 重复性压迫损伤 (RSI)，包括因使用鼠标或打字不当产生的鼠标手、腱鞘炎等。
有一位RSI患者说，我还需要一个能够模仿鼠标滚轮的功能，不过网友回复他说你用一个脚踩的踏板或者眼球追踪要比侵入型脑机接口简单多了。
看到这一消息，网友们也深受启发。
[En]
Seeing the news, netizens are also greatly inspired by their thinking.
有些人发现，想象自己的笔迹与直接想象自己脑海中的轨迹是不同的，他们不知道哪个更容易识别。
[En]
Some people find that imagining their own handwriting is different from directly imagining the tracks in their minds, and they don’t know which is easier to identify.
要不， 你也试试在脑中写字？（手动狗头）
论文链接：
[1]https://www.nature.com/articles/s41586-021-03506-2
参考链接：
[1]https://www.nature.com/articles/d41586-021-00776-8
[2]https://news.ycombinator.com/item?id=27134049
[3]https://twitter.com/WillettNeuro
[4]http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/
Original: https://blog.csdn.net/QbitAI/article/details/116772175
Author: QbitAl
Title: 意念打字登Nature封面！每分钟写90个字符，准确率超99%，网友：我打的都比它慢…
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/527073/
转载文章受原作者版权保护。转载请注明原作者出处！