日前，在2020年国际学习表征会议（ICLR）上，图灵奖得主、蒙特利尔学习算法研究所主任约书亚·本吉奥（Yoshua Bengio）对AI的未来提供了最新见解。他认为未来机器学习完全有可能超越无意识，向全意识迈进。而注意力机制正是实现这一过程的关键要素。
人类的注意力机制和人工智能的注意力机制是否一样？现在应用于人工智能的注意力机制还要解决哪些bug，才能让AI真正具备注意力？就此，科技日报记者采访了有关专家。
目的在于减少对无用线索的关注
什么是注意力机制？“注意力机制来源于人类的视觉注意力，即人类在进化过程中形成的一种处理视觉信息的机制。”中国科学院自动化研究所研究员张兆翔说。
张兆翔解释，人类视觉系统以大约每秒8.96兆比特的速度接收外部视觉信息，虽然人脑的计算能力和存储能力都非常有限，但却能有效的从纷繁芜杂的外部世界中有选择地处理重要的内容，在这个过程中选择性视觉注意发挥了重要的作用。如我们在看一个画面时，会有一处特别显眼的场景率先吸引我们的注意力，这是因为大脑对这类东西很敏感。
视觉注意机制的理论研究自20世纪80年代以来一直是神经科学和认知科学的热点研究问题，目前研究者们一般按照两类标准对注意机制进行分类。“从注意产生的方向划分为：自下而上数据驱动的注意、自上而下任务驱动的注意、两者结合共同产生的注意；从关注的对象划分为：基于空间的注意、基于特征的注意、基于对象的注意。”中国科学院自动化研究所副研究员王威介绍说。
“而对于人工智能来说，注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中，其主要功能是减少对无用线索的关注。”福州大学数学与计算机科学学院、福建省新媒体行业技术开发基地副主任柯逍博士说。
厦门大学科技处副处长、人工智能系教授纪荣嵘认为，从本质上说，注意力机制是一个特征信息评估和筛选的过程。
一般认为，深度学习中的注意力机制最早是约书亚·本吉奥等人在2014年提出的软注意力机制。基于约书亚·本吉奥的这套理论后续又发展出了多步注意力机制、跨模态交互注意力以及时下非常火热的Transformer网络中的自注意力机制。
“目前研究的AI注意力机制各有各的特点，但总的来说就是构建输入与输出，或者构建输入数据在不同层面上的关联关系，从而达到重点突出部分区域或者数据间的部分关系，提升任务性能。”张兆翔说。
