【摘要】正所谓市场未动，专利先行，各公司在钻研技术的同时可以基于各自的技术优势以基础专利、功能专利、应用专利等形式构建属于自己的专利壁垒，以便为后续的技术保护、侵权诉讼、交叉许可、融资合并等奠定坚实的基础，使其在创新的浪潮中奋勇前进。

Affectiva，面部情绪识别的实践者

▼

by

德理达-医疗器械团队

大数据时代的到来促使人工智能行业飞速发展，工业机器人、服务机器人等各种形态的机器人逐渐出现在人类生活中，替代人类从事一些简单的重复性工作。此后，AlphaGo在围棋比赛中的频繁胜出更是被认为代表着机器人发展进入了新时代，象征机器人的智慧正在接近人类。然而，人工智能的研究并不仅限于此。

众所周知，“机器人”的终极目标是“机器”与“人”的完美结合，这种结合不仅在于其外观，还包括其基于情感的行为表现。人类情感的一种外在表现方式是对快乐、悲伤、愤怒、惊讶、恐惧、厌恶、蔑视等情绪的表达。生活中，人们能够基于所感知的对方情绪进行相应沟通以提供更舒适的相处。那么，机器人要如何感知人类情绪以进一步成为类人机器，这也是AI领域需要突破的一个技术分支。

▼

情感计算，解读情绪的一种有效方法

在人工智能的研究中，基于人类通过语言、肢体动作、面部表情等方式表达其丰富的内心世界和潜意识的思维活动的事实，相应地，机器人则通过所谓的“情感计算”获得类似情感机制，使其也能够基于对语言、肢体动作、面部表情等的分析计算来感知人类情绪，从而由生硬冷漠的“机器”变为具有“情感”的机器人，以便为人类带来更优质的服务。

针对上述需求，在这一领域，已经涌现出多个采用情感计算来监测人类情绪的AI公司。例如，研究语音情绪识别的Beyond Verbal、EI Technologies等公司；研究文本情绪识别的AlchemyAPI、Receptiviti.ai等公司；研究表情识别的Affectiva、Emotient等公司。当然，在该领域有重要突破的，还包括中国AI公司，比如旷视科技（Face++）等。

Face++ Detect API

▼

实现情感计算的技术途径

深度学习技术的快速发展及大数据云计算能力的提升，使得可以采用多种技术途径实现情感计算。现阶段，机器人通过情感计算感知人类情绪的方法主要包括：

a）基于语言特征感知情绪；其中，所述语言特征可以包括声音特征、文本特征。也就是说，机器人可以通过对音高、音色和频率等进行分析，或者，机器人可以通过对遣词造句的方式即说话语序进行分析，以识别出深层次语义，这主要依赖语音识别和自然语言处理的技术，比如本系列介绍SoundHound公司时提及的“speech-to-meaning”技术；

b）基于肢体动作感知情绪，这主要依赖传感技术及计算机视觉技术，比如本系列中提及AiCure公司的时候讲到的改善患者用药依从性的技术；

c）基于生理特征感知情绪；其中，所述生理特征可以通过佩戴在待测量对象上的生物传感器获得。例如，生理特征包括但不限于心率、心率变异性、自主活动、呼吸、排汗等，这主要依赖传感技术，比如本系列中提及Butterfly Network公司的时候涉及到的一种CMUT技术；

d）基于面部表情感知情绪，这主要依赖计算机视觉技术，包括图像处理和模式识别技术，当然，在现有的方式中还常常辅助以传感技术。

▼

Affectiva，面部情绪识别的实践者

我们本期介绍的正是藉由计算机视觉及传感技术的结合实现监测人类情绪的AI公司，即位于美国波士顿的创业公司Affectiva，该公司着重于基于生理特征以及面部表情感知情绪的研究。Affectiva是从MIT的Media Lab发展起来的一家开发情感分析软件的公司，是埃及科学家Rana el Kaliouby博士和她的导师Rosalind W. Picard一起于2009年12月成立的。

Affectiva的核心技术之一在于：在面部提取一些关键点如眉毛拐角、鼻尖、嘴角，然后通过深度学习算法分析这些关键点所在区域中的像素以分类面部表情。其中，Affectiva使用面部动作编码系统（Facial Action Coding System，FACS）对面部表情或动作单元（AU）进行分类，然后将这些面部表情的组合映射到情绪。

Affectiva的技术和产品

基于上述技术研究，Affectiva推出了一款AFFDEX软件，当用户在应用程序中使用Affdex SDK时，将以Affdex指标的形式获得面部表情输出：7种情绪指标，20种面部表情指标，13种表情指标以及4种外观指标。

该产品是一个能追踪多种情绪（包括开心、疑惑、惊讶、厌烦等）的“分类器”，用户只需用AFFDEX软件在脸上扫描一下，就能辨别出情绪，并通过表情符号来进行表示，呈如下图所示。

另外，Affectiva还推出了一个可穿戴式生物腕带式传感器，即“Q传感器”，该产品通过监测皮电反应来分析佩戴者的生理特征，以此来检测用户情绪状态的变化。

由于Q传感器的需求用户不断增长，Affectiva的联合创始人Picard于2014年4月创立了一家新公司Empatica，Empatica公司改进了Q传感器可穿戴设备的版本，该产品后来被用于识别惊厥性癫痫发作并向护理人员发送警报，且还可以提供睡眠、休息和身体活动分析等。

同时，Empatica公司也十分注重对应产品的专利申请，截止成文前，Empatica公司针对其设备已经在全球公开了28件专利申请，申请地区主要有日本、欧洲、美国、澳大利亚、加拿大、意大利、西班牙以及中国香港。

Empatica公司的可穿戴设备（智能皮电腕带）

Affectiva的专利

诚如其他科技型公司一样，Affectiva成立伊始就十分重视专利的申请，截止成文前，Affectiva已经在全球公开了130件专利申请，申请国家主要集中在美国。

另外，Affectiva还根据PCT提交了多项国际专利申请并基于PCT分别进入欧洲、中国、日本、韩国以及澳大利亚等国。Affectiva在专利申请阶段主要围绕两个方面进行布局：其开发产品、以及其技术可能或者欲拓展的应用场景。

Affectiva专利申请地区分布

1） 针对Affectiva的早期产品如腕带式传感器，Affectiva的专利例如：

US8774893B2（Biosensor module with leadless contacts），描述了用于测量生理数据的 生物传感器具有电连接至传感器电路板的可更换电极的结构，所述电极以无引线方式附接至传感器；

US8311605B2（Biosensor with pressure compensation），描述了用于测量生理数据的生物传感器具有附接至电极的压力感测装置的结构，所述生物传感器基于施加在电极上的由压力感测装置感测到的压力对所估计的皮电反应进行补偿；

US8395530B1（Method for biosensor usage with pressure compensation），描述了用于测量生理数据的方法，所述方法旨在基于由压力感测装置收集的压力信息补偿皮电反应读数；

US8965479B2（Biosensor with electrodes and pressure compensation），描述了用于测量生理数据的装置，所述装置包括用于获得皮电反应、皮肤温度、心率或心率变异性的传感器；作为传感器的一部分的电路板；耦接至电路板的多个电极；耦接至电极的压力感测装置；以及耦接至电路板的电路系统，所述电路系统基于施加在电极上的由压力感测装置感测到的压力对所估计的皮电反应进行补偿；

2）针对Affectiva的基于面部数据和生理数据识别情绪的技术，Affectiva的专利着重于针对不同应用场景下的具体技术方案，例如：

US9247903B2（Using affect within a gaming context），通过对游戏玩家的情绪识别来修改游戏设置；

US9503786B2（Video recommendation using affect），通过对视频观看者的情绪分析以实现基于情感的视频推荐；

US20170095192A1（MENTAL STATE ANALYSIS USING WEB SERVERS），基于面部数据和事件利用网络服务进行精神状态分析；

US20170337438A1（MENTAL STATE ANALYSIS USING BLINK RATE FOR VEHICLES），基于被监测个体的眨眼信息如眨眼率或眨眼持续时间来推断个体的情绪进而基于情绪分析来修改广告、媒体演示、数字游戏、车辆控制等；

US20180035938A1（INDIVIDUAL DATA SHARING ACROSS A SOCIAL NETWORK），在社交网络上共享基于面部表情获得的心理状态数据；

US20180144649A1（SMART TOY INTERACTION USING IMAGE ANALYSIS），使用图像分析识别情绪以用于进行智能玩具互动；

US20180143635A1（VEHICLE MANIPULATION USING OCCUPANT IMAGE ANALYSIS），使用图像分析识别情绪用以监测车辆驾驶员及乘客。

另外，Affectiva的新技术涉及在基于面部表情识别的基础上添加音频识别分析，对应申请有专利US20180144746A1（AUDIO ANALYSIS LEARNING USING VIDEO DATA），使用视频数据进行音频分析的学习。

经检索分析，Affectiva针对其开发的多项技术都相应布局有专利，足以表明该公司对专利的重视程度。

▼

AI技术的一种专利保护方式

根据AI涉及范围广泛且技术更新快速的特点，相较于商业秘密难以确权的特点，采用专利来保护创新技术往往是创业者的首选。就专利而言，在某一领域中，专利依据技术通常可被划分为基础专利、功能专利以及应用专利。

基础专利

基础专利是指某领域或某行业中必须用到的专利技术，基础专利所揭示的技术一般来说是实现技术的最低标准。

基础专利的示例如本AI系列中提及的专注于AI通用性算法基础研究的Numenta公司《AI技术专利研究系列：Numenta，一家特立独行的AI公司》以及Cortica公司《AI技术专利研究系列：Cortica，计算机视觉领域的佼佼者》的相关专利，比如专利US8175981B2、EP1949311B1、及US8655801B2等。

功能专利

功能专利是在基础专利的基础上进行改进而获得某些辅助功能的专利技术，这类专利较为常见，如果有兴趣可以出门左转翻阅本AI系列中提及的SoundHound公司、SmartDrive公司、或Next IT公司的相关专利。

应用专利

而场景应用专利则是着重于技术所处的具体应用场景而进行改进的专利技术，我们本期主角Affectiva的专利特点之一就是基于近似的技术思想在不同应用场景中进行专利布局，当然如果这些专利在申请时机上有节奏掌控的话也不失为是一种策略。

例如Affectiva基于情绪识别的技术逻辑应用在车辆领域的专利US20180143635A1和应用在智能玩具领域的专利US20180144649A1，其权利要求的描述基于应用场景的不同而有所差别。

鉴于此，AI技术的一种专利保护方式是以公司的技术积累和研发优势为基准，采用基础专利、功能专利以及应用专利的形式，针对技术优势进行有目的有策略地专利布局。

▼

市场未动，专利先行

近年来，人工智能产业化的快速发展使得人工智能领域的专利申请呈井喷式增长，专利诉讼量也随之上升。数据显示，我国人工智能专利数量位列全球第二，仅次于美国。与此同时，进军海外市场更是促使知识产权保护走上国际舞台。

这种蓬勃发展的大环境对于个人和大小公司而言均有创新的机会，如何保护这种创新也成为公司发展的头等大事。

所谓市场未动，专利先行，各公司在钻研技术的同时可以基于各自的技术优势以基础专利、功能专利、应用专利等形式构建属于自己的专利壁垒，以便为后续的技术保护、侵权诉讼、交叉许可、融资合并等奠定坚实的基础，使其在创新的浪潮中奋勇前进 。

* 以上文字仅为促进讨论和交流，不构成法律意见或咨询建议。