交友平台算法误判用户为杀猪盘骗子,让其多位朋友误会,平台是否侵权?
和新朋友聊天时
用户被检测出发送敏感词汇
和客服沟通后解封了账号
误会虽然解除了
但被算法"误伤"了的用户
还是选择将平台告上法庭
……
网上聊天时被平台误判为骗子
李某为某金融公司员工,在某征婚交友平台注册后,提交了真实照片作为头像,并填写了实名认证的手机号。在李某正常使用平台期间,平台对其账户进行了封号处理,并向其他网友提示称"账号可能存在异常""不要与之发生金钱来往"等。
该情况导致李某多位朋友误认为李某是骗子,造成原告名誉受损。李某诉至北京互联网法院,认为该征婚交友平台实施的算法技术造成误判,侵犯其名誉权,请求法院判令运营者在平台上 公开向李某道歉予以澄清,并赔偿李某损失2万元。
平台运营者称,其 按照法律法规的规定,对用户在平台的行为进行监管,履行平台主体责任。李某为该平台注册用户,在与平台其他用户聊天过程中,短期内多次被检测到出现"金融""基金""加微信"等"杀猪盘"诈骗案件所涉高频词汇,从而自动触发了平台风控系统的审核规则。此后,李某致电客服反映情况,平台经人工核实后对该账户进行解封。因此,平台运营者称,其行为仅是为公共利益依法履行主体监管责任,系统自动判李某告账户为风险账号,不存在侵权行为。
法院:平台应用算法时尽到相关义务
诉讼过程中,平台运营者提交了《关于涉案软件风控审核系统的情况说明》及相关证据,解释其"预防性风控系统"算法逻辑机理,尽到了相应的算法披露义务。结合双方诉辩意见,北京互联网法院认为,本案的主要争议点为,涉案平台的运营者采取涉案算法风控行为是否存在主观过错,并结合以下因素予以评判:
1. 行为目的和主观意图、是否具有正当性。 根据涉案"预防性风控系统"针对的词汇和行为可见,该系统设置目的确系为预防"杀猪盘"等网络诈骗行为,系为实现法律要求的监管义务和公共利益,具有正当性。
2. 行为手段和性质、侵害人身权益的风险性程度、行为过程的审慎程度。 算法设置需在现有技术条件下合理、合比例,不得存在算法歧视、算法滥用等侵害他人合法权益的非法手段,根据已查明的事实及被告披露算法逻辑过程,涉案算法设置系基于特定词汇和用户行为的自动化反应机制,并不存在对某类用户的不当歧视。
3. 行为主体身份的特点、技术能力水平及所附注意义务。 鉴于涉案平台为陌生人网络交友恋爱类平台,在目前社会背景下加强"杀猪盘"等网络诈骗犯罪的筛查力度,于被告服务类型来说具有一定合理性。
4. 是否采取了预防侵权的合理措施。 被告确按照其承诺的人工审核方式,在声明的期限内核查误判并解除账户封禁和风险提示,尽到了与涉案算法风险相匹配的注意义务。
综上,涉案平台运营者基于法律监管要求和公共利益保护的目的,设置"预防性风控系统"算法应用,对用户行为进行中立、无差别的风险筛查, 虽因技术水平所限造成系统误判,但尽到了与涉案算法风险相匹配的注意义务,并采取了合理的预防侵权措施,并无主观过错,不构成侵权。
最终,北京互联网法院驳回原告的诉讼请求。一审判决后,双方均未上诉,该案判决已生效。
鼓励算法创新,减少算法应用乱象
随着数字经济背景下大数据、人工智能技术的飞速发展,算法技术被广泛运用于互联网应用场景中。与此同时,"大数据杀熟""算法歧视""诱导沉迷""操纵榜单""最严算法""深度伪造"等算法应用乱象也时有发生。如何构建鼓励算法行业发展与规制不当运用的算法治理秩序,成为算法侵权案件司法裁判关注的重点。本案对于算法侵权纠纷的裁判作出以下探索:
一是针对"算法黑箱"问题。 算法应用过程存在技术隐蔽性,考察算法行为是否构成侵权的前提需明确涉案算法运行的机制机理。本案中,法院认定,被告作为涉案软件的运营者,对算法应用过程具有披露义务,应提供证据证明涉案侵权行为系算法技术的实施所引发,并对算法运用的具体机理予以说明。
二是针对"过错认定"问题。 法院结合算法技术特点和相关产业发展现状,对于涉案算法应用行为主观过错和侵权的认定,确立了算法行为目的和主观意图、是否具有正当性,行为手段和性质、侵害人身权益的风险性程度、行为过程的审慎程度、是否采取了预防侵权的合理措施,行为主体身份的特点、技术能力水平及所附注意义务等综合性评判因素。
此外,针对"风险控制"领域,2022年《互联网信息服务算法推荐管理规定》和《中华人民共和国反电信网络诈骗法》均规定了网络服务提供者需履行涉电信网络诈骗信息监测、识别和处置的义务。在此背景下,网络服务提供者通过技术手段,强化对高危风险账户的监测和预防功能,具有算法技术运用的正当性。基于算法技术特点和现有行业发展水平,对于关键词和用户行为的命中,可实现对海量信息的自动化筛查,提高监测和采取措施的效率,但同时也不可避免产生系统误判,命中有类似特点的合法行为。 由于算法技术尚处于发展阶段,相关行业规范尚未成熟,应鼓励算法技术创新和正向发展,合理确定注意义务,促使企业利用算法加大正向价值传播,阻断违法和不良信息传播,让网络发展成果惠及广大人民群众。
来源丨北京互联网法院