让RPA人人可用，实在智能IPA模式及智能屏幕语义理解技术全网首发

　　2022年3月31日，春至。
　　实在智能召开RPA行业2022年首场产品发布会。如同007系列电影一样，＂AI你所爱 新益求新＂的发布会结束语中已悄然埋下伏笔：
　　不说再见，下一次发布会，与您在更高峰相见！
　　2022年12月7日，大雪。
　　春去冬来，实在的承诺如约而至，憋足劲儿的＂蝶变·新番＂实在智能2022冬季新品发布会重磅登场：
　　这是一场震撼行业的RPA发布会！
　　打破传统，变革模式。
　　本次发布会从功能和体验两个维度带来了实实在在的＂科技与狠活＂，一言以蔽之：
　　一款真正人人可用的RPA。
　　实在智能CEO孙林君、产品负责人周春照、算法负责人欧阳小刚发布新产品和新技术
　　本次发布会已在实在RPA IPA视频号上进行全程回放，欢迎大家观看。
　　敲黑板，划重点，以下为干货满满的精华实录。
　　实实在在的理念，实实在在的产品，实实在在的技术，与您分享：
　　创业四年，作为国内人工智能行业准独角兽的实在智能始终秉持＂AI赋能商业＂的初心，坚定相信人机协同及超自动化时代的美好未来。
　　凡事必作于细，也必成于实，实在智能一直致力于不断突破传统RPA的天花板，降低大众人群上手数字化工具的门槛，提升用户体验。
　　12月7日，实在智能2022冬季新品发布会，以＂蝶变·新番＂为主题，带来了RPA行业颠覆性、重量级、首创首发的：
　　新模式
　　沉浸式搭建超自动化流程的IPA模式
　　新技术
　　智能屏幕语义理解技术（ISSUT）
　　一、一款新模式：真正人人可用的沉浸式IPA模式
　　相信大家正在用手机阅读这篇文章，那么不知您是否还记得2007年苹果公司的iPhone首次发布会。
　　触屏手机的发明彻底改变了手机和消费电子产品行业，大幅降低手机的使用门槛，让手机全面普及，推动了移动互联网时代的爆发。
　　这是一个用技术颠覆行业，并让全社会受益的经典案例。
　　传统RPA软件，其实是一种
　　＂专家模式＂
　　即，用户如果想配置自动化操作，必须要先学会如何使用RPA软件，进而才能在RPA软件与业务软件之间不断切换，逐步以＂拖拉拽＂或＂写代码＂的方式，完成自动化流程配置。
　　而实在RPA的IPA模式，则完全不同，简言之这是一种
　　＂小白模式＂
　　用户不需要额外学习使用实在RPA，也完全不需要＂拖拉拽＂或＂写代码＂，按照正常流程直接操作业务软件即可。
　　每当鼠标悬停，实在RPA会自动推荐（并可在线学习优化推荐）此处可以/可能进行的自动化操作。
　　每当鼠标点击，该步操作自动转为自动化流程中的一步。由此迭代，任何新手都可以迅速搭建自己的数字员工。
　　传统RPA＂专家模式＂ vs 实在RPA＂IPA模式/小白模式＂
　　实在RPA的IPA模式，类似触屏手机的颠覆式创新，彻底推平了横亘在用户面前，导致传统RPA学习成本大、使用门槛高的三座大山——＂拾取、元素和变量＂，带来了真正的人人可用，实现＂打开就能用、入门就上手＂。
　　全新的 实在RPA  ，给业内行业专家、专业用户带来不小的震撼。
　　震撼一：沉浸式的超自动化体验
　　识别一切，操作一切
　　不再需要 传统RPA软件的＂流程画布＂
　　把＂更大，更宽，更全面＂的电脑屏幕留给用户
　　不再需要 传统RPA软件的＂拖拉拽＂
　　鼠标悬停+鼠标点击，即可完成自动化流程配置
　　不再需要 传统RPA软件与应用软件之间所必须的频繁切换
　　基于对所有屏幕元素的识别和理解，以及顶部＂灵动岛＂ + 侧边＂流程窗＂的轻盈交互，实现在超自动化的元宇宙中快速打造数字员工
　　震撼二：所见即所得的操作
　　一看就会，一用就对
　　无需学习：  不用理解和记忆＂组件/元素/变量＂，不用＂拖拉拽＂，不用＂写代码＂
　　无需思考：
　　鼠标悬停，马上弹出可能的自动化操作推荐列表
　　鼠标框选任意图像区域后，马上弹出可能的AI能力推荐列表（文字识别等）
　　支持基于场景和动作的在线学习，用得越多越＂聪明＂，推荐越准
　　无需转化：  鼠标点击，马上在＂流程窗＂中自动生成自动化流程
　　自动理解上千种图标含义复杂页面结构并预测推荐自动化操作
　　为了更清晰、更全面地展示IPA模式的强大功能，这里用日常工作中最常见、使用频率最高的Excel数据处理做个简单演示。
　　任何直接对数据表的操作
　　不仅包括，插入行或列，写入单元格或区域内容，自动填充、数据筛选、复制行列、插入新的sheet、重命名sheet、表格里内容的查找替换等
　　甚至是，复杂的数据透视操作
　　都会在右侧＂流程窗＂中自动生成自动化流程，并自动忽略无效步骤，且可以直接运行。
　　这种 所见即所得 的数字员工搭建方式，大幅提升数据采集和处理效率，降低了数据自动化处理门槛。
　　对Excel的人工操作自动生成简洁可执行的自动化流程
　　基于以上模式，以某客户真实场景的Excel自动化操作需求为例：
　　使用传统RPA
　　相对资深的RPA开发工程师需花 4个多小时 ，通过50多个组件才能完成搭建。
　　使用实在RPA的IPA模式
　　无需RPA开发工程师，业务人员自身只需短短6分钟左右即可完成，＂流程窗＂中生成的动作只有32个，前所未有地提升了工作效率。
　　同时，IPA模式还支持对复杂页面数据结构的自动分析，实现一键采集整个表格数据。
　　自动一键采集抖音后台管理页面的整体数据
　　二、一款新技术：国产自研，行业首创的智能屏幕语义理解技术
　　被需要的智能才是实在的智能。
　　实在RPA创新IPA模式的实现，得益于在AI领域的快速持续自研迭代。
　　目前，实在智能已累计获得近40项发明专利授权、获得软件著作权登记近200项，在RPA行业中实授发明专利数长期位居TOP1。
　　产品是表，技术是里。
　　用心优化，用AI改变。
　　本次发布会上， 实在智能同时重磅发布了IPA模式背后的全自研创新技术——智能屏幕语义理解技术（ISSUT： Intelligence Screen Semantics Understanding Techonology）。
　　看到这里，相信大家已经领略了IPA模式的神奇和惊艳，下面我们就抽丝剥茧、正式拆解一下IPA模式背后＂变戏法的帽子＂：
　　Action 1：识别屏幕
　　01、融合拾取3.0技术：使得＂元素＂皆可拾取
　　RPA行业中提到的＂元素＂，指的是屏幕上的图标、文字或区域。RPA要首先识别它们，然后才能自动地点击和操作它们。
　　基于CV技术的融合拾取，支持无差别识别各类软件
　　实在智能在2022年3月31日＂AI你所爱 新益求新＂发布会中全行业首发了＂融合拾取3.0＂技术，高效精准地解决了复杂元素的识别和操作。
　　融合拾取技术持续快速迭代，精度速度大幅提升
　　在前期工作基础上，本次发布的ISSUT技术，解决了＂何为元素、能否识别＂等问题，只需鼠标轻轻一移、轻轻一点就能完成拾取元素这个动作。
　　这是实现智能屏幕语义理解的第一步，
　　也是实现RPA真正人人可用的第一步！
　　02、动态元素匹配技术：使得＂元素＂一键适配
　　RPA行业中提到的＂元素＂，指的是屏幕上的图标、文字或区域。RPA要首先识别它们，然后才能自动地点击和操作它们。
　　当文字内容或图标外观发生了改变时， RPA机器人有可能会找不到之前的元素。
　　这时就是动态元素匹配技术的用武之地：
　　借助AI算法，轻松处理元素变化情况
　　一次识别，永久适配
　　Action 2：理解屏幕
　　01、页面结构分析技术
　　既能检得更小，也能看得更大
　　举个栗子：
　　当我们使用聊天软件的时候，人可以轻松理解软件界面（电脑屏幕），知道哪里是消息列表，哪里是对话输入框……
　　那么问题来了，
　　RPA机器人如何准确、快速、更好地模拟人工操作呢？
　　为此，我们引入了页面结构分析技术，使得实在RPA在＂认识屏幕＂之外，更可以＂理解屏幕＂，并可自适应页面拉伸/移动/及文字填充/位移等各种变化情况。其中包含多项独创技术亮点：  页面图神经网络分析  动态缩放自适应  区域内容填充识别
　　通过页面结构分析技术智能理解聊天软件界面
　　02、屏幕语义抽取技术：隔屏取物，懂你所见
　　这项技术，使得IPA模式真正像人一样理解屏幕的每一个部分，将我们的办公直觉投射到屏幕上，实现真正的所见即所得：
　　在VR中，我们可以隔空取物；
　　在实在RPA的IPA模式中，我们可以隔＂屏＂取物——
　　即，鼠标的每一次滑动，背后的AI算法都将瞬间完成一次计算，分析出屏幕中元素和区域的含义并且推荐相应的自动化操作：
　　当鼠标滑过一个浏览器图标，
　　AI就知道它能用来打开网页和搜索新闻；
　　当鼠标滑过一个对话框，
　　AI就判断可以输入文字并发送消息；
　　当鼠标框选一个包含各种文字的区域，
　　AI就知道可以进行文字识别及抽取。
　　通过屏幕语义抽取技术理解界面并推荐自动化操作
　　Action 3：操作预测
　　01、多模态意图预测
　　从＂头秃想想想＂到＂自如点点点＂
　　对于传统RPA（＂专家模式＂）
　　RPA开发工程师往往需要从一堆的组件中找到一个想要的组件，通过＂想想想+拖拉拽＂完成自动化流程配置；
　　对于实在RPA（＂IPA模式/小白模式＂）
　　多模态意图预测技术，可以支持通过多模态识别和序列上下文挖掘等方法，精准预测用户的每一个操作意图，抹平了从业务场景操作到RPA组件之间的理解鸿沟：
　　用户的每一次点击就是一次拾取
　　用户的每一步操作都在配置流程
　　应用软件操作回到台前，RPA开发退回到幕后，实现二者的真正分离。
　　02、业务感知推荐：理解场景，操作业务
　　结合表格检测、场景预测和自然语言处理技术，实在RPA的IPA模式。
　　不仅可以，自动推荐原子级操作（点击图标、输入文字、鼠标移动）；还可以，基于业务场景理解，自动推荐业务级操作：
　　打开网站登录页面，
　　鼠标划过登录区域，自动推荐「智能登录」操作；
　　打开商品列表页面，
　　鼠标划过任何带有数据区域，自动推荐「数据采集」操作。
　　通过多模态意图预测技术， 感知业务场景并推荐自动化操作
　　Action 4：在线学习
　　本次发布会还有一个 功能彩蛋 ：
　　实在RPA的IPA模式 支持在线学习和迭代优化。
　　这也正是AI产品的魅力之所在！
　　根据用户的反馈，算法模型将通过在线学习技术和自动优化机制， 能够记住选择和喜好，用的越多，推荐越准。
　　值得一提的是，所有模型算法都内置在用户本地办公环境，操作习惯和数据均不会通过网络上传，并且配置有防护机制，最大限度地保护用户数据隐私安全。
　　从这个意义而言，实在RPA的IPA模式：
　　不仅是人人可用的沉浸式超自动化流程配置模式
　　更是千人千面的个性化数字员工搭建工具
　　通过技术的＂仪式感＂，让每个人都拥有 专属的、尊重数据隐私的超级自动化产品 。
　　＂蝶变＂意味着破茧而出，羽化成蝶。
　　本次发布会选此作为主题，寓意着快速大量的产品创新和功能迭代为实在RPA带来的破茧成蝶，也标志着 实在智能超级自动化平台正式跃入＂新、广、信、强＂的阶段。
　　越过山丘，IPA模式引领超自动化全新时代。
　　开启IPA模式的实在RPA产品，叠加实在智能全国产、全自研、全面支持信创的AI产品矩阵，可以通过灵活式组合，轻松搭建各种超级自动化链路，助力千行百业用户打造泛场景的数字员工。同时，安全、稳定、持续创新的技术产品，也会为客户带来实实在在的服务和支持。
　　这是实在智能的一小步，
　　却是RPA行业发展的一大步！