范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文

开源基于Python3和Keras2(TensorFlow后端)人脸表情识别系统

  一、开源项目简介
  使用卷积神经网络构建整个系统,在尝试了Gabor、LBP等传统人脸特征提取方式基础上,深度模型效果显著。在FER2013、JAFFE和CK+三个表情识别数据集上进行模型评估。
  2020.8.22,重构了整个仓库代码,改用Tensorflow2中的keras api实现整个系统。考虑到很多反映jupyter notebook写的train使用起来不太方便,这里改成了py脚本实现。
  2020.12.18,根据反馈,修改了Jaffe的优化器设置。二、功能概述传统方法数据预处理图片降噪人脸检测(HAAR分类器检测(opencv))特征工程人脸特征提取LBPGabor分类器SVM深度方法人脸检测HAAR分类器MTCNN(效果更好)卷积神经网络用于特征提取+分类三、技术选型
  基于Python3和Keras2(TensorFlow后端),具体依赖安装如下(推荐使用conda虚拟环境)。
  进入项目源码目录,执行以下命令:cd FacialExpressionRecognition conda create -n FER python=3.6 source activate FER conda install cudatoolkit=10.1 conda install cudnn=7.6.5 pip install -r requirements.txt
  如果你是Linux用户,直接执行根目录下的env.sh即可一键配置环境,执行命令为bash env.sh。数据准备
  数据集和预训练模型均已经上传到百度网盘,链接给出,提取密码为2pmd。下载后将model.zip移动到根目录下的models文件夹下并解压得到一个*.h5的模型参数文件,将data.zip移动到根目录下的dataset文件夹下并解压得到包含多个数据集压缩文件,均解压即可得到包含图像的数据集(其中rar后缀的为原始jaffe数据集,这里建议使用我处理好的)。网络设计
  使用经典的卷积神经网络,模型的构建主要参考2018年CVPR几篇论文以及谷歌的Going Deeper设计如下网络结构,输入层后加入(1,1)卷积层增加非线性表示且模型层次较浅,参数较少(大量参数集中在全连接层)。
  模型训练
  主要在FER2013、JAFFE、CK+上进行训练,JAFFE给出的是半身图因此做了人脸检测。最后在FER2013上Pub Test和Pri Test均达到67%左右准确率(该数据集爬虫采集存在标签错误、水印、动画图片等问题),JAFFE和CK+5折交叉验证均达到99%左右准确率(这两个数据集为实验室采集,较为准确标准)。
  执行下面的命令将在指定的数据集(fer2013或jaffe或ck+)上按照指定的batch_size训练指定的轮次。训练会生成对应的可视化训练过程,下图为在三个数据集上训练过程的共同绘图。python src/train.py --dataset fer2013 --epochs 300 --batch_size 32
  模型应用
  与传统方法相比,卷积神经网络表现更好,使用该模型构建识别系统,提供GUI界面和摄像头实时检测(摄像必须保证补光足够)。预测时对一张图片进行水平翻转、偏转15度、平移等增广得到多个概率分布,将这些概率分布加权求和得到最后的概率分布,此时概率最大的作为标签(也就是使用了推理数据增强)。四、界面展示
  注意,GUI界面预测只显示最可能是人脸的那个脸表情,但是对所有检测到的人脸都会框定预测结果并在图片上标记,标记后的图片在output目录下。
  执行下面的命令即可打开GUI程序,该程序依赖PyQT设计,在一个测试图片(来源于网络)上进行测试效果如下图。python src/gui.py
  上图的GUI反馈的同时,会对图片上每个人脸进行检测并表情识别,处理后如下图。
  实时检测
  实时检测基于Opencv进行设计,旨在用摄像头对实时视频流进行预测,同时考虑到有些人的反馈,当没有摄像头想通过视频进行测试则修改命令行参数即可。
  使用下面的命令会打开摄像头进行实时检测(ESC键退出),若要指定视频进行进行检测,则使用下面的第二个命令。python src/recognition_camera.pypython src/recognition_camera.py --source 1 --video_path 视频绝对路径或者相对于该项目的根目录的相对路径
  下图是动态演示的在Youtube上某个视频上的识别结果。
  五、开源协议
  使用GPL-3.0开源协议六、源码地址
  私信回复:人脸表情识别

A股开门红,恒指重新站上十年新高,2018年全球市场投资点在哪里2018已经扬帆起航,大家新的一年,事业顺遂,平安喜乐。2017年美股屡创新高,三大股指均刷新近几年记录,标普500涨19。4道指涨25。1纳指涨28。2,前文简单总结过了。随着25000元左右有什么相机值得买?昨天给大家推荐了万元左右的全画幅相机,但很多人还是觉得贵了。今天给大家推荐5000元左右的相机,这个价位应该是很多普通摄影爱好者的选择了。但是吧一分钱一分货,既然预算就只有那么一点注重隐私!Flyme9正式发布变化真的很大今天下午两点半,魅族正式发布了Flyme9,同时还专门为未来即将发布的魅族智能手表做了一套专属的FlymeForWatch。Flyme9依旧延续了AliveDesign理念,将设计一加9正式官宣3月24日见,哈苏相机加持昨天下午,一加正式举办了一加影像沟通会,此次沟通会的最终目的,就是官宣了一加和哈苏在影像方面的联合,同时还推出了不少新的影像相关技术。当然,这个还不是咱们最关注的,上一款顶级旗舰一那些手机上已经消失的东西,你最怀念哪个?自从智能手机称霸互联网后,手机早已不再是一个只用来接打电话接收短信的通讯工具,在现在来看,它更像是一把钥匙,不管你进哪,都不能少了它的存在。而智能手机发展了这么多年,可不是大家所看电脑安装迅雷极简绿色版图文教程不用安装运行库,不解压到系统C盘根目录也能运行,此程序为绿色自解压程序,可解压到桌面或系统磁盘根目录或非系统磁盘任意目录(默认为dProgramFilesThunder),点击桌面2810日报秒杀GOPro!大疆推出小型防抖相机DJIAction2等大疆推出小型防抖相机DJIAction210月27日,大疆公司通过线上发布会公布了小型防抖相机新品DJIAction2,Action2拥有4K120fps的影片拍摄能力,低畸变超广2021苹果部分新机预测SummaryofsomeAppleproductsexpectedtobereleasedin2021(writtenonFebruary19,2021)iPadPro2021i每周摄影作品展的第四十期,人像三要素这是每周摄影作品展的第四十期,这一期也收到了非常多优秀的摄影作品,比如旅行向日葵地隧道街头光与影等等。因为篇幅有限,没有将所有作品放上来,后面会逐渐放上来。欢迎摄友们投稿参与周展,如果只选一个摄影配件,那一定是它如果只让选一个摄影配件,那么我一定会选三脚架,在我的摄影生活中三脚架是除相机外使用最频繁的器材。一三脚架材质选择三脚架的材质有很多,比如镁合金铝合金炭纤维等等,我还用过纯塑料和纯铁银杏拍摄技巧分享,银杏这么拍才美银杏作为秋天的必拍题材之一,这段时间正是拍摄的好时机今天给大家分享一下如何拍摄银杏,希望对大家有帮助。一器材选择严格意义上来说银杏属于森林景观,需要一只中长焦镜头来拍特别是要对银杏
年销量破37万,2。88万的宏光MINIEV值不值得买?在新能源补贴热潮兴起时,微型纯电动车市场如井喷一样吸引着车企加入,其中不乏一些大家闻所未闻的品牌。骗补这事儿咱不好说,但至少前两年有些品牌的车型几乎没有什么销量,却依然没有停止生产华人运通李峰兵败之后,正名之初时间不会偏袒任何一个征途上的行者。在东风悦达起亚,原本李峰打算用百般努力去过三年苦日子,然而,行军两年,收效甚微。现代汽车集团(中国)也不愿意给他更多时间。在那两年的时间里,李峰布解救华晨,宝马向来有私心一边是激情澎湃的上新,一边是黯然神伤的离别。不知是有意为之还是机缘巧合,关于华晨集团破产的消息,似乎总是穿插于繁忙的车展之中。2020年11月20日,正值广州车展开幕,华晨集团正式iQOO5Pro优势解析,颜值出众,充电速度一流一个品牌要想不断地前进,除了在各个方面坚持突破外,还要学会与其他品牌合作。以崛起的iQOO品牌为例,该机品牌在成立的一年多时间内,飞速发展,目前已经成长为了非常知名的手机品牌。iQiQOOZ1真机上手天玑1000Plus优秀5G4500mAh超强续航最近一段时间,网上有一个热词叫做手机钉子户,这里的钉子户指的是有一些手机由于质量和功能非常靠谱,即使用上两三年也完全不落伍,找不到换手机的理由,因此有了这样一个称呼,其实是网友们给入手神车五菱宏光MINIEV,内置助手居然这么智慧国民神车的热度已经持续一年了还没有丝毫衰减的趋势,我也难逃真香定律,在排到了新能源车指标后,看了很多新能源车,特斯拉蔚来都到店试驾过了,但最终还是从实际需要出发,入手了五菱宏光MI近年来爆红的人参果,到底谁是原产地?云南几个县ampampquot争论不休ampampquot最近几年,不断有小众水果成为网红,比如散发着文艺范儿深受北上广女白领最爱的百香果,可以降血糖血脂能够润肠通便的养颜佳品雪莲果还有形状如人的心脏,富含硒元素蛋白质和人体所需氨基酸的人快只是其中一个特点,iQOO5Pro有颜又有实力从智能手机问世以来,其外观设计就在不断地更新。如今市场上的手机在外观设计方面虽然越来越趋于同质化,但即使在这样的大环境下,依然有手机厂商在产品外观设计方面推陈出新,比如说iQOO。iPhone12发布前夕,继续等待还是买旧款?iPhone12即将发布,不少人对此充满了期待,不过理智的人不会第一时间入手,而是会选择旧款的iPhone。那么多旧款,究竟哪款值得我们入手呢?对于不同的人来说,可能答案也不尽相同以前的游戏都白玩了!iQOO5让我明白,什么叫真正的快乐当下正是曲面屏手机当道的时代,似要溢出手机的屏幕沉浸感满满,让人欲罢不能,不过你要是问一个手游爱好者会选择直屏旗舰还是曲面屏旗舰,绝大多数人都会选择前者。曲面手机虽然好,但基本不会ampampquot创造无边界ampampquotColorOS11亮相,即日开启公测9月24号上午九点三十分,ColorOS11系统正式在亮相,本次发布的全新系统备受瞩目,大家都非常关注这次新系统的更新变化,这点我们从目前网上激烈讨论中一看便知,看来大家都是相当期