加米谷全面的大数据开发面试题

　　有个小伙伴今天给我说，他在面试大数据开发的岗位，面试了好几个公司都没成功。我听他说了下面试的具体事情，给他总结了一下，大数据面试题看的不够。今天我们就来做一个大数据面试题的梳理。
　　大数据开发作为这两年一个火热的工作岗位，不光是企业的要求严格，竞争力也是比较大的。不管薪资多少，大数据的几个技术栈肯定是要熟练掌握的，下面我们就来看看一些企业面试时最常问的几个问题：
　　一、基础方向面试题：
　　1、spark sql 数据优化中，需要注意哪些方面？
　　a.使用临时视图减少落到磁盘， 不落到磁盘盘是spark的一个优势，中间步骤 全部用 temporary view 代替临时table ，减少读写hdfs的操作
　　b.spark下建表 文件格式选择，spark默认为textfile,可根据需求使用squenceFile or ORCFile
　　c.select 指定字段，代替select *
　　d.spark其他技术，如broadcast, bucket
　　e.另外spark sql优化还可通过查看sparkUI找到哪一步耗时最长，针对性优化
　　2、如何自定义一个函数供 HiveSql 使用，具体步骤分为哪几步？
　　Hive使用python编写的自定义函数UDF进行ETL的步骤：
　　在hive里面加载py文件
　　add file /usr/local/src/test.py
　　在HQL中使用TRANSFORM函数动态执行Python文件:
　　select TRANSFORM(sex) USING ‘python test.py’ as sex from test;
　　二、大数据开发面试题：
　　1、讲述一个自己掌握的核心技术，以及如何应用？
　　最优解答：
　　J2EE：大数据采集单元，大数据分析单元的主要工作，如何做出服务，如何SpringBoot集成Hadoop，Spark。
　　Hadoop：多少个节点，高并发，高可用的实际问题中解决数据倾斜，数据处理，数据统计，数据离线分析等。
　　Spark：实时处理中的数据处理，比如算子,复杂的SQL语句等。
　　机器学习 ：分析的数据集生成，数据处理，数据建模，数据预测，数据模型调优。
　　系统设计：设计数据流，分业务和分模块说。
　　·个人价值：代码行数，关键问题处理等。
　　以上就是关于大数据开发的一些面试题了，还有很多的面试题需要大家多看看，想要得到一个好的工作，面试前的一些准备是很重要的。如果想了解更多详情，请点击成都加米谷大数据官网吧！