hive内置函数：1、用户自定义函数对数据进行处理；2、用来解决输入一行输出多行【(On-to-many maping)】的需求；3、用户自定义聚合函数，操作多个数据行，产生一个数据行。
本文操作环境：Windows7系统，Dell G3电脑。 hive内置函数： 定义： UDF(User-Defined-Function)，用户自定义函数对数据进行处理。 UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。 UDAF(User Defined Aggregation Function)用户自定义聚合函数，操作多个数据行，产生一个数据行。 用法： 1、UDF函数可以直接应用于select语句，对查询结构做格式化处理后，再输出内容。 2、编写UDF函数的时候需要注意一下几点： a）自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。 b）需要实现evaluate函。 c）evaluate函数支持重载。 hive的本地模式： 大多数的Hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。不过，有时hive的输入数据量是非常小的。在这种情况下，为查询出发执行任务的时间消耗可能会比实际job的执行时间要多的多。对于大多数这种情况，hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间会明显被缩短。 如此一来，对数据量比较小的操作，就可以在本地执行，这样要比提交任务到集群执行效率要快很多。 配置如下参数，可以开启Hive的本地模式： hive> set hive.exec.mode.local.auto=true;(默认为false) 
当一个job满足如下条件才能真正使用本地模式： 1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB) 2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4) 3.job的reduce数必须为0或者1 相关免费学习推荐：php编程（视频）
以上就是hive内置函数是什么的详细内容，更多请关注模板之家(www.mb5.com.cn)其它相关文章！ |
