在这篇文章中提到了用Spark做用户昵称文本聚类分析，聚类需要选定K个中心点，然后迭代计算其他样本点到中心点的距离。由于中文文字分词之后(n-gram)再加上昵称允许各个特殊字符（数字、字母、各种符号……），如果直接在原来的文本数据上进行聚类，由于文本的“多样性”，聚类效果并不一定好。因此准确对昵称先进行一个预分类的过程，这里的分类不是机器学习里面的分类算法（逻辑回归、线性回归），而是根据昵称文本的特征进行分类：给定一个文本昵称字符串，分类方法逐个地将每个字符转换成定义好的模式：

即将所有汉字替换成H、所有大写字母替换成U、小写字母替换成L、数字替换成N，其他各种符号替换成O，然后系统将每一个字符串表示成能标识其组成的字符串模式。
例如用户名:“你好abc１２３”会被表示成HHLLLNNN，而“你好aaa４５６”也会被标识成HHLLLNNN。
这样相同的字符串模式的字符将获得相同的表示。

而这里采用Spark 用户自定义函数来实现这种转换。然后再在每个预分类下，进行聚类。

Spark 用户自定义函数介绍

在Java里面通过实现接口UDF（一共定义了22个吧，根据不同参数个数进行选择）来定义一个Spark UDF，简单一点的UDF可以使用Lambda表达式。具体介绍可参考官方文档。如下的NickFormatterUDF接收一个字符串作为输入，将该字符串转换成 由 HLUNWO 组成的字符串模式。

就是一个简单地判断某个字符是中文字符、还是数字、还是大写字母、还是小写字母的工具类。

写完了自定义函数，接下来看看在Spark中如何调用自己定义的函数。在这里我碰到了很多奇怪的问题。我们的样本数据如下：

{"created":1542020126816,"nick":"a357410","uid":123456}

{"created":1542020138522,"nick":"alichao","signature":"┌?┐?┊雨┊?┊蒙┊?┊蒙┊?└?┘","uid":123456}

可以看出，样本数据中即有昵称字符、又有签名字段、还有created 字段……而我们只针对昵称字段进行预分类。

首先将样本数据上传到HDFS：

./bin/hdfs dfs -put ~/data_spark/nick_class.json /user/xxx/

然后程序中加载数据：

对样本中昵称为空的字段进行过滤，并只选取昵称字段应用到Spark UDF上：

先来一个简单一点的Spark中内置的UDF函数：小写字母转换成大写，哈哈。

对昵称字符串进行分类的用户自定义函数。创建对象注册到SparkSession中即可，创建临时视图就是方便后面可通过SQL形式对进行调用。

通过调用UDF：

Spark作业提交运行

在这篇文章中介绍搭建Spark远程调试开发环境，本以为能够在远程调试环境中运行，但每次执行到 或者 就抛出异常：

一直以为是自定义函数的bug，找了好久没有找到原因，后来在SPARK-18075发现：原来是Spark提交作业的方式有问题。

在自己的Intellij 开发环境下以debug调试运行Spark应用程序固然方便，但这不符合官方推荐的以打成jar包的方式运行Spark作业这种方式。

It is very convenient to write Spark code in an IDE as part of a larger application framework and test it in development by simply running the main function, instead of packaging it into a jar for every single change and submitting this jar to a cluster. Often you have to run it on a remote cluster even for development, especially when handling large quantities of data.

于是：mvn package 将这种工程打成包，上传到服务器上。以命令：

结果还是报同样的错误，或者连接拒绝错误。出现这个问题，主要是环境配置不一致的问题：

• 程序代码里面创建SparkSession时，需要指定Spark Master地址，这个地址是填 ，还是填，还是填这个要视集群配置而定了。
• 第二个是：里面配置的主机名到ip地址的映射
• 第三个是里面的参数：的设置。

记录一下我在实验环境下运行的结果：

spark-2.3.1-bin-hadoop2.7、hadoop-2.7.7、按hadoop官网的Standalone Operation方式配置启动HDFS。

以提交运行。

源码如下：

最终运行出来的结果：可以看出已经成功地将昵称转换成 自定义的 字符模式。左边列就是每个昵称的模式，右边列是实际的昵称。比如第一行：UU 代表两个大写的英文字符，而左边的nick是"JX"（意味着将所有 两个大写字母 的昵称 转换成类别 UU 了）

后面会将 这些自定义的字符模式 归为几个类别，然后在每个类别上进行聚类分析。

参考资料：

[基于层次聚类的虚假用户检测 ]

Spark Java API 计算 Levenshtein 距离

    以上就是本篇文章【Spark 用户自定义函数 Java 示例】的全部内容了，欢迎阅览 ！ 文章地址：http://lianchengexpo.xrbh.cn/news/13838.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 迅博思语资讯移动站 http://lianchengexpo.xrbh.cn/mobile/ , 查看更多