技术标签: 算法 java 开源分享项目 后台 intellij-idea dfa算法 springboot 开发语言
package com.datago.common.utils.sensitive;
import java.util.*;
/**
* @ProjectName innovate 初始化敏感词库,将敏感词加入到HashMap中,构建DFA算法模型
* @Package com.datago.common.utils.sensitive
* @Name SensitiveWordInit
* @Author HB
* @Date 2022/1/25 18:12
* @Version 1.0
*/
public class SensitiveWordInit {
@SuppressWarnings("rawtypes")
public static HashMap sensitiveWordMap;
public SensitiveWordInit() {
super();
}
/**
* 初始化词库
*
* @param datas 敏感词集合
* @return
*/
public static HashMap init(String datas) {
addSensitiveWord(datas);
return sensitiveWordMap;
}
private static void addSensitiveWord(String word) {
sensitiveWordMap = new HashMap(word.length());
Map<String, Object> now = null;
Map now2 = null;
now2 = sensitiveWordMap;
for (int i = 0; i < word.length(); i++) {
char key_word = word.charAt(i);
Object obj = now2.get(key_word);
if (obj != null) {
//存在
now2 = (Map) obj;
} else {
//不存在
now = new HashMap<>();
now.put("isEnd", "0");
now2.put(key_word, now);
now2 = now;
}
if (i == word.length() - 1) {
now2.put("isEnd", "1");
}
}
}
/**
* 获取内容中的敏感词
*
* @param text 内容
* @param matchType 匹配规则 1=不最佳匹配,2=最佳匹配
* @return
*/
public static List<String> getSensitiveWord(String text, int matchType) {
List<String> words = new ArrayList<String>();
Map now = sensitiveWordMap;
int count = 0; //初始化敏感词长度
int start = 0; //标志敏感词开始的下标
for (int i = 0; i < text.length(); i++) {
char key = text.charAt(i);
now = (Map) now.get(key);
if (now != null) {
//存在
count++;
if (count == 1) {
start = i;
}
if ("1".equals(now.get("isEnd"))) {
//敏感词结束
now = sensitiveWordMap; //重新获取敏感词库
words.add(text.substring(start, start + count)); //取出敏感词,添加到集合
count = 0; //初始化敏感词长度
}
} else {
//不存在
now = sensitiveWordMap;//重新获取敏感词库
if (count == 1 && matchType == 1) {
//不最佳匹配
count = 0;
} else if (count == 1 && matchType == 2) {
//最佳匹配
words.add(text.substring(start, start + count));
count = 0;
}
}
}
return words;
}
}
package com.datago.common.utils.sensitive;
import com.datago.common.core.redis.RedisCache;
import com.datago.common.utils.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import java.util.*;
/**
* @ProjectName innovate 敏感词过滤
* @Package com.datago.common.utils.sensitive
* @Name SensitivewordFilter
* @Author HB
* @Date 2022/1/25 18:14
* @Version 1.0
*/
@Component
public class SensitivewordFilter {
private static RedisCache redisCache;
@Autowired
public void setRedisCache(RedisCache redisCache) {
SensitivewordFilter.redisCache = redisCache;
}
@SuppressWarnings("rawtypes")
private static Map sensitiveWordMap = null;
public static void initSensitiveWord(String datas) {
sensitiveWordMap = SensitiveWordInit.init(datas);
}
/**
* 替换敏感字字符
*
* @param txt
* @param matchType
* @param replaceChar 替换字符,默认*
* @author HB
* @version 1.0
*/
public static String replaceSensitiveWord(String datas, String txt, int matchType, String replaceChar) {
if (sensitiveWordMap == null) {
initSensitiveWord(datas);
}
String resultTxt = txt;
//matchType = 1; //最小匹配规则
//matchType= 2; //最大匹配规则
List<String> set = SensitiveWordInit.getSensitiveWord(txt, matchType); //获取所有的敏感词
Iterator<String> iterator = set.iterator();
String word = null;
String replaceString = null;
while (iterator.hasNext()) {
word = iterator.next();
replaceString = getReplaceChars(replaceChar, word.length());
resultTxt = resultTxt.replaceAll(word, replaceString);
}
return resultTxt;
}
/**
* 获取替换字符串
*
* @param replaceChar
* @param length
* @return
* @author HB
* @version 1.0
*/
private static String getReplaceChars(String replaceChar, int length) {
String resultReplace = replaceChar;
if (length > 6) {
length = 6;
}
for (int i = 1; i < length; i++) {
resultReplace += replaceChar;
}
return resultReplace;
}
/**
* 过滤敏感词汇
*
* @param sensitiveTxt 输入数据
* @return com.datago.common.core.domain.AjaxResult
* @Author HB
* @Date 2022/1/27 10:03
**/
public static String filterSensitive(String sensitiveTxt) {
//从缓存中提取数据敏感词汇
Map<String, String> datas = redisCache.getCacheObject("treeSensitive");
//替换敏感词汇
String updateTxt = null;
for (Map.Entry<String, String> entry : datas.entrySet()) {
SensitivewordFilter.initSensitiveWord(entry.getKey());
if (StringUtils.isNotEmpty(updateTxt)) {
updateTxt = replaceSensitiveWord(entry.getKey(), updateTxt, 1, entry.getValue());
} else {
updateTxt = replaceSensitiveWord(entry.getKey(), sensitiveTxt, 1, entry.getValue());
}
}
return updateTxt;
}
}
/**
* 过滤datago_sensitive敏感词汇
* sensitiveTxt 传参
*/
@Log(title = "过滤敏感词汇")
@GetMapping("/filterSensitive/{sensitiveTxt}")
public AjaxResult filterSensitive(@PathVariable(value = "sensitiveTxt") String sensitiveTxt) {
String s = SensitivewordFilter.filterSensitive(sensitiveTxt);
return AjaxResult.success(s);
}
https://www.hutool.cn/docs/#/dfa/DFA%E6%9F%A5%E6%89%BE
文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器
文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数