wangmengbk的博客
wangmengbk · 共 91 篇文章
IOS APPID一键登录服务端验证
public class IosAppIdLoginServiceImp { private static final Logger LOGGER = LoggerFactory.getLogger(IosAppIdLoginServiceImpl.class); @Autowired private PropertiesResouseUtil propertiesResouseUtil; private static final String AUTH_TIME = "auth_time"; private final static int READ_TIMEOUT = 100; priv…
2022-02-07 16:07 · 企业应用 · 评论(0)
CPU高占用100% 以及Netty中的NioEventLoop对象下的 SchedukedFutureTask 造成内存溢出
在高并发压测过程中发现连接数超过 22000,在运行过程出现 堆溢出,并同样生成了dump.hprof 快照文件。 通过IMB heapAnalyzer 分析发现 程序中某个对象过多。 通过程序优化后该现象没有了,不过有新的出现 netty 中的 nioEventLoop对象 以及该对象下的 SchedukedFutureTask 任务大量积压 同样造成了内存溢出,同时伴有 CPU 100% 一直进行 fullGC,效果如下图: gc执行情况: 在执行过程中 是用vmstat 命令查看r值,r值等待执行的线程比较高,如下图: 查看占用CPU最高的5个线程结果 都在执行fullgc 效果图如下…
2019-07-30 13:32 · J2EE · 评论(0)
由字典文件替换对应文章中的关键字及超链接
public class AnchorText { //文章中出现相同锚文本,仅首次替换 private static final boolean hit_once = false; /* * 锚文本map * key 锚文本 * value 锚文本类型 */ private static final Map<String, String> full_map = Maps.newHashMap(); //锚文本首字母 提升效率 private static final Set<Character> initial_set = Sets.newHashSet(); //锚文本最长值 priva…
2017-03-09 11:07 · J2EE · 评论(0)
微信公众号服务器配置验证实现
在微信公众号设置开发模式,需要调用后台服务器进行验证的伪代码实现: 微信公众号服务器配置验证实现 /** * 微信服务器配置验证方法 * * @param request * @param response * @return */ private String access(HttpServletRequest request, HttpServletResponse response) { String signature = request.getParameter("signature"); String timestamp = request.getParameter("times…
2017-02-17 18:05 · 微信 · 评论(0)
请求微信以及微信支付sign生成
/** * url请求微信 * Created by wangmeng on 2017/1/24. */ @Service public class WxHttpHelper { private static final Logger logger = LoggerFactory.getLogger(WxHttpHelper.class); @Autowired private RestTemplate restTemplate; @Value("${pay.appKey}") private String appkey; /** * 微信post请求数据 * @param url 发送请求…
2017-02-17 18:03 · 微信 · 评论(0)
URL参数设置
public class UrlUtils { /** * 给url参数赋值 * * @param url * @param paramMap * @return 赋好值的url */ public static String setUrlParamValue(String url, Map<String, Object> paramMap) { Map<String, Object> map = new LinkedHashMap<String, Object>(); if (url.indexOf("?") > 0) { String[] tempArr = url.split("\\?…
2017-02-17 17:56 · 微信 · 评论(0)
Map javaBean 互转化
public class MapToBeanUtils { private static final Logger logger = LoggerFactory.getLogger(MapToBeanUtils.class); /** * 将javabean实体类转为SortedMap类型,过滤属性值为null和空的 * 然后返回一个SortedMap类型的值 * * @param obj * @return */ public static SortedMap<String, Object> beanToSortedMap(Object obj) { SortedMap<String, O…
2017-02-17 17:46 · J2EE · 评论(0)
分布式框架-Dubbox介绍
1. Dubbo是什么? Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案。简单的说,dubbo就是个服务框架,如果没有分布式的需求,其实是不需要用的,只有在分布式的时候,才有dubbo这样的分布式服务框架的需求,并且本质上是个服务调用的东东,说白了就是个远程服务调用的分布式框架 其核心部分包含: 1. 远程通讯: 提供对多种基于长连接的NIO框架抽象封装,包括多种线程模型,序列化,以及“请求-响应”模式的信息交换方式。 2. 集群容错: 提供基于接口方法的透明远程过程调用,包括多协议支持,以及软负载均衡,失败容错,地址路由,动态配置等…
2015-07-16 16:02 · dubbo · 评论(0)
Quartz 基础结构分
Quartz是一个完全由java编写的开源作业调度框架。Quartz框架的核心是调度器。调度器负责管理Quartz应用运行时环境。调度器不是靠自己做所有的工作,而是依赖框架内一些非常重要的部件。Quartz不仅仅是线程和线程管理。为确保可伸缩性,Quartz采用了基于多线程的架构。启动时,框架初始化一套worker线程,这套线程被调度器用来执行预定的作业。这就是Quartz怎样能并发运行多个作业的原理。Quartz依赖一套松耦合的线程池管理部件来管理线程环境。 Quartz 基础结构分享:
2015-06-29 16:17 · quartz · 评论(0)
Spark 使用Java 写入 HBase
实例代码: package com.bigdata.spark.hbase; import java.io.IOException; import java.util.List; import java.util.regex.Pattern; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.…
2015-06-26 15:30 · 大数据(spark) · 评论(1)
Hbase 安装与配置
百度百科:HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 下面介绍 Hbase 的安装&配置 下载地址 : http://www.apache.…
2015-06-26 15:22 · 大数据(hadoop) · 评论(0)
Spark 安装&配置
前提安装 hadoop ,JDK 环境 下载地址 scala: http://www.scala-lang.org/download/2.11.6.html 解压: tar –zxvf scala-2.11.6.tgz 配置环境变量:vi /etc/profile export SCALA_HOME=/opt/scala-2.11.6 export PATH=$SCALA_HOME/bin:$PATH 执行(立即生效):source /etc/profile 执行:cd /opt/scala-2.11.6/bin ./scala –version 输出(安装成功):Scala code ru…
2015-06-17 19:35 · 大数据(spark) · 评论(0)
spark 架构及运算逻辑
Spark的整体流程为:Client 提交应用,Master找到一个Worker启动Driver,Driver向Master或者资源管理器申请资源,之后将应用转化为RDD Graph,再由DAGScheduler将RDD Graph转化为Stage的有向无环图提交给TaskScheduler,由TaskScheduler提交任务给Executor执行。在任务执行的过程中,其他组件协同工作,确保整个应用顺利执行。 Spark架构采用了分布式计算中的Master-Slave模型。Master是对应集群中的含有Master进程的节点(ClusterManager),Slave是集群中含有Worke…
2015-06-17 16:43 · 大数据(spark) · 评论(0)
Spark与Shark的原理
1.Spark生态圈 如下图所示为Spark的整个生态圈,最底层为资源管理器,采用Mesos、Yarn等资源管理集群或者Spark 自带的Standalone模式,底层存储为文件系统或者其他格式的存储系统如HBase。Spark作为计算框架,为上层多种应用提供服务。 Graphx和MLBase提供数据挖掘服务,如图计算和挖掘迭代计算等。Shark提供SQL查询服务,兼容Hive语法,性能比Hive快3-50 倍,BlinkDB是一个通过权衡数据精确度来提升查询晌应时间的交互SQL查询引擎,二者都可作为交互式查询使用。Spark Streaming将流式计算分解成一系列短小的批处理计算,并且提…
2015-06-17 09:31 · 大数据(spark) · 评论(0)
sqoop 安装&配置
由于前面已经把 hadoop 安装并成功配置应用,下面继续对sqoop 安装与配置。 Sqoop是一款开源的工具,主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 安装&配置 下载地址: http://www.us.apache.org/dist/sqoop/1.99.3/ 下载 sqoop-1.99.3-bin-hadoop200.tar.gz 解压:tar -zx…
2015-06-15 12:39 · 大数据(hadoop) · 评论(0)