`
wangmengbk
  • 浏览: 288800 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论
文章列表
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。   前提安装了hadoop 下载地址: http://apache.fayea.com/hive/hive-1.2.0/ 版本: apache-hive-1.2.0-bin.tar.gz 解压: tar –zxvf apache-hive-1.2.0-bin.tar.gz ...
问题解决方案 cd hadoop安装路径/ect/hadoop 修改hdfs-site.xml加上以下内容  <property>  <name>dfs.permissions</name>  <value>false</value>  </property> 旨在取消权限检查,原因是为了解决我在windows机器上配置eclipse ...
由于近两年随着互联网的高速发展,产生的数据量也想到惊人,从而产生了对大数据处理的框架,以下是Linux对hadoop 的安装与配置步骤为大家分享!   下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/  解压 tar –zxvf hadoop-2.5.2   配置环境变量:vi /etc/profile export HADOOP_HOME=/路径/hadoop-2.5.2   export HADOOP_COMMON_HOME=$HADOOP_HOME   export HADOOP_HDFS_HOME=$HA ...
1. Zookeeper+ metaq-1.4.6 和storm-0.9.4 程序在eclipse 运行出现   Will not attempt to authenticate using SASL (java.lang.SecurityException: 无法定位登录配置) 使用本地模式:  LocalCluster cluster = new LocalCluster(); cluster.submitTopology("test", config, tbuild ...
Storm ui 首页主要分为4块: Cluster Summary,Topology summary,Supervisor summary,Nimbus Configuration,如下图所示:  Cluster Summary Version: storm 版本号 Nimbus uptime: nimbus 运行时间 Supervisor:storm集群中supervisor的数目 User slots:使用的slots数Free slots:剩余的slots数 Total slots:总的slots 数(对应配置文件的supervisor.slots.ports ...
通过学习研究总结了Storm+zookeeper+metaq 消息处理的的整个过程以及zookeeper怎样做消息的分发与订阅,通过以下说明相信对学习storm的用户来说是一个质的回升。MetaQ主要作为数据传输的工具,Storm是数据获取&处理的工具,Zookeeper是一个协调管理的角色。数据存储,经Zookeeper协调,消息(数据)发到MetaQ中;数据获取,Storm-toplogy的Spout经Zookeeper协调到MetaQ,取出消息(数据);数据处理,Storm-toplogy的Bolt经Zookeeper协调到某一个Supervisor,开始处理。如图:   通 ...
大数据分析处理中storm 相关的安装配置说明,linux 系统 1. 前提是已经安装好 JDK 2. 首选下载并安装 zookeeper  下载官网地址: http://hadoop.apache.org/zookeeper/releases.html 比如下载 zookeeper-3.4.6.tar.gz 版本,将该版本放入到 linux 服务器上,  进行解压: tar –zxvf zookeeper-3.4.6.tar.gz  设置环境变量 vi /etc/profile export ZOOKEEPER_HOME=/opt/zookeeper-3.4.6 PA ...
由于企业的应用系统较多,为了是员工实现一个用户信息可以进行登陆到其他系统中,故使用单点登陆(Single Sign On , 简称 SSO ) 进行实现,目前使用的SSO框架为CAX (Central Authentication Service)是一款不错的针对 Web 应用的单点登录框架。 到 CAS 官方网站下载 CAS Server 和 Client,地址分别为: http://www.ja-sig.org/downloads/cas/cas-server-3.1.1-release.zip http://www.ja-sig.org/downloads/cas-clients ...
对于springMVC 400 错误整理主要有以下情况,对于没有整理到的大家可以在后续跟帖发表: 1.对于使用Ajax请求:原因在对于使用json 传递参数的时候,没有使用 jsonData: 方式进行传递参数。如下图  2.对于使用 proxy 代理 type:”Ajax”,传递参数使用params,后台接收使用@RequestBody 进行解析json 查找问题:a. 在ajax 类型请求中是否设置 headers 为 application/json 类型;  b. 参数中的属性名称是否对应 javabean 的属性名称;图片中蓝色为 对已javaBean 的属性  c. ...
在使用 extjs +springMVC 过程中,通过前端传入的 json 对象( {‘date':’2015-01-01 00:00:00‘} ) 自动转换为 服务器端javabean 对应到date日期属性(private Date date;)解决方案: 原因:在目前springMVC3 中通过配置 annotation 注解自动封装为javaBean 对象 <mvc:annotation-driven /> ,不能将 String 日期封装为Date 日期。 解决: 通过 WebDataBinder 种的 registerCustomEditor() 方法可以进行解决这 ...
前提准备:java 虚拟机                  Drools核心库                 Junit4.0以上版本                 规则Excel模板表(将下面的图片的内容新建到Excel中)典型的用法就是根据excel创建KnowledgeBase,然后将它丢给session执行,执行的参数和结果都在params里面 package com.xxx.yyyy;  2   3 import java.io.File;  4 import java.io.FileInputStream;  5 import java.io.InputStream;  ...
wro4j是一个Web资源优化工具。众所周知,到服务器加载一个大的文件比加载两个小的文件快,因为会增加HTTP交互的次数并且大部分浏览器在任何时候对于同一个服务器,只保持两个连接。开发wro4j项目的目的是减少加载一个页面的请求次数和传输的数据量. WRO4j最大限度地减少和压缩CSS和JavaScript等web资源,WRO4j可以在编译时配置一个非常有用的API - 与适当的maven插件一起运行时。有两种办法使用,一个在运行时混合,一个是使用Maven编译时混合。 运行时混合:第一步在web.xml加入wrofilter: <filter> <fi ...
通过学习springMVC ,下面是extjs 整合springmvc 和 ibatis 实现的一个gridpanel 的 增删改查以及动态分页: 目前将前提Extjs 代码 和 springMvc 的控制层(control)的实现为大家提供,其业务层的实现也是比较简单的只是借助于ibatis 实现数据操作。 <%@ page language="java" pageEncoding="UTF-8"%> <html> <head> </head> <title>spring mvc ...

Spring3.1新特性

Spring3.1新特性 一、Spring2.5之前,我们都是通过实现Controller接口或其实现来定义我们的处理器类。   二、Spring2.5引入注解式处理器支持,通过@Controller 和 @RequestMapping注解定义我们的处理器类。并且提供了一组强大的注解:   需要通过处理器映射DefaultAnnotationHandlerMapping和处理器适配器AnnotationMethodHandlerAdapter来开启支持@Controller 和 @RequestMapping注解的处理器。   @Controller:用于标识是处理器类;
  org.springframework.http.converter.HttpMessageNotReadableException: Could not read JSON: No content to map to Object due to end of input; 异常处理后的结果示例如下:   对于在SprngMVC 控制器层使用 @RequestBody 注解作为参数使用 MockHttpServletRequest 进行测试示例: //运行类 @RunWith(SpringJUnit4ClassRunner.class) //bean的配置文件路径 @Con ...
Global site tag (gtag.js) - Google Analytics