ITeye博客

szjian的博客

szjian · 共 51 篇文章

Win7下用Eclipse向Hadoop2.5.2集群提交MapReduce程序的注意事项

主要描述下,在Win7环境下,通过eclipse往集群提交MapReduce程序的过程。 一、环境说明: 开发环境:WIN7 Eclipse版本:eclipse-jee-indigo Hadoop版本:Hadoop2.5.2 MR运行模式:Yarn 二、使用MapReduce的Eclipse插件: 插件名称:hadoop-eclipse-plugin-2.5.2.jar 可以网上下载,本文档附件中也有上传。 将插件复制到${ECLIPSE_HOME}/plugins/目录下。 三、运行简单的MR(如:Wordcount)程序,碰到下面问题: 1、运行测试程序时,会出现以下报错: ExitCo…

2016-04-14 11:14 · HADOOP · HADOOP管理 · 评论(0)

网站的高可用架构

一、高可用的网站架构 网站的高可用架构设计的主要目的,就是保证服务器硬件故障时服务依然可用、数据依然保存并能够被访问。主要手段是数据和服务的冗余备份及失效转移。 一个网站典型的分层模型是三层,即应用层、服务层、数据层。 位于应用层的服务器通常为了应对高并发的访问请求,会通过负载均衡设备将一组服务器组成一个集群共同对外提供服务,当负载均衡设备通过心跳检测等手段监控到某台应用服务器不可用时,就将其从集群中删除,并将请求分发到集群中其他可用的服务器上,使整个集群高可用。 位于服务层的服务器,也是通过集群方式实现高可用,只是这些服务器被应用层通过分布式服务调用框架(如阿里的dubbo)访问,分布式服…

2014-08-21 16:52 · 系统架构 · 评论(0)

网站的高性能架构

一、Web前端性能优化 1、浏览器访问优化: 减少http请求:合并CSS、合并JavaScript、合并图片。将浏览器一次访问需要的JavaScript、CSS合并成一个文件。 使用浏览器缓存:对于一个网站而言,CSS、JavaScript、Logo、图标等这些静态资源文件更新的频率都比较低,将这些文件缓存在浏览器中,可以极好地改善性能。 启用压缩:在服务器端对文件进行压缩,在浏览器端对文件解压缩,可有效减少通信传输的数据量,一般文本的压缩效率可达80%以上。 CSS放在页面最上面、JavaScript放在页面最下面:浏览器在加载JavaScript后立即执行,有可能会阻塞整个页面,造成页…

2014-08-21 10:26 · 系统架构 · 评论(0)

大型网站架构的归纳总结

一、大型网站架构演化发展历程: 1、初始阶段的网站架构:应用程序、数据库、文件等资源均在同一台服务器上。 2、应用服务和数据服务分离 3、使用缓存改善网站性能 4、使用应用服务器集群改善网站的并发处理能力 5、数据库读写分离 6、使用反向代理和CDN加速网站响应() 7、使用分布式文件系统和分布式数据库系统 8、使用NoSQL和搜索引擎 9、业务拆分 10、分布式服务 二、大型网站架构模式: 1、分层:将系统在横向维度上切分成几个部分,每个部分负责一部分相对比较单一的职责,然后通过上层对下层的依赖和调用组成一个完整的系统。挑战:必须合理规划层次边界和接口,禁止跨层次的调用和逆向调用。 2、分…

2014-08-20 14:45 · 系统架构 · 评论(0)

Hadoop集群管理需要了解的概念

搭建好 Hadoop集群后,需要通过一些措施和方法,来保障集群的平衡运行。下面介绍Hadoop管理中会用到的相关概念或方法。 1 HDFS 1.1 永久性数据结构 1.1.1 Namenode的目录结构 hadoop@hhx247:/data/hadoop/hdfs/name$ ll current/ total 31812 -rw-rw-r--. 1 hadoop hadoop 15008 Jul 16 10:07 edits -rw-rw-r--. 1 hadoop hadoop 32505856 Aug 7 16:39 edits.new -rw-rw-r--. 1 hadoop ha…

2014-08-08 09:57 · 评论(0)

Hbase-管理及常见操作

一、常用的hbase shell命令 运行./hbase shell进入操作环境,常用的命令有如下,可以直接输入某个命令关键字进行帮助查询: 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数 count '表名称' 删除记录 delete '表名' ,'行名称' , '列名称' 删除一张表 先要屏蔽该表,才能对该表进行删除,第一步 disable '表名称' 第二步 drop '表名称' 查看所有记录 scan "…

2014-08-07 11:39 · HADOOP管理 · 评论(0)

HBase简介

HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问,是Google的BigTable的开源实现。HBase的目标是存储并处理大型的数据,更具体地说仅用普通的硬件配置,能够处理成千上万的行和列所组成的大型数据库。 HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据的可靠性和系统的健壮性,并且发挥HBase处理大型数据的能力,还是使用HDFS作为文件存储系统更佳。另外,HBase存储的是松散型数据,具体来说,HBase存储的数据介于映射(key/value)和关系型数据…

2014-08-07 09:57 · HADOOP介绍 · 评论(0)

Hadoop的备份或迁移

Hadoop的备份或迁移,可以从三个角度进行考虑: 一、Datanode数据备份 Hadoop中的数据,可以通过dfs.replication来设置其备份的数量。具体参见安装部署过程中对hdfs-site.xml文件的配置。 二、Namenode元数据备份 通过SecondNameNode进行元数据的备份,当namenode出现异常时,可以从SecondNameNode进行恢复。 三、集群之间的数据备份 使用 hadoop distcp命令,进行两个集群间的数据备份。考虑到数据规模的问题,一般是将一些旧的历史数据,迁移到另外一个集群中。而不是对两个集群做一致性备份。

2014-08-07 09:35 · HADOOP管理 · 评论(0)

hadoop,hbase集群管理

简单介绍hadoop1.0、hbase的进程及其启动、关闭等管理 主要参考官网的帮助文档: Hadoop集群的部署及使用: http://hadoop.apache.org/docs/r1.2.1/cluster_setup.html hadoop集群的常用管理: http://hadoop.apache.org/docs/r1.2.1/commands_manual.html hadoop分布式文件系统命令: http://hadoop.apache.org/docs/r1.2.1/file_system_shell.html hbase集群部署及使用:http://hbase.apach…

2014-08-06 14:57 · HADOOP管理 · 评论(0)

Hadoop2.0- MapReduceV2(Yarn) 框架简介

一、原 Hadoop MapReduce 框架的问题 Hadoop1.0的原 MapReduce 框架图: 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路: 1、首先用户程序 (JobClient) 提交了一个 job,job 的信息会发送到 Job Tracker 中,Job Tracker 是 Map-reduce 框架的中心,他需要与集群中的机器定时通信 (heartbeat), 需要管理哪些程序应该跑在哪些机器上,需要管理所有 job 失败、重启等操作。 2、TaskTracker 是 Map-reduce 集群中每台机器都有的一个部分,他做的事情主要是监视自己所…

2014-08-06 14:32 · HADOOP介绍 · 评论(0)

Hadoop2.0-HA介绍

先介绍hadoop2.0 HA的基本原理和2种方式。 一、概述 在hadoop2.0之前,namenode只有一个,存在单点问题(虽然hadoop1.0有secondarynamenode,checkpointnode,buckcupnode这些,但是单点问题依然存在),对于只有一个NameNode 的集群,如果NameNode 机器出现故障,那么整个集群将无法使用,直到NameNode 重新启动。 NameNode 主要在以下两个方面影响HDFS 集群: (1). NameNode 机器发生意外,比如宕机,集群将无法使用,直到管理员重启NameNode (2). NameNode 机器需要…

2014-08-06 14:06 · HADOOP介绍 · 评论(0)

Hadoop1.0-MapReduce介绍

一、MapReduce介绍 MapReduce是一种编程模型式,它是与处理/产生海量数据集的实现相关。用户指定一个map函数,通过这个map函数处理key/value(键/值)对,并且产生一系列的中间key/value对,并且使用reduce函数来合并所有的具有相同key值的中间键值对中的值部分。 1、MapReduce处理大数据的基本构思: A、对付大数据处理----分而治之 对相互间不具有计算依赖关系的大数据,实现并行计算最有效的办法,就是采取分而治之的策略 B、构建抽象模型----Map和Reduce 实现并行计算的编程模型 C、上升到构架----自动并行化,并隐藏低层细节实现 一般的…

2014-08-06 11:27 · HADOOP介绍 · 评论(0)

Hadoop1.0-HDFS介绍

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。采用Java语言开发,可以部署在多种普通的廉价机器上,以集群处理数量积达到大型主机处理性能。 一、HDFS基本概念 1、Block:HDFS默认的基本存储单位是64M的数据块,和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数…

2014-08-06 10:03 · HADOOP介绍 · 评论(0)

git 基本操作

1、克隆自己的配置库: git clone ssh://{name@}ip:port/path 2、拷贝hooks脚本至本地配置库 .git/hooks/ scp -P 29418 -p ip:/hooks/commit-msg localpath/.git/hooks/ 此两个步骤只需在最开始时运行一次即可,除非需要重新建立本地配置库 3、切换至分支: git checkout 分支名 (可使用git branch 查看分支名) 4、同步远程服务器同一分支的数据: git pull --rebase 5、工作区增删改 6、git操作增删提交至本地配置库: git add/git rm/gi…

2014-05-04 11:09 · git 版本管理工作 · 评论(0)

linux NTP实现服务器时间同步

主要讲述在局域网中,以内部ntp服务器为数据服务器时钟的方法,可以实现对多台linux服务器的时间同步。 一、查询是否安装ntp,若没有安装的话,先进行安装。 查询方法: [root@test241 ~]#rpm –q ntp ntp-4.2.4p8-2.el6.x86_64 则表示已经有安装,或安装成功。 二、ntp服务器端配置(192.168.1.1) 1、设置服务器的时间: linux查看时间和修改时间的命令: date :查看当前时间; date –s 2014-04-26:设置日期; date -s 09:38:40 :设置当前时间 2、设置ntp.conf配置文件 以root用户…

2014-04-26 10:43 · linux · 评论(0)