Hbase分布式部署

HBase的安装首先是有两个先决条件的,第一个就是需要zookeeper的支持,另外一个就是需要HDFS的支持了.
因此,安装Hbase的头两部就是安装zookeeper和hadoop

这两个东西的安装可以参考我以前的博文:Hadoop全分布式部署以及zookeeper 集群部署.这里就不再复述了.

环境

环境: centos7 + hadoop2.6.2 + hbase1.1.2

虚拟机三台:

安装步骤

1. 首先还是需要把hbase-1.1.2-bin.tar.gz拷贝到几台机器上.然后使用tar -xvf命令解压,并重命名为hbase. 当前路径也就是 /home/hadoop/hbase

Hadoop全分布式部署步骤

环境

环境: centos7 +hadoop2.6.2
虚拟机三台:

安装步骤:

安装虚拟机, 保证机器能上网

1. 修改hosts文件,把机器都加上
2. 修改机器的hostname文件: sudo nano /etc/hostname,需要注意的是这个文件是必须要改的,否则默认安装出来的centos都叫localhost. 这个在组建集群后,是会有问题的.

在机器上安装JDK.

1. 如果已经安装了openJDK,不想要的话,可以先删除:
   1. rpm -qa | grep java 查看有哪些java相关的包
   2. yum -y remove java 删除openJDK
   3. rpm -e —nodeps xxxxxxx 再手动删除一些第一部显示的还与openJDK相关的包

2. 下载oracle的 jdk. 解压到一个目录

   1. 然后修改/etc/profile. 在最后面增加:

      1 2 3

      export JAVA_HOME=/usr/java/jdk1.7.0_51` export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin

   2. 然后执行 source /etc/profile 刷新新的环境变量

为 Key-Value 数据库实现MVCC 事务

ACID 是软件领域使用最广泛的技术之一，它是关系数据库的基石，是企业级中间件不可或缺的部分，但通常通过黑盒的方式提供。但是在许多情况下，这种古老的事务方式已经不能够适应现代大规模系统和NoSQL数据库的需要了，现代系统要求更高的性能要求，更大的数据量，更高的可用性。在这种情况下，传统的事务模型被定制的事务或者半事务模型所取代，而在这些模型中事务性并不像以往那样被看重。

在本文中我们会讨论一下key-value数据库的无锁事务操作，这种技术可以广泛应用于任何一种数据库系统。在GridDynamics中，我们就用这种技术在Oracle Coherence上实现了一个轻量级的非标准的事务机制。在第一部分我们会通过几个重要的用例来了解两种简单的方法，在第二部分我们会研究更多更通用的方法，比如说PostgreSQL的MVCC实现。

原子性缓存切换，读提交隔离

让我们从一个简单易于实现的方法开始，这个方法适用于读远多于写的系统。比如说电子商务系统中每天要进行的数据更新，一些管理性操作例如无效货品的修复以及缓存更新。

最简单的例子是把所有数据都加载进缓存里，然后通过一个代理接口来执行诸如 get() 和 put() 这样的操作。这个接口会与两个缓存打交道，A和B，按照以下逻辑运行（图 1）：

• 任何时候只能有一个缓存处于可用状态，代理接口会把所有的请求路由给它（图1.1）。
• 更新数据的时候把新数据加载到目前不可用的缓存中（图1.2）。
• 更新进程切换标志哪个缓存可用的标记（图1.3），代理接口开始把新的读请求分发到新标记为可用的缓存。
• 缓存切换阶段的事务可以依据不用的持久性和隔离性要求来分别处理。如果允许“不可重复读” ，那么切换很简单，老数据会被立刻清理掉。否则，代理接口会维护一个仍未结束的事务列表，并把属于这个列表中的每一个请求都路由到原来的缓存中。只有当列表中的所有事物都提交或者放弃之后老数据才会被清空。 more >>

3DTouch尝鲜

随着IOS9和iphone6S的推出,苹果新提供了3D Touch功能,让以往平面的操作,扩展到了3维.
让我们对应用的操作增加了新的方式.
目前最常用的3DTouch方式就是快捷菜单已经内容浏览了.于是我也把我练手的一个知乎日报的DEMO程序增加上了3DTouch.

由于在xcode的模拟器上是没有办法模拟出3DTouch的操作,因此如果想在模拟器上开发这个功能的话,需要参考github上的一位大神的解决方案,当然这种方案只能模拟快捷菜单,其他的3DTouch的操作是没法模拟的,最好的方式还是去买一个iphone6S.

快捷菜单

所谓的快捷菜单就是 在应用的图标上重按,然后会出现几个快捷项.直接点击这些菜单项就可以执行某些操作.

MacOS下JAVA开发使用经验(二)

上一篇文章)写了最常用的一些工具,接下来再介绍一下提高开发生产力的工具.

软件

BetterZip

这个是MAC下很常用的压缩/解压的软件.它对于Windows下的中文支持的比较好.
基本上没有遇到在Windows下压缩的中文字符,到Mac下就无法打开的问题了.
同时他也支持rar格式. 对于我们JAVA的各种ear,war,jar等 都是可以直接打开,然后编辑的.当双击某个jar中的xml文件后会自动打开关联的文件编辑器,然后保存文本编辑器也会自动的更新jar包.

Beyond Compare

这个是我们搞IT的大杀器.以前只有在Windows上有,当时为了这一个软件,我不得不装上了虚拟机.
不得不说,用过这么多文件比较工具,这个始终是神话般的存在.什么DiffMerge FileMerge Araxis Merge Kaleidoscope 都弱爆了.
这个工具可以配合你的sourceTree等代码管理工具使用,直接清晰地对比和合并代码.同时也可以和JD反编译工具配合直接对比class文件的差异(这个可以参考我的另一篇文章).

Redis集群部署

Redis作为目前最常用的内存NOSQL数据库,使用的场景非常的广泛.但是在3.0以前官方一直都是没有集群的方案的.相当于是一个单机内存数据库.为了其高可用,集群的部署是非常有必要的.因此,各种第三方厂商都推出了自己的集群方案.使用的最多的就是豌豆荚开源的Codis,Twitter开源的Twemproxy,Netflix的Dynamo.

目前Redis是3.0.4版本,其中已经自带了Redis Cluster.但是官方的方案有一些架构上的问题.

• 首先,官方方案是完全的去中心化的,依靠自己Server的网络通信来进行同步.那么,在节点比较多的情况下,性能上是有影响的.
• 其二,一个redis进程既负责读写数据又负责集群交互，虽然设计者已经尽可能简化了代码和逻辑，但还是让redis从一个内存NoSQL变成了一个分布式NoSQL.
• 其三,官方方案没有采用一致性哈希,而是预分配slot的形式来进行分片.新节点的加入不是自动的,依赖于外部的ruby脚本.
• 其四,集群版本和单机版本数据不兼容,客户端不兼容.它的集群分发依赖于客户端的驱动. 目前只有JAVA的Jedis Driver支持了Redis Cluster的连接.而spring-data-redis目前也还没有支持官方方案.因此我们不能直接调用.
• 其五,集群至少要分三片,加上主从备份.也就是说至少需要6个节点才能组建Redis集群.

从上面可以看出,目前官方的方案.并不适合我们.它现在还不稳定,开源社区的支持也比较少.
从其他三方的方案中进行对比,最后选择Codis作为我们Redis集群部署的方案.

Kafka集群

Kafka作为新一代的消息系统,最初是由LinkedIn公司开发,之后开源成为Apache的顶级项目.
它与传统的消息系统相比,有以下不同:

• 它被设计为一个分布式系统，易于向外扩展；
• 它同时为发布和订阅提供高吞吐量；
• 它支持多订阅者，当失败时能自动平衡消费者；
• 它将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。

同时.Kafka提供了多种客户端的Driver.这点比阿里的RocketMQ要好.而阿里的RocketMQ在性能和使用方面优于Kafka,不过只提供JAVA的客户端.

而我们系统中不光只有JAVA应用,因此,在我们的系统中,决定使用kafka作为我们的消息服务.

MacOS下JAVA开发使用经验(一)

我是大概在2007年左右接触到MACOS的.当时先是折腾了半年的Ubuntu,然后在一个偶然的机会发现了MacOS 10.4.6,看到界面截图,简直是惊为天人.刚好那个时候苹果开始使用Intel的CPU.让我们有机会品尝了一下黑苹果的滋味.虽然在我的HP DV2621笔记本上装黑苹果又卡又热,但是还是让我深深的喜欢上了这个系统.到2009年,实在是憋不住了,买了我人生中的第一台macbook mb990.然后毕业后到公司上班也申请一直使用苹果系统.反正我是搞JAVA的,到是和操作系统关系不大,反而我到是觉得搞JAVA开发,Mac比Win还好用些,这么多年来也是越用越顺手.这里分享下我平时使用的一些经验或软件吧~

硬件

这部分没啥好说的,苹果的电脑就这么几个型号.不过对于我们上班的来说,还是推荐使用rMBP+24寸以上的显示器的组合. 苹果的视网膜屏确实相当牛逼,看代码完全是种享受.
配置的话,只要不是macmini和air以及现在新出的macbook的话,应该都还OK.我个人是使用的2014年rMBP 15寸低配那款.编译和运行的速度秒杀大多数的机器.
而对于键盘和鼠标的话,没有什么特殊的要求.机械键盘我还没用过,不好评价的.鼠标的话,我用的是苹果的Magic Mouse,有人说那鼠标完全是反人类的,其实我觉得还好,现在平均每天要用10个小时以上,也没觉得特别的不适.使用这个鼠标最大的好处肯定就是它的多点触控了.几个工具全屏再加上几个多桌面,使用那个鼠标很容易的就可以做切换.

基于内容地址的Docker Registry2.0

由于最近在项目中需要使用Docker,并且需要持续集成,因此就研究了一下Docker的Registry.突然发现V1版本的Registry已经被官方打为废弃了.新的第二个版本的Registry已经开始提供服务.因此就着重的研究了一下这个,无奈现在相关的文档还非常的少.找到一篇日文的文章感觉还不错,因此就翻译了一下.先申明下我日语也就是玩票的性质,肯定有很多不正确的地方,还望海涵.

Content Addressable DockerイメージとRegistry2.0

Docker1.6已经出了.它增加了很多新的功能,比如:容器与镜像的标记(具体更多的信息可以看RancherOS的“Adding Label Support to Docker 1.6”),日志记录的多种驱动等等.这次的Release更新中,我最感兴趣的就是Docker的Image开始基于内容进行寻址(Content-addressable) (#11109)

到目前为止,Docker Registry通过镜像的名字与Tag与Image进行交互(比如:tcnksm/golang:1.2).而Tag是由镜像的作者自己定义的.这就不能保证在相同的Tag下的镜像内容是完全相同的(在GIG中由于使用了commit的哈希值,因此标签不会出现这种情况.)

与Docker1.6同时发布的Registry2.0(docker/distribution)为镜像使用了一种不重复的ID(digest)来确保同一ID值所引用的镜像的内容始终是相同的(immutable image references)

Zookeeper 数据清理

问题现象:

情况是这样的,我在自己的笔记本上安装了Zookeeper,并使用了默认的配置作为开发的时候使用.
因为平时会关机等等,所以重启zookeeper的次数也是比较频繁的.突然最近发现系统磁盘空间就不够用了.
这不查不知道,一查吓一跳,zookeeper的data数据文件夹占了大概5个G的空间,而我zookeeper里面其实也没有什么东西,怎么会这么大呢?于是有了这篇文章的诞生.

问题分析:

首先我就在网上找了一圈,都说使用zk/bin里面的zkClean.sh就可以了.
其调用语法是:./zkClean.sh -n 3 这样就可以保留最近的三个Log文件.
但是我执行了后,发现然并卵.点反应都没有.一个文件都没有删除掉..
然后又找了一篇文章:ZooKeepr日志清理.按照里面说的第一种方法,直接删除data文件夹里面的数据.只保留最近的3个.结果删除以后,数据都没了…说明这个方法里面肯定有什么猫腻是没有发现的.