zookeeper是什么（zookeeper是什么意思）

本篇文章给大家谈谈zookeeper是什么，以及zookeeper是什么意思对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体，7
• 2、zookeeper 到底是个什么
• 3、zookeeper在Dubbo中扮演了一个什么角色，起到了什么作用
• 4、为什么要使用zookeeper?有什么功能吗？
• 5、Zookeeper（一）可以用来干什么？
• 6、Zookeeper在hadoop中充当什么角色，dubbo使用zookeeper又是干嘛的？

什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体，7

、zookeeper是hbase必毁启逗不可少的，它提供了分布式系统当中旁历的高效协调服务。 2、hbase内置了zookeeper，但效果一般不好，一般都选择外置独立的zookeeper。 好长时间不整这个了，其实这些东西自己搭建一纤卖遍就能明白个八九了。 试试吧。

zookeeper 到底是个什么

1. 什么是Zookeeper

大数据集群包括多种类型的服务节点，如何协调各节点之间的服务，需要一种强有力的工具来完成。如果我们把大数据集群中的每个服务节点当作一种动物，那么ZooKeeper便是这里的动物管理员了。借助百度百科的定手和义，ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。

Zookeeper提供的服务功能有：

1) 数据注册功能;

2) 数据查询功能;

3) 数据监听功能;

Zookeeper能用来做什么：

a) 分布式系统中主从协调

b) 分布式系统中配置信息同步

c) 分布式系统中分布式共享锁(Master选举)

d) 分布式系统中负载均衡

e) 分布式系统中明名称服务

2. Zookeeper的数据组织形式

Zookeeper的数据存储形式是key-value，毕掘盯 key类型与平时我们看到的类型不太一样，这里是一种类似路径的形式，如”/aa/bb”。 value值是byte[]字节数组类型。 我们称它为ZNode。

ZNode根据其特点不同，可以分为三种类型：持久(persistent)节点、顺序(sequential)节点和临时(ephemeral)节点。

持久节点: 一经创建，就会一直存储，除非客户端主动删除该节点。

顺序节点：客户端在创建此类节点时，会在该节点后拼接上一个序号，类似/aa0000000001，/aa0000000002...

临时节点：创建此类节点时，客户端必须和zookeeper服务端保持心跳。

其中还可以将这三种节点进行组合：

永久节点+顺序节点;

临时节散巧点+顺序节点;

[img]

zookeeper在Dubbo中扮演了一个什么角色，起到了什么作用

zookeeper是注册中心，闭薯用来管理提供者和消费者的，包括软负载均衡等；DUBBO是一个SOA分轿行者布式框架，它也用到的带备ZOOKEEPER，其它的HADOOP等也用到的这个注册中心

为什么要使用zookeeper?有什么功能吗？

2006年的时候Google出了Chubby来解决分布一致性的问题(distributed consensus problem)，所有集群哗仔中的服务器通过清迅Chubby最终选出一个Master Server ，最后这个Master Server来协调工作。简单来说其原理就是：在一个分布式系统中，有一组服务器在运行同样的程序，它们需要确定一个Value，以那个服务器提供的信息为主/为准，当这个服务器经过n/2+1的方式被选出来后，所有的机器上的Process都会被通知到这个服务器就是主服务器 Master服务器，大家以他提供的信息为准。很想知道Google Chubby中的奥妙，可惜人家Google不开源，自家用。

但是在2009年3年以后沉默已久的Yahoo在Apache上推出了类似的产品ZooKeeper，并且在Google原有Chubby的设计思想上做了一些改进，因为ZooKeeper并不是完全遵循Paxos协议，而是基于自身设计并优化的一个2 phase commit的协议，如图所示：

ZooKeeper跟Chubby一样用来存放一些相互协作的信息(Coordination)，这些信息比较小一般不会超过1M，在zookeeper中是以一种hierarchical tree的形式来存放，这些具体的Key/Value信息就store在tree node中。

当有事件导致node数据，例如乱正汪：变更，增加，删除时，Zookeeper就会调用 triggerWatch方法，判断当前的path来是否有对应的监听者(watcher),如果有watcher，会触发其process方法，执行process方法中的业务逻辑

Zookeeper（一）可以用来干什么？

当我们在学习一项新技术的时候，首先应了解的就是它是用来干什么的。下面一段话是来自Zookeeper官网的一段解释：

ZooKeeper用于为分布式应用程序提供分布式并且开源的协调服务。它公开了一组简单的原语，分布式应用程序可以基于这些原语来实现用于同步，配置维护以及组和命名的更高级别的服务。

对于不了解Zookeeper的初学者来说，看完是不是很懵逼？所以本文将从程序员的角色出发，引导大家快速的去了解Zookeeper能够用来干什么。以此作为学习Zookeeper的入门，希望能够帮助到大家。

操作基于node组成的树形模型的方法很简单，无非就是创建node，删除node，监听node等简单的操作。

在介绍Zookeeper的主要用途前，我们先按不同维度将node对象划分为几种类型。

综上，node可分为四大类。持久无序、闷笑持久有序、临时无序、临时有序。

到此，我们不妨思考一下，基于node的树形结构以及四种不同的分类，可以实现什么用途呢？

思考倒计时 10......

思考倒计时 9........

思考倒计时 8........

思考倒计时 0........

有没有跟笔者一样，一个都没想出来的同学？没关系，接下来就简明说说Zookeeper到底可以用来干什么?

获得锁时，无非就是多个客户端，争着抢着去创建同一个node节点，谁第一个创建成做闷功，谁就获得锁。

释放时，抢到锁的客户端就去删除node，然后通知其他需要创建锁的客户端，去再次争抢创建node节点。

正如我们之前介绍的一共有四种类型的node，那么创建时我们该选择哪种类型呢？

如果选择持久node，那当持有该node锁的客户端出现网络故障后，会产生什么问题呢？客户端是不是就无法主动删除node，导致锁无法正常释放了！所以我们应选用临时node，这样即时故障后，node锁也会随着会话蚂胡含结束而删除。

至于有序还是无序的node，则需要根据不同类型的锁来选择。例如：实现非公平独占锁，我们就选择无序；实现公平锁或共享锁，我们就选择有序。实现原理很简单，小伙伴们可以自己稍作思考，本文不再细说。

Master的选举过程其实类似node锁的创建，删除与监听。

临时node由客户端A创建，所以客户端A所在服务器当选为master。

前面介绍过，node组成了树形结构。类似操作系统中的文件路径，树形分支上的node名称拼接成的全路径，它必定是唯一的。因此我们可以使用node的全路径作为命名方式。

本文作为Zookeeper的入门篇，主要从Node对象的角度讲解了Zookeeper可以用来干么。当然Node的设计还有更多可具体深入的地方。Zookeeper也不仅只有Node，还有更多值得我们学习的知识，例如：Watcher机制，如何保障事务的顺序一致性、集群间数据的一致性，以及必须要知道的ZAB协议等等。

最后祝大家看完此文后能够有所收获！

Zookeeper在hadoop中充当什么角色，dubbo使用zookeeper又是干嘛的？

Apache Zookeeper是我最近遇到的最酷的技术，我是在研究Solr Cloud功能的时候发现的。Solr的分布式计算让我印象深刻。你只要开启一个新的实例就能自动在Solr Cloud中找到。它会将自己分派到某个分片中，并确定出自己是一个Leader（源）还是一个副本。不一会儿，你就可以在你的那些服务器上查询到了。即便某些服务器宕机了也可以继续工作。非常动态、聪明、酷。

将运行多个应用程序作为一个逻辑程序并不是什么新玩意。事实上，我在几年前就已写过类似的软件。这种架构比较让人迷樱空轿惑，使用起来也费劲。为此Apache Zookeeper提供了一套工具用于管理这种软件。

为什么叫Zoo？“因为要协调的分布式系统是一个动物园”。

在本篇文章中，我将说明如何使用PHP安装和集成Apache ZooKeeper。我们将通过service来协调各个独立的PHP脚本，并让它们同意某个成为Leader（所以称作Leader选举）。当Leader退出（或崩溃）时，worker可检测到并再选出新的leader。

ZooKeeper是一个中性化的Service，用于管理配置信息、命名、提供分布式同步，还能组合Service。所有这些种类的Service都会在分布式应用程序中使用到。每次编写这些Service都会涉及大量的修bug和竞争情况。正因为这种编写这些Service有一定难度，所以脊肆通常都会忽视它们，这就使得在应用程序有变化时变得难以管理应用程序。亏塌即使处理得当，实现这些服务的不同方法也会使得部署应用程序变得难以管理。

虽然ZooKeeper是一个Java应用程序，但C也可以使用。这里就有个PHP的扩展，由Andrei Zmievski在2009创建并维护。你可以从PECL中下载，或从GitHub中直接获取PHP-ZooKeeper。

要使用该扩展你首先要安装ZooKeeper。可以从官方网站下载。

$ tar zxfv zookeeper-3.4.5.tar.gz

$ cd zookeeper-3.4.5/src/c

$ ./configure --prefix=/usr/

$ make

$ sudo make install

这样就会安装ZooKeeper的库和头文件。现在准备编译PHP扩展。

$ cd$ git clone

$ cd php-zookeeper

$ phpize

$ ./configure

$ make

$ sudo make install

将“zookeeper.so”添加到PHP配置中。

$ vim /etc/php5/cli/conf.d/20-zookeeper.ini

因为我不需要运行在web服务环境下，所以这里我只编辑了CLI的配置。将下面的行复制到ini文件中。

extension=zookeeper.so

使用如下命令来确定扩展是否已起作用。

$ php -m | grep zookeeper

zookeeper

现在是时候运行ZooKeeper了。目前唯一还没有做的是配置。创建一个用于存放所有service数据的目录。

$ mkdir /home/you-account/zoo

$ cd$ cd zookeeper-3.4.5/

$ cp conf/zoo_sample.cfg conf/zoo.cfg

$ vim conf/zoo.cfg

找到名为“dataDir”的属性，将其指向“/home/you-account/zoo”目录。

$ bin/zkServer.sh start

$ bin/zkCli.sh -server 127.0.0.1:2181[zk: 127.0.0.1:2181(CONNECTED) 14] create /test 1

Created /test[zk: 127.0.0.1:2181(CONNECTED) 19] ls /[test, zookeeper]

此时，你已成功连到了ZooKeeper，并创建了一个名为“/test”的znode（稍后我们会用到）。ZooKeeper以树形结构保存数据。这很类似于文件系统，但“文件夹”（译者注：这里指非最底层的节点）又和文件很像。znode是ZooKeeper保存的实体。Node（节点）的说法很容易被混淆，所以为了避免混淆这里使用了znode。

因为我们稍后还会使用，所以这里我们让客户端保持连接状态。开启一个新窗口，并创建一个zookeeperdemo1.php文件。

?php

class ZookeeperDemo extends Zookeeper {

public function watcher( $i, $type, $key ) {

echo "Insider Watcher\n";

// Watcher gets consumed so we need to set a new one

$this-get( '/test', array($this, 'watcher' ) );

}

}

$zoo = new ZookeeperDemo('127.0.0.1:2181');$zoo-get( '/test', array($zoo, 'watcher' ) );

while( true ) {

echo '.';

sleep(2);}

现在运行该脚本。

$ php zookeeperdemo1.php

此处应该会每隔2秒产生一个点。现在切换到ZooKeeper客户端，并更新“/test”值。

[zk: 127.0.0.1:2181(CONNECTED) 20] set /test foo

这样就会静默触发PHP脚本中的“Insider Watcher”消息。怎么会这样的？

ZooKeeper提供了可以绑定在znode的监视器。如果监视器发现znode发生变化，该service会立即通知所有相关的客户端。这就是PHP脚本如何知道变化的。Zookeeper::get方法的第二个参数是回调函数。当触发事件时，监视器会被消费掉，所以我们需要在回调函数中再次设置监视器。

现在你可以准备创建分布式应用程序了。其中的挑战是让这些独立的程序决定哪个（是leader）协调它们的工作，以及哪些（是worker）需要执行。这个处理过程叫做leader选举，在ZooKeeper Recipes and Solutions你能看到相关的实现方法。

这里简单来说就是，每个处理（或服务器）紧盯着相邻的那个处理（或服务器）。如果一个已被监视的处理（也即Leader）退出或者崩溃了，监视程序就会查找其相邻（此时最老）的那个处理作为Leader。

在真实的应用程序中，leader会给worker分配任务、监控进程和保存结果。这里为了简化，我跳过了这些部分。

创建一个新的PHP文件，命名为worker.php。

?php

class Worker extends Zookeeper {

const CONTAINER = '/cluster';

protected $acl = array(

array(

'perms' = Zookeeper::PERM_ALL,

'scheme' = 'world',

'id' = 'anyone' ) );

private $isLeader = false;

private $znode;

public function __construct( $host = '', $watcher_cb = null, $recv_timeout = 10000 ) {

parent::__construct( $host, $watcher_cb, $recv_timeout );

}

public function register() {

if( ! $this-exists( self::CONTAINER ) ) {

$this-create( self::CONTAINER, null, $this-acl );

}

$this-znode = $this-create( self::CONTAINER . '/w-',

null,

$this-acl,

Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );

$this-znode = str_replace( self::CONTAINER .'/', '', $this-znode );

printf( "I'm registred as: %s\n", $this-znode );

$watching = $this-watchPrevious();

if( $watching == $this-znode ) {

printf( "Nobody here, I'm the leader\n" );

$this-setLeader( true ); }

else {

printf( "I'm watching %s\n", $watching );

}

}

public function watchPrevious() {

$workers = $this-getChildren( self::CONTAINER );

sort( $workers );

$size = sizeof( $workers );

for( $i = 0 ; $i $size ; $i++ ) {

if( $this-znode == $workers[ $i ] ) {

if( $i 0 ) {

$this-get( self::CONTAINER . '/' . $workers[ $i - 1 ], array( $this, 'watchNode' ) );

return $workers[ $i - 1 ];

}

return $workers[ $i ];

}

}

throw new Exception( sprintf( "Something went very wrong! I can't find myself: %s/%s",

self::CONTAINER,

$this-znode ) );

}

public function watchNode( $i, $type, $name ) {

$watching = $this-watchPrevious();

if( $watching == $this-znode ) {

printf( "I'm the new leader!\n" );

$this-setLeader( true );

}

else {

printf( "Now I'm watching %s\n", $watching ); }

}

public function isLeader() {

return $this-isLeader;

}

public function setLeader($flag) {

$this-isLeader = $flag;

}

public function run() {

$this-register();

while( true ) {

if( $this-isLeader() ) {

$this-doLeaderJob();

}

else {

$this-doWorkerJob();

}

sleep( 2 );

}

}

public function doLeaderJob() {

echo "Leading\n";

}

public function doWorkerJob() {

echo "Working\n";

}

}

$worker = new Worker( '127.0.0.1:2181' );$worker-run();

打开至少3个终端，在每个终端中运行以下脚本：

# term1

$ php worker.php

I'm registred as: w-0000000001Nobody here, I'm the leader

Leading

# term2

$ php worker.php

I'm registred as: w-0000000002I'm watching w-0000000001

Working

# term3

$ php worker.php

I'm registred as: w-0000000003I'm watching w-0000000002

Working

现在模拟Leader崩溃的情形。使用Ctrl+c或其他方法退出第一个脚本。刚开始不会有任何变化，worker可以继续工作。后来，ZooKeeper会发现超时，并选举出新的leader。

虽然这些脚本很容易理解，但是还是有必要对已使用的Zookeeper标志作注释。

$this-znode = $this-create( self::CONTAINER . '/w-', null, $this-acl, Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );

每个znode都是EPHEMERAL和SEQUENCE的。

EPHEMRAL代表当客户端失去连接时移除该znode。这就是为何PHP脚本会知道超时。SEQUENCE代表在每个znode名称后添加顺序标识。我们通过这些唯一标识来标记worker。

在PHP部分还有些问题要注意。该扩展目前还是beta版，如果使用不当很容易发生segmentation fault。比如，不能传入普通函数作为回调函数，传入的必须为方法。我希望更多PHP社区的同仁可以看到Apache ZooKeeper的好，同时该扩展也会获得更多的支持。

ZooKeeper是一个强大的软件，拥有简洁和简单的API。由于文档和示例都做的很好，任何人都可以很容易的编写分布式软件。让我们开始吧，这会很有趣的。

关于zookeeper是什么和zookeeper是什么意思的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。