一致性hash算法常用于分布式緩存服務(wù),把所有的服務(wù)節(jié)點(diǎn)進(jìn)行hash,得到hash環(huán)上的位置。添加進(jìn)服務(wù)的數(shù)據(jù)用同樣的算法進(jìn)行hash,然后從hash環(huán)上取得大于該hash值的第一個(gè)節(jié)點(diǎn),如果沒有大于該值的節(jié)點(diǎn),那么就取整個(gè)環(huán)的第一個(gè)節(jié)點(diǎn)。
 什么是一致性hash
一致性哈希算法(Consistent Hashing Algorithm)是一種分布式算法,常用于負(fù)載均衡。Memcached client也選擇這種算法,解決將key-value均勻分配到眾多Memcached server上的問題。它可以取代傳統(tǒng)的取模操作,解決了取模操作無法應(yīng)對(duì)增刪Memcached Server的問題(增刪server會(huì)導(dǎo)致同一個(gè)key,在get操作時(shí)分配不到數(shù)據(jù)真正存儲(chǔ)的server,命中率會(huì)急劇下降)。
一致性哈希將整個(gè)哈希值空間組織成一個(gè)虛擬的圓環(huán),如假設(shè)某哈希函數(shù)H的值空間為0-2^32-1(即哈希值是一個(gè)32位無符號(hào)整形)。
整個(gè)空間按順時(shí)針方向組織,0和232-1在零點(diǎn)中方向重合。
一致性hash有什么用
一致性hash算法常用于分布式緩存服務(wù),把所有的服務(wù)節(jié)點(diǎn)進(jìn)行hash,得到hash環(huán)上的位置。
添加進(jìn)服務(wù)的數(shù)據(jù)用同樣的算法進(jìn)行hash,然后從hash環(huán)上取得大于該hash值的第一個(gè)節(jié)點(diǎn),如果沒有大于該值的節(jié)點(diǎn),那么就取整個(gè)環(huán)的第一個(gè)節(jié)點(diǎn)。
存在問題
在節(jié)點(diǎn)太少的情況,有可能存在hash偏移。就是節(jié)點(diǎn)負(fù)載不均衡,大量數(shù)據(jù)落在其中一個(gè)節(jié)點(diǎn)上面。
解決辦法是,在環(huán)上面虛擬出足夠多的節(jié)點(diǎn),虛擬的節(jié)點(diǎn)和實(shí)際節(jié)點(diǎn)做對(duì)應(yīng)。
java代碼實(shí)現(xiàn)
package com.hj.lock.alg;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import java.util.*;
public class ConsistentHash<T> {
    /**
     * Hash計(jì)算對(duì)象,用于自定義hash算法
     */
    HashFunc hashFunc;
    /**
     * 復(fù)制的節(jié)點(diǎn)個(gè)數(shù)
     */
    private final int numberOfReplicas;
    /**
     * 一致性Hash環(huán)
     */
    private final TreeMap<Long, T> hashCircle = new TreeMap<>();
    /**
     * 構(gòu)造,使用Java默認(rèn)的Hash算法
     *
     * @param numberOfReplicas 復(fù)制的節(jié)點(diǎn)個(gè)數(shù),增加每個(gè)節(jié)點(diǎn)的復(fù)制節(jié)點(diǎn)有利于負(fù)載均衡
     * @param
    public ConsistentHash(int numberOfReplicas, Collection<T> nodes){
        this.numberOfReplicas = numberOfReplicas;
        this.hashFunc = ConsistentHash::md5HashingAlg;
        //初始化節(jié)點(diǎn)
        nodes.forEach(node -> add(node));
    }
    /**
     * 增加節(jié)點(diǎn)<br>
     * 每增加一個(gè)節(jié)點(diǎn),就會(huì)在閉環(huán)上增加給定復(fù)制節(jié)點(diǎn)數(shù)<br>
     * 例如復(fù)制節(jié)點(diǎn)數(shù)是2,則每調(diào)用此方法一次,增加兩個(gè)虛擬節(jié)點(diǎn),這兩個(gè)節(jié)點(diǎn)指向同一Node
     * 由于hash算法會(huì)調(diào)用node的toString方法,故按照toString去重
     *
     * @param
    public void add(T node){
        for (int i = 0; i < numberOfReplicas; i++) {
            hashCircle.put(hashFunc.hash(node.toString() + i), node);
        }
    }
    /**
     * 移除節(jié)點(diǎn)的同時(shí)移除相應(yīng)的虛擬節(jié)點(diǎn)
     *
     * @param
    public void remove(T node){
        for (int i = 0; i < numberOfReplicas; i++) {
            hashCircle.remove(hashFunc.hash(node.toString() + i));
        }
    }
    /**
     * 獲得一個(gè)最近的順時(shí)針節(jié)點(diǎn)
     *
     * @param key 為給定鍵取Hash,取得順時(shí)針方向上最近的一個(gè)虛擬節(jié)點(diǎn)對(duì)應(yīng)的實(shí)際節(jié)點(diǎn)
     * @return
    public T get(Object key){
        if (hashCircle.isEmpty()) {
            return null;
        }
        long hash = hashFunc.hash(key);
        hash = nextHash(hash);
        //正好命中
        return hashCircle.get(hash);
    }
    public Long nextHash(Long hash){
        if (!hashCircle.containsKey(hash)) {
            Long next = hashCircle.higherKey(hash + 1);//返回下一個(gè)hash值
            hash = next == null ? hashCircle.firstKey() : next;
        }
        return hash;
    }
    /**
     * 使用MD5算法
     *
     * @param key
     * @return
    private static long md5HashingAlg(Object key){
        MessageDigest md5 = null;
        try {
            md5 = MessageDigest.getInstance("MD5");
            md5.reset();
            String str = key.toString();
            md5.update(str.getBytes());
            byte[] bKey = md5.digest();
            long res = ((long) (bKey[3] & 0xFF) << 24) | ((long) (bKey[2] & 0xFF) << 16) | ((long) (bKey[1] & 0xFF) << 8) | (long) (bKey[0] & 0xFF);
            return res;
        } catch (NoSuchAlgorithmException e) {
            e.printStackTrace();
        }
        return 0l;
    }
    /**
     * 使用FNV1hash算法
     *
     * @param key
     * @return
    private static long fnv1HashingAlg(Object key){
        final int p = 16777619;
        int hash = (int) 2166136261L;
        String str = key.toString();
        for (int i = 0; i < str.length(); i++) {
            hash = (hash ^ str.charAt(i)) * p;
        }
        hash += hash << 13;
        hash ^= hash >> 7;
        hash += hash << 3;
        hash ^= hash >> 17;
        hash += hash << 5;
        return hash;
    }
    /**
     * Hash算法對(duì)象,用于自定義hash算法
     */
    public interface HashFunc {
        public Long hash(Object key);
    }
    public static void main(String[] args){
        List<String> nodes = new ArrayList<>();
        System.out.println("--添加節(jié)點(diǎn) ABC");
        nodes.add("A");
        nodes.add("B");
        nodes.add("C");
        ConsistentHash<String> chash = new ConsistentHash(1, nodes);
        System.out.println(chash.get("test1"));
        System.out.println(chash.get("aest2"));
        System.out.println(chash.get("dest3"));
        System.out.println("--添加節(jié)點(diǎn) D");
        chash.add("D");
        System.out.println(chash.get("test1"));
        System.out.println(chash.get("aest2"));
        System.out.println(chash.get("dest3"));
        for (Iterator<Map.Entry<Long, String>> it = chash.hashCircle.entrySet().iterator(); it.hasNext(); ) {
            Map.Entry<Long, String> entry = it.next();
            Long k = entry.getKey();
            System.out.println(k + ":" + entry.getValue());
            System.out.println(Math.abs(chash.nextHash(k + 1) - k));
        }
    }
}
以上代碼輸出值:
--添加節(jié)點(diǎn) ABC
C
C
A
--添加節(jié)點(diǎn) D
D
C
A
748451404:B
1081611916
1830063320:A
1542566198
3372629518:D
491985806
3864615324:C
3116163920
參考
https://www.cnblogs.com/lpfuture/p/5796398.html