利用Redis技术实现数据排重（利用redis 数据排重）

随着用户量日益庞大，冗余数据的产生也越来越多，冗余数据对某些网站的统计数据会产生较大影响，因此，对于数据的排重越来越受到现在互联网企业的重视。而Redis技术作为一款使用广泛的开源缓存技术，其频繁的读写能力，被众多用户选择作为数据排重的必备技术。

#### 一、原理

以文章评论工具为例，每一条评论我们均会发起一个数据库查询，判断该条评论是否已被提交，如果该用户未曾提交，我们则可允许该用户提交，如果已提交则拒绝该用户提交。此时业务的基本流程，就可以借鉴Redis的数据排重，实现逻辑就是：

1. 在写入Redis之前，先通过评论的唯一ID，从Redis缓存中查询，看已经有没有存储该用户评论；

2. 如果Redis缓存中已存在相应数据，则判断为重复，即可拒绝用户提交；

3. 如果Redis缓存中无该数据，则将唯一ID放入缓存，说明该用户已经提交，同时也避免了数据库查询，故能够提升查询效率；

基于这样的原理，在Redis中存储的可以是用户的ID、文章的ID、评论的声明。这些ID只需要存在Redis中就可以，无需存储任何其他信息，以此来减少数据的存储量。

#### 二、实现

若以上述的评论系统为例，假设用户的ID、文章的ID分别为UserID、artID，则在Redis中存储的key形式可以为：

string redis_key = "comment_" + userID + "_" + artID;

同理，在每次发布评论之前，先进行查询，判断相应key是否存在；如果存在，则表示该用户已提交过评论，即可拒绝；而如果不存在，则继续执行提交评论流程：

int result = 0;
string redis_key = "comment_" + userID + "_" + artID;
if (redis_exists(redis_key) == 0) {
    redis_set(redis_key, 0); // 将key值存入Redis缓存
    result = post_comment();
}

#### 三、总结

通过上述的探讨，可以发现，利用Redis作为数据排重的技术，既可以提升效率，减少重复提交，也可以节省更多的资源。所以为了在构建更有效的数据排重，Redis技术已经成为了不可替代的优质技术之一。