使用庫pybloom_live

from pybloom_live import ScalableBloomFilter,BloomFilter# 可自動伸縮的布隆過濾器bloom = ScalableBloomFilter(initial_capacity=100,error_rate=0.001)# 添加內容bloom.add(’daqi’)print(’daqi’in bloom)# 定長的布隆過濾器bloom1 = BloomFilter(capacity=10000)bloom1.add(’daqi’)print(’daqi’in bloom1)

手動實現(xiàn)一個簡單的布隆過濾器

使用bitarray實現(xiàn)，將初始數(shù)組置為0，根據(jù)hash計算出節(jié)點置為1，同時寫了一個生成隨機碼的函數(shù)用于測試。

import randomimport mmh3from bitarray import bitarrayimport os.pathimport re# bitarray長度BIT_SIZE = 50000class BloomFilter(): def __init__(self): bit_array = bitarray(BIT_SIZE) bit_array.setall(0) self.bit_array = bit_array self.bit_size = self.length() def get_points(self, url): ''' 生成需要插入的位置 :param url: :return:節(jié)點的列表 ''' point_list = [] for i in range(7): point = mmh3.hash(url,30+i) % self.bit_size point_list.append(point) return point_list def add(self, url): ''' 添加url到bitarray中 :param url: :return: ''' res = self.bitarray_expand() points = self.get_points(url) try: for point in points:self.bit_array[point] = 1 return ’注冊完成！’ except Exception as e: return e def contains(self,url): ''' 驗證url是否存在 :param url: :return:True or False ''' points = self.get_points(url) # 在bitarray中查找對應的點，如果有一個點值為0就說明該url不存在 for p in points: if self.bit_array[p] == 0:return False return True def count(self): ''' 獲取bitarrray中使用的節(jié)點數(shù) :return: bitarray長度 ''' return self.bit_array.count() def length(self): ''' 獲取bitarray的長度 :return:bitarray的長度 ''' return len(self.bit_array) def bitarray_expand(self): ''' 擴充bitarray長度 :return:bitarray的長度或使用率，布隆過濾器的bitarray的使用最好不要超過50%,這樣誤判率低一些 ''' isusespace = round(int(self.count()) / int(self.length()),4) if 0.50 < isusespace: # 新建bitarray expand_bitarray = bitarray(BIT_SIZE) expand_bitarray.setall(0) # 增加新建的bitarray self.bit_array = self.bit_array + expand_bitarray self.bit_size = self.length() return self.bit_size else: return f’長度尚可,{round(isusespace * 100,2)}%’def get_captcha(): ''' 生成用于測試的隨機碼 :return: ''' seed = ’0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ’ captcha = '' for i in range(10): captcha += random.choice(seed) print(captcha) return captchaif __name__ == ’__main__’: bloom = BloomFilter() for i in range(100000): bloom.add(f’www.{get_captcha()}.com’) print(bloom.length()) print(bloom.count()) print(bloom.count())

到此這篇關于python使用布隆過濾器的實現(xiàn)示例的文章就介紹到這了,更多相關python 布隆過濾器內容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持好吧啦網(wǎng)！