数据挖掘——如何利用Python实现产品关联性分析apriori算法篇

在实际业务场景中,我们常常会探讨到产品的关联性分析,本篇文章将会介绍一下如何在Python环境下如何利用apriori算法进行数据分析。

1.准备工作

如果需要在Python环境下实现apriori算法,就离不开一个关键的机器学习库mlxtend,运行以下代码进行安装:

pip install mlxtend

为方便进行过程的演示,在此构建测试数据:

import pandas as pd
df=pd.DataFrame({'product_list':['A-C', 'D', 'A-B-C-D','A-C','A-C-D','A-C-B']})

测试数据截图如下:

数据挖掘——如何利用Python实现产品关联性分析apriori算法篇
对上述的数据进行以下处理:
df_chg=df['product_list'].str.split("-")

数据处理后,结果截图如下:

数据挖掘——如何利用Python实现产品关联性分析apriori算法篇
截止到此,准备工作已经完成,下面个将会以df_chg作为参数进行建模。

2.核心函数及代码

2.1 数据预处理

对传入的数据进行预处理,使其成为符合要求的数据。mlxtend模块中有专门用于数据预处理的方法,在这里直接进行调用即可:


from mlxtend.preprocessing import TransactionEncoder
te = TransactionEncoder()
df_tf = te.fit_transform(df_chg)

data = pd.DataFrame(df_tf,columns=te.columns_)

运行以上代码后,传入的df_chg数据会被转换成符合要求的数据data,截图如下:

数据挖掘——如何利用Python实现产品关联性分析apriori算法篇

2.2 两个关键函数

apriori函数

语法:

apriori(df, min_support=0.5, use_colnames=False, max_len=None, verbose=0, low_memory=False)

参数详解:

  • df: pandas模块中的数据帧,DataFrame形式的数据;
  • min_support:一个介于0和1之间的浮点数,表示对返回的项集的最小支持度。
  • use_colnames: 如果为 True,则在返回的 DataFrame 中使用 DataFrame 的列名;如果为False,则返回为列索引。通常情况下我们设置为True。
  • max_len: 生成的项目集的最大长度。如果无(默认),则计算所有可能的项集长度。
  • verbose: 如果 > = 1且 low_memory 为 True 时,显示迭代次数。如果 = 1且low_memory 为 False,则显示组合的数目。
  • low_memory:如果为 True,则使用迭代器搜索 min_support 之上的组合。low _ memory = True 通常只在内存资源有限的情况下用于大型数据集,因为这个实现比默认设置大约慢3-6倍。
association_rules函数

语法:

association_rules(df, metric='confidence', min_threshold=0.8, support_only=False)

参数如下:

  • df: pandas模块中的数据帧,DataFrame形式的数据;
  • metric: 用于评估规则是否有意义的度量。可选参数有以下几种:’support’, ‘confidence’, ‘lift’, ‘leverage’和 ‘conviction’
  • min_threshold: 评估度量的最小阈值,通过度量参数确定候选规则是否有意义。
  • support_only : 只计算规则支持并用 NaN 填充其他度量列。如果: a)输入 DataFrame 是不完整的,例如,不包含所有规则前因和后果的支持值 b)你只是想加快计算速度,因为你不需要其他度量。

附带metric几种参数的计算方法:

  • support(A->C) = support(A∩C) [aka ‘support’], range: [0, 1]
  • confidence(A->C) = support(A∩C) / support(A), range: [0, 1]
  • lift(A->C) = confidence(A->C) / support(C), range: [0, inf]
  • leverage(A->C) = support(A->C) – support(A)*support(C),
    range: [-1, 1]
  • conviction = [1 – support(C)] / [1 – confidence(A->C)],
    range: [0, inf]

3.实际应用案例

以下为完整的调用实例:

import pandas as pd
from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules

df=pd.DataFrame({'product_list':['A-C', 'D', 'A-B-C-D','A-C','A-C-D','A-C-B']})
df_chg=df['product_list'].str.split("-")

te = TransactionEncoder()
df_tf = te.fit_transform(df_chg)

data = pd.DataFrame(df_tf,columns=te.columns_)

frequent_itemsets = apriori(data,min_support=0.2,use_colnames= True)

temp= association_rules(frequent_itemsets,metric = 'confidence',min_threshold = 0.15)

min_lift=1
rules = temp.drop(temp[temp['lift']<min_lift].index)

result = rules[['antecedents','consequents','support','confidence','lift']]
result=result.sort_values(['confidence','lift','support'],ascending=False)
result.to_csv('apriori_result.csv',index=False,encoding='utf-8-sig')

输出结果见下图:

数据挖掘——如何利用Python实现产品关联性分析apriori算法篇

Original: https://blog.csdn.net/qq_41780234/article/details/121920759
Author: theskylife
Title: 数据挖掘——如何利用Python实现产品关联性分析apriori算法篇

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/638706/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球