基于LightGBM实现保险反欺诈预测

项目以保险风控为背景，保险是重要的金融体系，对社会发展，民生保障起到重要作用。保险欺诈近些年层出不穷，在某些险种上保险欺诈的金额已经占到了理赔金额的20%甚至更多。对保险欺诈的识别成为保险行业中的关键应用场景。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

一、项目背景

项目以保险风控为背景，保险是重要的金融体系，对社会发展，民生保障起到重要作用。保险欺诈近些年层出不穷，在某些险种上保险欺诈的金额已经占到了理赔金额的20%甚至更多。对保险欺诈的识别成为保险行业中的关键应用场景。

【任务】 数据集提供了之前客户索赔的车险数据，希望你能开发模型帮助公司预测哪些索赔是欺诈行为

【评价标准】 AUC, 即ROC曲线下面的面积 (Area under the Curve of ROC)

二、项目方案

1. 简述技术路线

流程：数据处理 →模型建模→训练→评估预测

在本次项目中，使用的数据集不存在缺失和重复，不用经过清洗和处理，使用sklearn完成模型建模和评估等操作，为完成预测任务采用了lightgbm进行模型训练。

2. Sklearn介绍 -机器学习最常用的一个库

Sklearn 全称 Scikit-learn。它涵盖了分类、回归、聚类、降维、模型选择、数据预处理六大模块，降低机器学习实践门槛，将复杂的数学计算集成为简单的函数，并提供了众多公开数据集和学习案例。

官网中有详细的介绍：Sklearn官方文档

可以在AI Studio中进一步学习它:『行远见大』Python 进阶篇：Sklearn 库

下面是sklearn的算法选择路径，可供在模型选择中进行参考：

       

三、数据说明

1. 挂载aistudio中的数据集：保险反欺诈预测

2. 数据集内容：train.csv 训练集 test(1).csv 测试集 submission.csv 提交格式

3. 通过载入数据集以及初步观察，对项目提供的数据集的表头进行理解和记录：

表头	说明
policy_id	保险编号
age	年龄
customer_months	成为客户的时长，以月为单位
policy_bind_date	保险绑定日期
policy_state	上保险所在地区
policy_csl	组合单一限制
policy_deductable	保险扣除额
policy_annual_premium	每年的保险费
umbrella_limit	保险责任上限
insured_zip	被保人邮编
insured_sex	被保人性别
insured_education_level	被保人学历
insured_occupation	被保人职业
insured_hobbies	被保人爱好
insured_relationship	被保人关系
capital-gains	资本收益
capital-loss	资本损失
incident_date	出险日期
incident_type	出险类型
collision_type	碰撞类型
incident_severity	事故严重程度
authorities_contacted	联系了当地的哪个机构
incident_state	出事所在的州
incident_city	出事所在的城市
incident_hour_of_the_day	出事所在的小时
number_of_vehicles_involved	涉及车辆数
property_damage	是否有财产损失
bodily_injuries	身体伤害
witnesses	目击证人
police_report_*ailable	是否有警察记录的报告
total_claim_amount	整体索赔金额
injury_claim	伤害索赔金额
property_claim	财产索赔金额
vehicle_claim	汽车索赔金额
auto_make	汽车品牌，比如Audi, BMW, Toyota
auto_model	汽车型号，比如A3,X5,Camry,Passat等
auto_year	汽车购买的年份
fraud	是否欺诈，1或者0

四、代码实现

共分为以下5个部分

1.数据集载入及初步观察

2.探索性数据分析

3.数据建模

简小派

简小派是一款AI原生求职工具，通过简历优化、岗位匹配、项目生成、模拟面试与智能投递，全链路提升求职成功率，帮助普通人更快拿到更好的 offer。

123 查看详情

4.模型评估

5.输出结果

下面将逐一进行介绍

1. 数据集载入及初步观察

In [1]

import pandas as pdimport numpy as np
df=pd.read_csv("保险反欺诈预测/train.csv")
test=pd.read_csv("保险反欺诈预测/test (1).csv")
df.head(10)

       

   policy_id  age  customer_months policy_bind_date policy_state policy_csl  \
0     122576   37              189       2013-08-21            C   500/1000   
1     937713   44              234       1998-01-04            B    250/500   
2     680237   33               23       1996-02-06            B   500/1000   
3     513080   42              210       2008-11-14            A   500/1000   
4     192875   29               81       2002-01-08            A    100/300   
5     690246   47              305       1999-08-14            C    100/300   
6     750108   48              308       2009-06-18            C    250/500   
7     237180   30              103       2008-01-02            C   500/1000   
8     300549   42               46       2010-11-12            A    100/300   
9     532414   41              280       1998-11-10            B    250/500   

   policy_deductable  policy_annual_premium  umbrella_limit  insured_zip  ...  \
0               1000                1465.71         5000000       455456  ...   
1                500                 821.24               0       591805  ...   
2               1000                1844.00               0       442490  ...   
3                500                1867.29               0       439408  ...   
4               1000                 816.25               0       640575  ...   
5                500                1592.15               0       483650  ...   
6               1000                1442.75         3000000       462503  ...   
7               1000                1325.87               0       460080  ...   
8               2000                 950.27               0       610944  ...   
9               1000                1314.43         6000000       455585  ...   

  witnesses police_report_*ailable total_claim_amount injury_claim  \
0         3                       ?              54930         6029   
1         1                     YES              50680         5376   
2         1                      NO              47829         4460   
3         2                     YES              68862        11043   
4         1                     YES              59726         5617   
5         2                      NO              57974        12975   
6         0                      NO              53693         5731   
7         2                     YES              63344        11427   
8         3                       ?              74670        12864   
9         3                     YES              55484         6128   

  property_claim  vehicle_claim  auto_make  auto_model auto_year fraud  
0           5752          44452     Nissan      Maxima      2000     0  
1          10156          37347      Honda       Civic      1996     0  
2           9247          33644       Jeep    Wrangler      2002     0  
3           5955          53548     Suburu      Legacy      2003     1  
4          10301          41550       Ford        F150      2004     0  
5           6619          39006       Saab          93      1996     1  
6           5685          42042     Toyota  Highlander      2013     0  
7           5429          43300     Suburu      Legacy      2012     0  
8          20141          44657      Dodge         RAM      2004     1  
9          12680          37788       Saab         92x      2007     0  

[10 rows x 38 columns]

                In [2]

#查看缺失值df.info()

       

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 700 entries, 0 to 699
Data columns (total 38 columns):
 #   Column                       Non-Null Count  Dtype  
---  ------                       --------------  -----  
 0   policy_id                    700 non-null    int64  
 1   age                          700 non-null    int64  
 2   customer_months              700 non-null    int64  
 3   policy_bind_date             700 non-null    object 
 4   policy_state                 700 non-null    object 
 5   policy_csl                   700 non-null    object 
 6   policy_deductable            700 non-null    int64  
 7   policy_annual_premium        700 non-null    float64
 8   umbrella_limit               700 non-null    int64  
 9   insured_zip                  700 non-null    int64  
 10  insured_sex                  700 non-null    object 
 11  insured_education_level      700 non-null    object 
 12  insured_occupation           700 non-null    object 
 13  insured_hobbies              700 non-null    object 
 14  insured_relationship         700 non-null    object 
 15  capital-gains                700 non-null    int64  
 16  capital-loss                 700 non-null    int64  
 17  incident_date                700 non-null    object 
 18  incident_type                700 non-null    object 
 19  collision_type               700 non-null    object 
 20  incident_severity            700 non-null    object 
 21  authorities_contacted        700 non-null    object 
 22  incident_state               700 non-null    object 
 23  incident_city                700 non-null    object 
 24  incident_hour_of_the_day     700 non-null    int64  
 25  number_of_vehicles_involved  700 non-null    int64  
 26  property_damage              700 non-null    object 
 27  bodily_injuries              700 non-null    int64  
 28  witnesses                    700 non-null    int64  
 29  police_report_*ailable      700 non-null    object 
 30  total_claim_amount           700 non-null    int64  
 31  injury_claim                 700 non-null    int64  
 32  property_claim               700 non-null    int64  
 33  vehicle_claim                700 non-null    int64  
 34  auto_make                    700 non-null    object 
 35  auto_model                   700 non-null    object 
 36  auto_year                    700 non-null    int64  
 37  fraud                        700 non-null    int64  
dtypes: float64(1), int64(18), object(19)
memory usage: 207.9+ KB

        In [4]

# 绘制箱线图，查看异常值import matplotlib.pyplot as pltimport seaborn as sns# 分离数值变量与分类变量Nu_feature = list(df.select_dtypes(exclude=['object']).columns)  
Ca_feature = list(df.select_dtypes(include=['object']).columns)# 绘制箱线图plt.figure(figsize=(30,30))   #  箱线图查看数值型变量异常值i=1for col in Nu_feature:
    ax=plt.subplot(4,5,i)
    ax=sns.boxplot(data=df[col])
    ax.set_xlabel(col)
    ax.set_ylabel('Frequency')
    i+=1plt.show()# 结合原始数据及经验，真正的异常值只有umbrella_limit这一个变量，有一个-1000000的异常值，但测试集没有，可以忽略不管

       

<Figure size 3000x3000 with 19 Axes>

               

2. 探索性数据分析

• 查看训练集与测试集数值变量分布

• 查看分类变量分布

• 查看数据相关性

查看训练集与测试集数值变量分布

In [5]

#查看训练集与测试集数值变量分布import warnings
warnings.filterwarnings("ignore")
plt.figure(figsize=(20,15))
i=1Nu_feature.remove('fraud')for col in Nu_feature:
    ax=plt.subplot(4,5,i)
    ax=sns.kdeplot(df[col],color='red')
    ax=sns.kdeplot(test[col],color='cyan')
    ax.set_xlabel(col)
    ax.set_ylabel('Frequency')
    ax=ax.legend(['train','test'])
    i+=1plt.show()

       

<Figure size 2000x1500 with 18 Axes>

               

查看分类变量分布

In [6]

# 查看分类变量分布col1=Ca_feature
plt.figure(figsize=(40,40))
j=1for col in col1:
    ax=plt.subplot(8,5,j)
    ax=plt.scatter(x=range(len(df)),y=df[col],color='red')
    plt.title(col)
    j+=1k=11for col in col1:
    ax=plt.subplot(5,8,k)
    ax=plt.scatter(x=range(len(test)),y=test[col],color='cyan')
    plt.title(col)
    k+=1plt.subplots_adjust(wspace=0.4,hspace=0.3)  
plt.show()

       

<Figure size 4000x4000 with 26 Axes>

               

查看数据相关性

In [7]

from sklearn.preprocessing import LabelEncoder
lb = LabelEncoder()                               
cols = Ca_featurefor m in cols:
    df[m] = lb.fit_transform(df[m])
    test[m] = lb.fit_transform(test[m])


correlation_matrix=df.corr()
plt.figure(figsize=(12,10))
sns.heatmap(correlation_matrix,vmax=0.9,linewidths=0.05,cmap="RdGy")# 几个相关性比较高的特征在模型的特征输出部分也占据比较重要的位置

       

<matplotlib.axes._subplots.AxesSubplot at 0x7f26d01a1890>

               

<Figure size 1200x1000 with 2 Axes>

               

3. 数据建模

1. 切割训练集和测试集

这里使用留出法划分数据集，将数据集分为自变量和因变量。

按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)，使用分层抽样，设置随机种子以便结果能复现

x_train,x_test,y_train,y_test = train_test_split( X, Y,test_size=0.3,random_state=1)

       

2. 模型创建

创建基于树的分类模型（lightgbm）

这些模型进行训练，分别的到训练集和测试集的得分

In [8]

from lightgbm.sklearn import LGBMClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.model_selection import KFoldfrom sklearn.metrics import accuracy_score, auc, roc_auc_score


X=df.drop(columns=['policy_id','fraud'])
Y=df['fraud']
test=test.drop(columns='policy_id')# 划分训练及测试集x_train,x_test,y_train,y_test = train_test_split( X, Y,test_size=0.3,random_state=1)

    In [19]

# 建立模型gbm = LGBMClassifier(n_estimators=600,learning_rate=0.01,boosting_type= 'gbdt',   
    objective = 'binary',
    max_depth = -1,  
    random_state=2025,           
    metric='auc')

   

4. 模型评估

交叉验证介绍

• 交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。
• 在交叉验证中，数据被多次划分，并且需要训练多个模型。
• 最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。            

In [10]

# 交叉验证result1 = []
mean_score1 = 0n_folds=5kf = KFold(n_splits=n_folds ,shuffle=True,random_state=2025)for train_index, test_index in kf.split(X):
    x_train = X.iloc[train_index]
    y_train = Y.iloc[train_index]
    x_test = X.iloc[test_index]
    y_test = Y.iloc[test_index]
    gbm.fit(x_train,y_train)
    y_pred1=gbm.predict_proba((x_test),num_iteration=gbm.best_iteration_)[:,1]    print('验证集AUC:{}'.format(roc_auc_score(y_test,y_pred1)))
    mean_score1 += roc_auc_score(y_test,y_pred1)/ n_folds
    y_pred_final1 = gbm.predict_proba((test),num_iteration=gbm.best_iteration_)[:,1]
    y_pred_test1=y_pred_final1
    result1.append(y_pred_test1)

       

验证集AUC:0.8211382113821137
验证集AUC:0.8088235294117647
验证集AUC:0.8413402315841341
验证集AUC:0.8452820891845282
验证集AUC:0.8099856321839081

        In [20]

# 模型评估print('mean 验证集auc:{}'.format(mean_score1))
cat_pre1=sum(result1)/n_folds

       

mean 验证集auc:0.8253139387492898

       

5. 输出结果

将预测结果按照指定格式输出到submission-Copy2.csv文件中

In [21]

ret1=pd.DataFrame(cat_pre1,columns=['fraud'])
ret1['fraud']=np.where(ret1['fraud']>0.5,'yes','no').astype('str')


result = pd.DataFrame()
result['policy_id'] = df['policy_id']
result['fraud'] = ret1['fraud']


result.to_csv('/home/aistudio/submission.csv',index=False)

   

五、效果展示

最后得到验证集accuracy达到0.8253139387492898

以上就是基于LightGBM实现保险反欺诈预测的详细内容，更多请关注其它相关文章！

# 重要作用  # seo兼职赚钱项目  # 化州网站开发建设  # 关键词刷排名工具  # 滨州网站建设机构名单  # 海口如何优化网站关键词  # 吉林知名网站建设企业  # 清涧全网营销推广  # 昆明神马网站推广方法  # 天津seo推广运营招聘  # 仓山区百度网站优化外包  # 几个  # 险种  # 社会发展  # 最常用  # python  # 层出不穷  # 近些年  # 官网  # 一言  # 中文网  # type  # fig  # udio  # tome  # igs  # red  # csv文件  # ai 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 统信深度deepin成立 AI SIG 社区，共同提升 Linux 下 AI 体验  人工智能如何与智能家居集成  到中国科技馆体验“一滴油的奇妙旅行”，线上元宇宙展厅同步开启  AI室内设计软件流行，室内设计行业如何应对效率变革  周鸿祎：用超级AI实现室温超导和核聚变，实现能源自由  干货满满，2025昆山元宇宙国际装备展等你来打卡！  眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷  新闻传闻：迪士尼可能采用人工智能来控制电影制作成本  从GOXR到PartyOn，XRSPACE致力打造多元共赢的元宇宙世界  如何成功实施人工智能？  斑马推出全新升级版思维机：以人工智能为核心的交互式学习体验  小艺主导智慧交互升级，借助AI大模型增强能力  官宣！爱康AI未来之夜三大亮点提前剧透！  聚焦WAIC｜AI技术支撑大模型探索未来  乐天派桌面机器人加入小米米家生态系统，实现与其他智能设备的互联  昌吉市利用无人机实现全天候河道动态巡检  陈根教授：离人形机器人时代还有10年吗？  特斯拉人形机器人将于 7 月亮相上海 2025 世界人工智能大会  跟着AI大热的“光模块”到底是什么？  消息称字节机器人团队已有约50人，计划年底扩充到上百人  字节、网易相继入局，AI之后大厂又找到下一个风口？  新华三集团总裁兼首席执行官于英涛：人工智能时代需要想象力，更需要精耕务实  华为即将推出HarmonyOS 4，再度领先行业的AI技术  埃森哲俞毅：AI时代我们需要新的“摩尔定律”  微软和谷歌面临的人工智能困境：需要投入大量资金才能获得盈利  人工智能的变革之路：通过OpenAI的GPT-4漫游  人工智能在服务优化方面优缺点有哪些  你大脑中的画面，现在可以高清还原了  微软面向AI初学者推出免费网络课程  最大助力35公斤 外骨骼机器人或在养老、医疗领域“大展身手”  视觉中国推出付费AI绘图功能：无版权可用  亚马逊确认今年不会举办 re:MARS 机器人和人工智能大会  如何对员工进行再培训以充分利用供应链管理中的人工智能创新  马斯克发推讽刺人工智能，机器学习本质是统计？  如布科技发布新产品AI口袋学习机S12  鉴智机器人发布基于地平线征程5的标准视觉感知产品  央广车联网亮相2025世界人工智能大会  华为推出两款商用 AI 大模型存储新品，支持 1200 万 IOPS 性能  “技术+实践+生态”三箭齐发，京东方抢占物联网高地  江永：精准施训提升通信无人机应急救援能力  田渊栋团队新研究：微调  世界人工智能大会中西部县域数字就业中心组团亮相  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  微软Bing聊天机器人电脑端即将支持语音提问  了解 AGI：智能的未来？  MetaGPT开源框架爆红 GitHub，达到1.1万星，模拟软件开发流程  Snow Kylin登陆中国列车，打造全球首条元宇宙专列  Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码  论文插图也能自动生成了，用到了扩散模型，还被ICLR接收  探索人工智能在居家养老方面的应用