泰坦尼克号沉船数据之美——起于悲剧，止于浪漫
前言：泰坦尼克号，不只是卡梅隆导演的经典电影，它是一个真实存在的悲剧，也是电影的故事背景与题材。作为一个IT人，分析事实还得看数据，了解到泰坦尼克号沉船幸存者多为老人、小孩和妇女，而牺牲者多为年轻的男士，这样的历史数据，让我感受到了人性之美与善，七夕，我们一起来分析一下这一悲壮与浪漫的数据吧～
本文内容包含了泰坦尼克号沉船 数据分析与可视化、数据建模与分类预测。
现有 titanic.csv 数据集。该数据集记录了泰坦尼克轮船上的乘客信息。使用 scikit-learn 对该数据集进行分析，探究生存率和哪些因素有关(性别,年龄,是否有伴侣,票价,舱位等级,包间,出发地点)。
关键步骤：
1、把数据随机分成训练集和测试集两类。
2、构造特征向量。（注意：如果所选特征是非数值特征，需要将其转成数值。）
3、分别训练判定树、KNN、SVC和朴素贝叶斯四种模型，对测试数据进行预测。
4、使用混淆矩阵对分类器的分类结果进行评估，比较。
5** 绘制ROC曲线。
获取资源：
百度网盘：https://pan.baidu.com/s/1qsY70lqwmgWnMn-A81NOaw
提取码： wsdc
演示环境：Python 3、Jupyter notebook
涉及技术：scikit-learn 分类 + seaborn + matplotlib + pandas +numpy
操作步骤：
导入数据集预处理、特征工程、模型训练和模型对比所需的库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from pylab import *
import seaborn as sns
from sklearn import model_selection, preprocessing, naive_bayes, metrics, svm
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn import ensemble, tree
忽略警告提示
import warnings
warnings.filterwarnings('ignore')
1. 数据预处理
1.1 导入数据
data = pd.read_csv('titanic.csv')
print(data.shape)
data.sample(5)
输出：(891, 15)
1.2 处理缺失值
data.isnull().sum()
输出：
survived 0
pclass 0
sex 0
age 177
sibsp 0
parch 0
fare 0
embarked 2
class 0
who 0
adult_male 0
deck 688
embark_town 2
alive 0
alone 0
dtype: int64
缺失值分析：
age、deck、embarked、embark_town 存在缺失值，需要处理。（1）age 对生存率有影响，不能忽略，用平均值填充；（2）总共有 891 条信息，deck 有 688 个缺失值，因此剔除 deck 这个分类标签；（3）embarked、embark_town 缺失值较少，都为 2 个，随机取其中一个数据填充。
data['age']=data['age'].fillna(data['age'].median())
del data['deck']
data['embarked']=data['embarked'].fillna('S')
data['embark_town']=data['embark_town'].fillna('Southampton')
data.isnull().sum()
输出：
survived 0
pclass 0
sex 0
age 0
sibsp 0
parch 0
fare 0
embarked 0
class 0
who 0
adult_male 0
embark_town 0
alive 0
alone 0
dtype: int64
1.3 观察数据
1.3.1 全体成员的生存情况
survived = data['survived'].value_counts().to_frame().reset_index().rename(columns={'index': 'label', 'survived': 'counts'})
#计算存活率
survived_rate = round(342/891, 2)
survived['rate'] = [1-survived_rate, survived_rate]
survived
输出：
数据描述：存活 的有 342 人，遇难 的有 549 人。
mpl.rcParams['axes.unicode_minus'] = False #处理无法显示中文的问题
mpl.rcParams['font.sans-serif'] = ['SimHei']
fig=plt.figure(1,figsize=(6,6))
ax1=fig.add_subplot(1,1,1)
label=['遇难','存活']
color=['#C23531','#F5DEB3']
explode=0.05,0.05 #扇区间隔
patches,l_text,p_text = ax1.pie(survived.rate,labels=label,colors=color,startangle=90,autopct='%1.0f%%',explode=explode,shadow=True)
for t in l_text:
t.set_size(20)
for t in p_text:
t.set_size(20)
ax1.set_title('全体成员的生存情况', fontsize=20)
输出：
1.3.2 乘客的各属性分布情况
fig = plt.figure(figsize=(15,10))
fig.set(alpha=0.3) # 设定图表颜色alpha参数(透明度)
plt.subplot2grid((2,3),(0,0))
data.survived.value_counts().plot(kind='bar')
plt.title("获救情况 (1为获救)")
plt.ylabel("人数")
plt.subplot2grid((2,3),(0,1))
data.pclass.value_counts().plot(kind="bar")
plt.ylabel("人数")
plt.title("乘客等级分布")
plt.subplot2grid((2,3),(0,2))
plt.scatter(data.survived, data.age)
plt.ylabel("年龄")
plt.grid(b=True, which='major', axis='y')
plt.title("按年龄看获救分布 (1为获救)")
plt.subplot2grid((2,3),(1,0), colspan=2)
data.age[data.pclass == 1].plot(kind='kde')
data.age[data.pclass == 2].plot(kind='kde')
data.age[data.pclass == 3].plot(kind='kde')
plt.xlabel("年龄")
plt.ylabel("密度")
plt.title("各等级的乘客年龄分布")
plt.legend(('头等舱', '2等舱','3等舱'),loc='best')
plt.subplot2grid((2,3),(1,2))
data.embarked.value_counts().plot(kind='bar')
plt.title("各登船口岸上船人数")
plt.ylabel("人数")
plt.show()
输出：
1.3.3 特征之间的相关性
sns.heatmap(data.corr(),annot=True,cmap='RdYlGn',linewidths=0.2)
fig=plt.gcf()
fig.set_size_inches(10,8)
plt.show()
输出：
1.3.4 连续值特征（年龄、船票费用）对生存结果的影响
fig = plt.figure(figsize=(15,4))
plt.subplot2grid((2,2),(0,0))
data.age[data.survived == 0].plot(kind='box', vert=False, patch_artist=True, notch = True, color='#C23531', fontsize=15)
plt.grid(linestyle="--", alpha=0.8)
plt.title("遇难", fontsize=15)
plt.subplot2grid((2,2),(0,1))
data.fare[data.survived == 0].plot(kind='box', vert=False, patch_artist=True, notch = True, color='#C23531', fontsize=15)
plt.grid(linestyle="--", alpha=0.8)
plt.title("遇难", fontsize=15)
plt.subplot2grid((2,2),(1,0))
data.age[data.survived == 1].plot(kind='box', vert=False, patch_artist=True, notch = True, color='#F5DEB3', fontsize=15)
plt.grid(linestyle="--", alpha=0.8)
plt.xlabel("存活", fontsize=15)
plt.subplot2grid((2,2),(1,1))
data.fare[data.survived == 1].plot(kind='box', vert=False, patch_artist=True, notch = True, color='#F5DEB3', fontsize=15)
plt.grid(linestyle="--", alpha=0.8)
plt.xlabel("存活", fontsize=15)
1.3.5 乘客等级、性别对生存结果的影响（从年龄的分布看）
mpl.rcParams.update({'font.size': 14})
fig,axes=plt.subplots(2,2,figsize=(18, 12))
sns.violinplot("pclass","age", hue="survived", data=data, palette='autumn',ax=axes[0][0]).set_title('Pclass and Age vs Survived')
sns.swarmplot(x="pclass", y="age",hue="survived", data=data,palette='autumn',ax=axes[1][0]).legend(loc='upper right').set_title('survived')
sns.violinplot("sex","age", hue="survived", data=data, palette='winter', ax=axes[0][1]).set_title('Sex and Age vs Survived')
sns.swarmplot(x="sex", y="age",hue="survived", data=data,palette='winter',ax=axes[1][1]).legend(loc='upper right').set_title('survived')
输出：
1.3.6 乘客等级、性别对生存结果的影响（从船票费用的分布看）
fig,axes=plt.subplots(2,2,figsize=(18, 12))
sns.violinplot("pclass","fare", hue="survived", data=data, palette='autumn',ax=axes[0][0]).set_title('Pclass and Age vs Survived')
sns.stripplot("pclass", "fare",hue="survived", data=data,palette='autumn',ax=axes[1][0]).legend(loc='upper right').set_title('survived')
sns.violinplot("sex","fare", hue="survived", data=data, palette='winter', ax=axes[0][1]).set_title('Sex and Age vs Survived')
sns.stripplot("sex", "fare",hue="survived", data=data,palette='winter',ax=axes[1][1]).legend(loc='upper right').set_title('survived')
输出：
2. 特征工程
2.1 Feature Preprocessing——标签编码预处理
在所有标签中，survived 是分类标签，其余的 14 个变量是分类特征。 由于特征和标签的值存在非结构化类型，因此需要进行特征工程处理，即进行字符串编码处理。
data.info()
输出：
`
RangeIndex: 891 entries, 0 to 890
Data columns (total 14 columns):
# Column Non-Null Count Dtype
Original: https://blog.csdn.net/weixin_47068543/article/details/126151816
Author: 破风_1874
Title: 泰坦尼克号沉船数据分析与可视化、数据建模与分类预测【Python | 机器学习-Sklearn】
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/614050/
转载文章受原作者版权保护。转载请注明原作者出处！