今天介绍的Koalas，是Databrick开源的一个项目，它增强了PySpark的DataFrame API以使其与pandas兼容。
在过去的几年中，Python数据科学迅猛发展，而pandas已成为生态系统的关键。当数据科学家接触到数据集时，他们会使用pandas进行探索。它是数据整理和分析的终极工具。实际上，pandas的read_csv通常是学生在数据科学之旅中执行的第一个命令。
但pandas无法很好地适应大数据。它是为单台计算机可以处理的小型数据集而设计的。另一方面，Apache Spark已成为大数据工作负载的事实上的标准。如今，许多数据科学家将pandas用于课程作业，小项目和小数据任务，但是当他们处理非常大的数据集时，他们要么必须迁移到PySpark以利用Spark，要么对数据进行降采样以便可以使用pandas。
现在，借助Koalas，数据科学家可以从单台机器过渡到分布式环境，而无需学习新的框架。如下所示，您可以在Koalas上扩展Spark上的pandas代码，只需将一个包替换为另一个即可。
pandas:
import pandas as pd
df = pd.DataFrame({'x': [1, 2], 'y': [3, 4], 'z': [5, 6]})
Rename columns
df.columns = [‘x’, ‘y’, ‘z1’]
Do some operations in place
df[‘x2’] = df.x * df.x
Koalas:
Original: https://blog.csdn.net/weixin_54707168/article/details/122757276
Author: 小夕Coding
Title: 如何从pandas轻松过渡到PySpark？
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/677353/
转载文章受原作者版权保护。转载请注明原作者出处！