CSV导入MySQL极速数据迁移（csv导入数据mysql）

CSV导入MySQL：极速数据迁移

CSV文件（以逗号分隔值）是一种常见的电子表格文件格式。CSV文件通常用于存储大量数据，因为它们易于编辑，易于导入和导出，并且可以通过多种应用程序访问。当需要将大量CSV数据导入MySQL数据库时，我们需要一种快速且可靠的方法进行数据迁移。在本文中，我们将讨论如何使用Python语言和pandas库实现CSV到MySQL的极速数据迁移。

1. 安装pandas和mysql-connector

在开始之前，我们需要使用以下命令安装必要的库：

pip install pandas mysql-connector-python

2. 连接到MySQL数据库

使用以下代码连接到MySQL数据库：

“`python

import mysql.connector

cnx = mysql.connector.connect(host=’localhost’,

user=’user’,

password=’password’,

database=’database’)

cursor = cnx.cursor()

需要替换`host`、`user`、`password`和`database`参数以匹配您的MySQL数据库配置。

3. 加载CSV文件

使用以下代码加载CSV文件到pandas数据帧中：

```python
import pandas as pd
dataframe = pd.read_csv('data.csv')

需要替换`data.csv`参数为您实际的CSV文件路径。

4. 创建MySQL表

使用以下代码创建表并定义列：

“`python

query = “””

CREATE TABLE data (

id INT NOT NULL AUTO_INCREMENT,

column1 VARCHAR(100) NOT NULL,

column2 INT NOT NULL,

column3 FLOAT NOT NULL,

PRIMARY KEY (id)

)

“””

cursor.execute(query)

需要根据您的CSV文件定义列名称和类型。

5. 插入CSV数据到MySQL表

使用以下代码将pandas数据帧中的数据插入MySQL表中：

```python
for row in dataframe.itertuples():
    cursor.execute("""
    INSERT INTO data (column1, column2, column3) VALUES (%s, %s, %s)""",
                   (row.Column1, row.Column2, row.Column3))
   
cnx.commit()

需要替换`Column1`、`Column2`和`Column3`参数为您实际的列名称。

6. 关闭数据库连接

使用以下代码关闭数据库连接：

“`python

cursor.close()

cnx.close()

完整的代码示例：

```python
import mysql.connector
import pandas as pd

# Connect to MySQL
cnx = mysql.connector.connect(host='localhost',
                              user='user',
                              password='password',
                              database='database')
cursor = cnx.cursor()
# Load CSV data
dataframe = pd.read_csv('data.csv')
# Create MySQL table
query = """
CREATE TABLE data (
  id INT NOT NULL AUTO_INCREMENT,
  column1 VARCHAR(100) NOT NULL,
  column2 INT NOT NULL,
  column3 FLOAT NOT NULL,
  PRIMARY KEY (id)
)
"""
cursor.execute(query)

# Insert CSV data into MySQL table
for row in dataframe.itertuples():
    cursor.execute("""
    INSERT INTO data (column1, column2, column3) VALUES (%s, %s, %s)""",
                   (row.Column1, row.Column2, row.Column3))
   
cnx.commit()

# Close database connection
cursor.close()
cnx.close()

这是使用Python语言和pandas库实现CSV到MySQL的极速数据迁移的基本方法。您可以根据自己的需求进行修改和改进，例如添加数据验证、更改列数据类型等。但是，这种方法非常适用于迁移大量的CSV数据，并且可以在短时间内完成迁移。