100g数据快速存储至MySQL（100g数据存mysql）

快速数据存储一直是一个让开发者头疼的问题。在数据库方面，MySQL是一个非常常见的解决方案。MySQL具有易用性和灵活性，以及广泛的可用性，让它成为了大多数公司的首选。然而，如何快速地将数据存储到MySQL中，具有一定的挑战性。

本文将介绍一种将100g数据快速存储至MySQL的方法，并且可以利用Python进行自动化操作。

## MySQL数据库准备

我们需要一个MySQL数据库。在这个例子中，我们可以使用docker-compose来快速配置一个MySQL。

### 安装Docker

如果你还没有安装Docker，需要先安装Docker。如果已经安装，可以跳过这一步。

使用以下命令安装Docker：

“`bash

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

### 安装docker-compose

然后，安装docker-compose。可以使用以下命令来安装docker-compose：

```bash
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose

### 编写docker-compose文件

接下来，我们要编写一个docker-compose.yml文件。以下是一个简单的MySQL配置：

“`yaml

version: ‘3.9’

services:

mysql:

image: mysql:8

command: –default-authentication-plugin=mysql_native_password

restart: always

environment:

MYSQL_ROOT_PASSWORD: example

MYSQL_DATABASE: example

MYSQL_USER: example

MYSQL_PASSWORD: example

ports:

– “3306:3306”

volumes:

– ./mysql_data:/var/lib/mysql

这个配置文件创建一个MySQL 8数据库，设置了root、example账户，密码均为example，端口为3306。

### 启动MySQL数据库

使用以下命令启动数据库：

```bash
docker-compose up -d

这个命令将启动一个MySQL数据库容器。可以使用以下命令检查是否启动成功：

“`bash

docker ps

如果MySQL数据库正在运行，输出应该类似于以下内容：

```bash
CONTNER ID   IMAGE     COMMAND                  CREATED          STATUS          PORTS                    NAMES
0c8e13ac0507   mysql:8   "docker-entrypoint.s…"   22 seconds ago   Up 20 seconds   0.0.0.0:3306->3306/tcp   mysql_mysql_1

至此，我们已经成功地启动了MySQL数据库。

## Python代码准备

接下来，我们需要一些Python代码来存储数据。

### 安装PyMySQL

我们需要安装PyMySQL。可以使用以下命令来安装：

“`bash

pip install pymysql

这个命令将安装PyMySQL库。

### 连接MySQL

然后，我们要编写Python代码来连接MySQL数据库。以下是一个简单的Python代码：

```python
import pymysql
# 与MySQL建立连接
db = pymysql.connect(host = '127.0.0.1',
                     user = 'example',
                     password = 'example',
                     db = 'example')

# 创建游标对象
cursor = db.cursor()
# 关闭数据库连接
db.close()

这个代码使用PyMySQL库与MySQL建立连接，并创建了一个游标对象。

### 存储数据

接下来，我们可以使用以下代码将数据存储到MySQL中：

“`python

import pymysql

# 与MySQL建立连接

db = pymysql.connect(host = ‘127.0.0.1’,

user = ‘example’,

password = ‘example’,

db = ‘example’)

# 创建游标对象

cursor = db.cursor()

# 执行SQL语句

sql = “INSERT INTO example VALUES (%s, %s)”

values = [(1, ‘hello’), (2, ‘world’)]

cursor.executemany(sql, values)

# 提交更改

db.commit()

# 关闭数据库连接

db.close()

这个代码将数据存储到了MySQL中。可以调整数据大小和字段以适应您的需求。如果数据太大，请使用cursor.executemany()方法。这个方法可以一次性插入多个值。

## 自动化存储

我们将Python代码和MySQL配置结合起来，自动化存储数据。

### 自动化存储脚本

以下是一个简单的Python脚本，将自动存储从txt文件中读取的数据至MySQL中：

```python
import pymysql
# 读取数据
with open('data.txt') as f:
    data = f.readlines()

# 与MySQL建立连接
db = pymysql.connect(host = '127.0.0.1',
                     user = 'example',
                     password = 'example',
                     db = 'example')

# 创建游标对象
cursor = db.cursor()
# 执行SQL语句
sql = "INSERT INTO example VALUES (%s, %s)"
values = []
for line in data:
    line = line.rstrip('\n')
    values.append(tuple(line.split()))
cursor.executemany(sql, values)

# 提交更改
db.commit()
# 关闭数据库连接
db.close()

这个脚本会自动从data.txt文件中读取数据，然后将数据写入MySQL中。如果需要，可以将脚本加入计划任务中。

### 总结

将100g数据快速存储至MySQL是一个相对容易的问题。只需要使用docker-compose配置MySQL数据库，然后使用PyMySQL库编写代码自动化操作即可。这种方法可以帮助开发者将重点放在业务开发上，而不是数据存储上。