无建表MySQL数据导入技巧，快速实现数据迁移（mysql不建表导入数据）

无建表MySQL数据导入技巧，快速实现数据迁移

在进行MySQL数据库迁移的过程中，常常需要将旧的数据导入到新的数据库中。如果表的结构已经建好，那么导入数据的任务就比较简单，直接使用SQL语句进行插入即可。但是，在很多情况下，表的结构并没有建好，或者导入的数据比较复杂，需要动态创建表，并进行数据导入。本文将分享一些无建表MySQL数据导入技巧，帮助您快速实现数据迁移。

1. 使用LOAD DATA进行数据导入

在MySQL中，可以使用LOAD DATA语句来实现数据导入操作。这个命令可以从文件中读取数据，并写入到一个表中。如果表的结构已经建好，那么导入数据的方式就非常简单了。例如，假设我们有一个test表，包含id、name和age三个字段，我们可以使用以下命令将数据从文件中导入到test表中：

LOAD DATA INFILE 'data.txt' INTO TABLE test
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n';

这个命令将从data.txt文件中读取数据，并插入到test表中。FIELDS TERMINATED BY表示数据中字段的分隔符为逗号，ENCLOSED BY表示数据中的字段值要用双引号括起来，LINES TERMINATED BY表示每行数据的结束符为换行符。根据文件中的数据格式，可以灵活调整这些参数，适应不同的数据源。

如果表的结构没有建好怎么办？我们可以先手动创建好一个空的表，然后将数据插入到这个表中。这个空表可以只包含和源数据中相同的字段，不必保存数据类型等细节，例如：

CREATE TABLE temp (
  id INT,
  name VARCHAR(255),
  age INT
);

接着，我们可以使用LOAD DATA命令将数据导入到这个临时表中：

LOAD DATA INFILE 'data.txt' INTO TABLE temp
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n';

当数据导入到临时表中后，我们可以查看这个表的结构，并手动修改相应的字段类型、主键、索引等细节，以适应业务需要。我们可以使用INSERT INTO SELECT语句将数据从临时表中导入到目标表中：

INSERT INTO test SELECT * FROM temp;

这个语句会将临时表temp中的数据复制到test表中，并清空临时表。这种方式可以避免手动创建表、插入数据等繁琐的操作，从而快速实现数据迁移。

2. 使用Python脚本实现动态建表和数据导入

在某些情况下，我们需要根据数据源的变化，动态创建表，并将数据导入到对应的表中。这时，可以使用Python脚本来实现这个功能。以CSV文件为例，我们可以先读取数据，并根据数据文件的结构动态创建表。例如，以下代码段可以读取一个CSV文件，并返回数据中字段的名称和类型：

import csv
def get_fields(csv_file):
    with open(csv_file, 'r') as f:
        reader = csv.reader(f)
        header = next(reader)
        types = ['VARCHAR(255)' for _ in header]  # 默认都是文本类型
        # 检查每列数据类型
        for row in reader:
            for i, val in enumerate(row):
                if not val.isdigit():  # 非数字
                    if types[i]!='TEXT':  # 非文本类型，改为文本类型
                        types[i] = 'TEXT'
        # 构造表的DDL语句
        ddl = 'CREATE TABLE {} ({})'.format(
            csv_file[:-4],  # 取掉.csv扩展名作为表名
            ', '.join(['{} {}'.format(col, ty) for col, ty in zip(header, types)])
        )
        return header, ddl

这个函数会返回一个长度为2的元组，第一个元素是字段名称的列表，第二个元素是动态创建表的DDL语句。我们可以在程序中调用这个函数，然后使用MySQL的Python库，执行这个DDL语句来创建表。例如，以下代码段可以根据CSV文件创建对应的MySQL表：

import pymysql
def create_table(cursor, data_file):
    fields, ddl = get_fields(data_file)
    cursor.execute(ddl)

接着，我们需要将数据导入到这个表中。如果数据文件比较大，我们可以使用LOAD DATA命令来导入数据，否则可以使用INSERT INTO语句逐行插入数据。以下是一个完整的Python脚本，实现了动态建表和数据导入的功能：

import csv
import pymysql

def get_fields(csv_file):
    with open(csv_file, 'r') as f:
        reader = csv.reader(f)
        header = next(reader)
        types = ['VARCHAR(255)' for _ in header]  # 默认都是文本类型
        # 检查每列数据类型
        for row in reader:
            for i, val in enumerate(row):
                if not val.isdigit():  # 非数字
                    if types[i]!='TEXT':  # 非文本类型，改为文本类型
                        types[i] = 'TEXT'
        # 构造表的DDL语句
        ddl = 'CREATE TABLE {} ({})'.format(
            csv_file[:-4],  # 取掉.csv扩展名作为表名
            ', '.join(['{} {}'.format(col, ty) for col, ty in zip(header, types)])
        )
        return header, ddl

def create_table(cursor, data_file):
    fields, ddl = get_fields(data_file)
    cursor.execute(ddl)

def insert_data(cursor, data_file):
    with open(data_file, 'r') as f:
        reader = csv.reader(f)
        fields = next(reader)  # 跳过头行
        for row in reader:
            cursor.execute('INSERT INTO {} VALUES ({})'.format(
                data_file[:-4],  # 取掉.csv扩展名作为表名
                ', '.join(['%s'] * len(row))),
                row)

if __name__ == '__mn__':
    conn = pymysql.connect(
        host='localhost', user='root', password='123456', db='test'
    )
    cursor = conn.cursor()
    create_table(cursor, 'data.csv')
    insert_data(cursor, 'data.csv')
    conn.commit()
    cursor.close()
    conn.close()

这个脚本可以将一个CSV文件中的数据动态导入到MySQL数据库中，适用于灵活的数据迁移需求。

总结

在MySQL数据库迁移过程中，数据导入是一个非常关键的环节。本文分享了两种无建表MySQL数据导入的技巧，一种是使用LOAD DATA进行数据导入，另一种是使用Python脚本实现动态建表和数据导入。通过这些技巧，我们可以快速实现数据迁移，大大提高了工作效率。