Oracle 2022-08-07

性能优化 Oracle数据库更新大批量数据注意事项

更新大批量数据的背景：

用户需要将VIP的微信标识，传给用户的ERP会员档案中，已知存量数据约50W行数据，线下的微信标识数据我们开发提供了openid和erpid的csv文件，erpid和线下的会员档案id对应，需要将openid也更新到会员档案里。

更新数量大致分为两大步骤

一、将我们要更新的数据源导入数据库内，需要创建临时表，将数据传入临时表
二、写游标，将临时表内的数据与需要更新的数据进行更新

1.将csv文件里面的数据导入数据库临时表中，先创建临时表

create table vip_openid
(erpid number(10),
openid varchar(200)
)

2.临时表创建后，将cvs文件里的数据导入表中，在这里我们选择工具>文本导入器

选择要导入的csv文件，注意csv文件的表字段和数据库表字段对应

选择文件后在界面将会预览导入的数据

3.点击到oracle的数据，选择导入的表，先选择用户名，用户名下的表名，然后选择表与csv文件表字段对应关系，我们选择导入，可以看到提示导入完成。

4.接下来就是对会员表和临时表的数据关联更新，我们先使用直接update方式进行更新试验，该方法只更新5W数据，耗时12分钟左右：

于是参考百度文档建议，写了一个游标如下

declare
 cursor cur is--声明游标cur
 select B.openid，A.ID ROW_ID
  FROM C_CLIENT_VIP A ,VIP_OPENID B
  WHERE A.ID=B.ERPID
  ORDER BY A.ID;--从A和B表中找到ID对应的openid，并对游标内数组排序
 V_COUNTER NUMBER;--声明一个number类型的变量
BEGIN 
V_VOUNTER:=0;--初始化变量值为0
 FOR ROW IN CUR LOOP--遍历游标
  UPDATE C_CLIENT_VIP A SET A.OPENID=ROW.OPENID WHERE A.ID=ROW_ID;
    V_COUNTER:=V_COUNTER+1;--每次循环变量值+1
  IF(V_COUNTER>=1000) THEN
    COMMIT;
    V_COUNTER:=0;--每更新1000行，V_COUNTER值为1000时候，就提交给数据库
    提交后将变量归零，继续下一个1000行更新
  END IF;
 END LOOP;
  COMMIT;
END;

大概48W行数据，43秒即更新完毕。

使用以上方式注意一点，因为数据库会员表的ID有索引，所以使用游标速率很快。如我们的多表关联字段没有索引，使用此方式可能效果不是很明显。

总结