Oracle 11数据库增量导入实践（oracle11增量导入）

Oracle 11数据库增量导入实践

Oracle 11是一款可靠性较高的关系数据库管理系统，被广泛使用于企业级应用，以及高并发访问的时候。在日常运营中，我们经常需要将旧数据导入到新数据库中。而增量导入就是一种有效的方式。本文将介绍如何使用Oracle 11实现增量导入，并附上一些实际的代码示例。

增量导入是相对于全量导入而言的，全量导入就是将某一数据源的所有数据全部导入到目的地，无论是否已经存在相同的数据，而增量导入则是只导入与原有数据不同的数据。我们可以使用Oracle 11提供的一些工具来实现增量导入，比如data pump和GoldenGate等。

首先我们来看使用data pump来实现增量导入的方法。data pump是Oracle提供的导入和导出工具，其可以实现高效、安全、可靠的数据复制和数据迁移。我们可以通过data pump的选项来实现增量复制，大致步骤如下：

1.创建一个表并插入测试数据：

CREATE TABLE HR.EMPLOYEES (
  EMPLOYEE_ID NUMBER(6),
  FIRST_NAME VARCHAR2(20),
  LAST_NAME VARCHAR2(25),
  EML VARCHAR2(25),
  PHONE_NUMBER VARCHAR2(20),
  HIRE_DATE DATE,
  JOB_ID VARCHAR2(10),
  SALARY NUMBER(8,2),
  COMMISSION_PCT NUMBER(2,2),
  MANAGER_ID NUMBER(6),
  DEPARTMENT_ID NUMBER(4)
);
INSERT INTO HR.EMPLOYEES (EMPLOYEE_ID,FIRST_NAME,LAST_NAME,
  EML,PHONE_NUMBER,HIRE_DATE,JOB_ID,SALARY,COMMISSION_PCT,
  MANAGER_ID,DEPARTMENT_ID)
 VALUES (100,'Steven','King','SKING','515.123.4567',TO_DATE('2003-06-17','yyyy-mm-dd'),
  'AD_PRES',24000,NULL,NULL,90);
COMMIT;

2.使用data pump导出数据并生成expdp文件：

expdp hr/hr dumpfile=myfile.dmp directory=mydir filesize=10m

3.在新增数据之后再次导出数据并生成新的expdp文件：

expdp hr/hr dumpfile=myfile1.dmp directory=mydir filesize=10m query="'where hire_date > 2015-01-01'"

4.使用data pump导入增量数据：

impdp hr/hr DIRECTORY=mydir DUMPFILE=myfile1.dmp remap_schema=HR:HR_E incremental=yes

以上操作可以仅仅导入hire_date大于2015-01-01的数据。

另外一种实现增量导入的方法是使用GoldenGate，这是一种高性能、可扩展且安全的数据复制和数据同步工具。GoldenGate基于流式数据集成技术，可以捕获原始事务数据并在它离开源系统之前就实时地将其复制到目的地系统，支持异构系统之间的数据传输。GoldenGate提供了丰富的配置选项以满足不同的需求，您可以根据不同的业务需求来实现增量导入，以下是使用GoldenGate实现增量导入的部分示例代码：

1.创建一个GGSCHEMA的用户：

create user GGSCHEMA identified by ggpassword;
grant connect,resource,dba to GGSCHEMA;

2.创建一个GoldenGate的table：

CREATE TABLE HR_EMPLOYEES
(
  EMPLOYEE_ID            NUMBER(6) PRIMARY KEY,
  FIRST_NAME             VARCHAR2(20),
  LAST_NAME              VARCHAR2(25),
  EML                  VARCHAR2(25),
  PHONE_NUMBER           VARCHAR2(20),
  HIRE_DATE              DATE,
  JOB_ID                 VARCHAR2(10),
  SALARY                 NUMBER(8,2),
  COMMISSION_PCT         NUMBER(2,2),
  MANAGER_ID             NUMBER(6),
  DEPARTMENT_ID          NUMBER(4)
);

3.创建一个extract进程来捕获源系统的数据：

ADD EXTRACT EX1 USERID GGSCHEMA,GGSCHEMA
  EXTTRL ./dirdat/oastu,EXTRACTOPTIONS INTEGRATEDPARAMS (MAXLOOPS 50),TRANLOGOPTIONS EXCLUDEUSERSYS

4.创建一个data pump进程来将数据复制到目标系统：

ADD DATAPUMP DP1 USERID GGSCHEMA,GGSCHEMA
  DIRECTORY ./dirdat DUMPFILE ex1_0001.dmp 
  TABLE HR.EMPLOYEES INCLUDE MAPPED COLS,KEEPALIVE (SERVER)

5.启动进程并监控运行状态：

START EXTRACT EX1
START DP1
STATS EXTRACT EX1
STATS DP1

以上就是使用Oracle 11来实现增量导入的两种方式。相比全量导入，增量导入不仅可以减少时间和存储空间，更可以避免重复数据的出现，提高了数据的一致性和准确性。在实际运用中，应该根据不同的应用场景选择不同的导入方式和工具来完成导入任务。