以下的文章主要介紹的是Oracle數(shù)據(jù)庫,sql loader快速的生成大量的相關(guān)數(shù)據(jù)的實際操作步驟，以下就是對其生成大量相關(guān)測試數(shù)據(jù)的具體思路的詳細(xì)描述。以下就是對其相關(guān)內(nèi)容的具體描述。

一，用plsql developer 生成csv 文件

二，用>>輸出重定向，追加到一個cvs 文件里。

三，再用sql loader 快速載入。

在plsql developer 執(zhí)行

Sql代碼

SELECT object_id,object_name FROM dba_objects;

右鍵plsql developer 導(dǎo)出csv 格式 1.csv。在linux 上執(zhí)行下面的腳本

C代碼

#!/bin/bash

for((i=1;i<200;i=i+1))

do

cat 1.csv >> 2.csv;

echo $i;

done

這樣 50000 * 200 差不到就有一千萬的數(shù)據(jù)了。我測試的 11047500 392M

可以用:

Linux代碼

wc -l 2.csv

查看csv 里有多少條數(shù)據(jù)。現(xiàn)在測試數(shù)據(jù)有了。我們來試一下sql loader 的載入效果吧。

創(chuàng)建sqlloader 控制文件如下,保存為1.ctl

Sqlldr ctl代碼

load data

infile '2.csv'

into table my_objects

fields terminated by ','optionally enclosed by '"'

(object_id,

object_name

);

控制文件簡要說明：

-- INFILE 'n.csv' 導(dǎo)入多個文件

-- INFILE * 要導(dǎo)入的內(nèi)容就在control文件里 下面的BEGINDATA后面就是導(dǎo)入的內(nèi)容

--BADFILE '1.bad' 指定壞文件地址

--apend into table my_objects 追加

-- INSERT 裝載空表 如果原先的表有數(shù)據(jù) sqlloader會停止 默認(rèn)值

-- REPLACE 原先的表有數(shù)據(jù) 原先的數(shù)據(jù)會全部刪除

-- TRUNCATE 指定的內(nèi)容和replace的相同 會用truncate語句刪除現(xiàn)存數(shù)據(jù)

--可以指定位置加載

--(object_id position(1:3) char,object_name position(5:7) char)

--分別指定分隔符

--(object_id char terminated by ",", object_name char terminated by ",")

--執(zhí)行sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true

--30秒可以載入200萬的測試數(shù)據(jù) 79MB

--sqlldr userid＝/ control＝result1.ctl direct＝true parallel＝true

--sqlldr userid＝/ control＝result2.ctl direct＝true parallel＝true

--sqlldr userid＝/ control＝result2.ctl direct＝true parallel＝true

--當(dāng)加載大量數(shù)據(jù)時（大約超過10GB），最好抑制日志的產(chǎn)生：

--SQLALTER TABLE RESULTXT nologging;

--這樣不產(chǎn)生REDO　LOG，可以提高效率。然后在CONTROL文件中l(wèi)oad data上面加一行：unrecoverable

--此選項必須要與DIRECT共同應(yīng)用。

--在并發(fā)操作時，Oracle數(shù)據(jù)庫聲稱可以達(dá)到每小時處理100GB數(shù)據(jù)的能力！其實，估計能到1－10G就算不錯了，開始可用結(jié)構(gòu)

--相同的文件，但只有少量數(shù)據(jù)，成功后開始加載大量數(shù)據(jù)，這樣可以避免時間的浪費(fèi)

下面就是執(zhí)行了

Shell代碼

sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true

結(jié)果：30秒可以載入200萬的測試數(shù)據(jù) 79MB

226秒載入1100萬的測試數(shù)據(jù) 392Mb

我的環(huán)境是在虛擬機(jī)，測得的結(jié)果

MemTotal: 949948 kB

model name : Intel(R) Pentium(R) D CPU 2.80GHz

stepping : 8

cpu MHz : 2799.560

cache size : 1024 KB

還是挺快的：）

以上的相關(guān)內(nèi)容就是對Oracle數(shù)據(jù)庫,sql loader及快速生成大量數(shù)據(jù)的介紹，望你能有所收獲。

【編輯推薦】

1. Oracle密碼文件的實際操作方案介紹
2. Oracle數(shù)據(jù)庫的性能完全保護(hù)的4個項目
3. 提高Oracle SQL的執(zhí)行效率的3個方案
4. Oracle存儲過程定時執(zhí)行2種方法
5. Oracle多表關(guān)聯(lián)中的update語句實際應(yīng)用