① kettle怎麼建立資料庫連接
下載pdi-ce-4.4.0-stable.zip，解壓到文件夾，打開data-integration中的Spoon.bat
2
出現歡迎界面後來到Repository Connection窗口，選擇建立一個新的repository，隨後出現「資源庫信息」窗口：
在「資源庫信息」窗口中選擇新建一個資料庫連接，彈出「Database Connection」窗口：
在其中輸入Connection Name, Host Name, Database Name, Port Number, User Name,Password信息即可建立連接，完成之後在Repository Connection窗口以admin用戶名登陸。
新建一個名為cscgTransTest的Transformation，從「核心對象」中將兩個「表輸入」和一個「插入/更新」拖入到cscgTransTest中，並建立它們之間的連接，如下圖所示：
在cscgTransTest中建立一個新的資料庫連接ttt，通過表輸入「max_createtime」從目標資料庫ttt中獲取某個表中最新數據的建立時間：
SELECT max(trunc(createtime)) FROMumdata.toeventmedia
在cscgTransTest中建立一個新的資料庫連接testdb，以表輸入「max_createtime」的查詢結果替代表輸入「umdata.toeventmedia」中的變數，執行sql語句從資料庫testdb中獲取需要插入或者更新到ttt資料庫的數據
SELECT * FROMumdata.toeventmedia where trunc(createtime) >= trunc(?)
在「插入/更新」中選擇「資料庫連接」、「目標模式」、「目標表」等信息，「用來查詢的關鍵字」中的欄位用來查詢某條記錄是否在目標表中存在，不存在則插入記錄；如果存在，則繼續比較其他欄位是否與流里的欄位值相同，如果相同則不執行任何操作，如果不同則更新「更新欄位」中所列欄位。
「用來查詢的關鍵字」所列欄位是該表的primarykey，從而可以唯一標識一條記錄。
分別為每一個表建立一個如上模式的轉換步驟。
新建一個名為「cscgJobTest」的Job，在核心對象中將「START」和「Transformation」拖入cscgJobTest中，並建立兩者之間的連接。
選中START中的「重復執行」，類型為「不需要定時」；在Transformation中將轉換名設置為之前建立的「cscgTransTest」.
點擊「Run this Job」運行。Job和Transformation的執行結果如如下：
② kettle 如何讓執行sql腳本在最後執行
在轉換裡面各個【步驟】是並發執行的，數據流是按照順序執行的，所以可以這樣：
增加一個轉換
把sq腳本放進去
並且把這個轉換
放到悄想要執行在轉換後面
就實現國在sql腳本在最後執行
③ kettle設置了一個變數，執行第一次的時候提示出現不支持的sql92，然後再運行一次job變數就正常使用了
1. Join
我得到A 數據流（不管是基於文件或資料庫），A包含field1 , field2 , field3 欄位，然後我還有一個B數據流，B包含field4 , field5 , field6 , 我現在想把它們 『加』 起來, 應該怎麼樣做.
這是新手最容易犯錯的一個地方，A數據流跟B數據流能夠Join，肯定是它們包含join key ,join key 可以是一個欄位也可以是多個欄位。如果兩個數據流沒有join key ,那麼它們就是在做笛卡爾積，一般很少會這樣。比如你現在需要列出一個員工的姓名和他所在部門的姓名，如果這是在同一個資料庫，大家都知道會在一個sql 裡面加上where 限定條件，但是如果員工表和部門表在兩個不同的數據流裡面，尤其是數據源的來源是多個資料庫的情況，我們一般是要使用Database Join 操作，然後用兩個database table input 來表示輸入流，一個輸入是部門表的姓名，另一個是員工表的姓名，然後我們認為這兩個表就可以 」Join」 了，我們需要的輸出的確是這兩個欄位，但是這兩個欄位的輸出並不代表只需要這兩個欄位的輸入，它們之間肯定是需要一個約束關系存在的。另外，無論是在做 Join , Merge , Update , Delete 這些常規操作的時候，都是先需要做一個compare 操作的，這個compare 操作都是針對compare key 的，無論兩個表結構是不是一樣的，比如employee 表和department 表，它們比較的依據就是employee 的外鍵department_id , 沒有這個compare key 這兩個表是不可能連接的起來的.. 對於兩個表可能還有人知道是直接sql 來做連接，如果是多個輸入數據源，然後是三個表，有人就開始迷茫了，A表一個欄位，B表一個欄位，C表一個欄位，然後就連Join操作都沒有，直接 database table output , 然後開始報錯，報完錯就到處找高手問，他們的資料庫原理老師已經在吐血了。如果是三個表連接，一個sql 不能搞定，就需要先兩個表兩個表的連接，通過兩次compare key 連接之後得到你的輸出，記住，你的輸出並不能代表你的輸入. 下面總結一下:
1. 單數據源輸入，直接用sql 做連接
2. 多數據源輸入，（可能是文本或是兩個以上源資料庫），用database join 操作.
3. 三個表以上的多欄位輸出.
2. Kettle的資料庫連接模式
Kettle的資料庫連接是一個步驟裡面控制一個單資料庫連接，所以kettle的連接有資料庫連接池，你可以在指定的資料庫連接裡面指定一開始連接池裡面放多少個資料庫連接，在創建資料庫連接的時候就有Pooling 選項卡，裡面可以指定最大連接數和初始連接數，這可以一定程度上提高速度.
3. transaction
我想在步驟A執行一個操作（更新或者插入），然後在經過若干個步驟之後，如果我發現某一個條件成立，我就提交所有的操作，如果失敗，我就回滾，kettle提供這種事務性的操作嗎？
Kettle 裡面是沒有所謂事務的概念的，每個步驟都是自己管理自己的連接的，在這個步驟開始的時候打開資料庫連接，在結束的時候關閉資料庫連接，一個步驟是肯定不會跨session的（資料庫裡面的session）, 另外，由於kettle是並行執行的，所以不可能把一個資料庫連接打開很長時間不放，這樣可能會造成鎖出現，雖然不一定是死鎖，但是對性能還是影響太大了。ETL中的事務對性能影響也很大，所以不應該設計一種依賴與事務方式的ETL執行順序，畢竟這不是OLTP，因為你可能一次需要提交的數據量是幾百 GB都有可能，任何一種資料庫維持一個幾百GB的回滾段性能都是會不大幅下降的.
4. 我真的需要transaction 但又不想要一個很復雜的設計，能不能提供一個簡單一點的方式
Kettle 在3.0.2GA版中將推出一種新功能，在一個table output 步驟中有一個Miscellaneous 選項卡，其中有一個Use unique connections 的選項，如果你選中的話就可以得到一個transaction 的簡單版，
由於是使用的單資料庫連接，所以可以有錯誤的時候回滾事務，不過要提醒一點是這種方式是以犧牲非常大的性能為前提條件的，對於太大的數據量是不適合的(個人仍然不建議使用這種方式)
5. temporary 表如何使用
我要在ETL過程中創建一個中間表，當某個條件成立的時候，我要把中間表的數據進行轉換，當另一條件成立的時候我要對中間表進行另一個操作，我想使用資料庫的臨時表來操作，應該用什麼步驟。
首先從temp 表的生命周期來分，temp分為事務臨時表和會話臨時表，前面已經解釋過了，kettle是沒有所謂事務的概念的，所以自然也沒有所謂的事務臨時表。 Kettle的每個步驟管理自己的資料庫連接，連接一結束，kettle也就自然丟掉了這個連接的session 的handler , 沒有辦法可以在其他步驟拿回這個session 的handler , 所以也就不能使用所謂的會話臨時表，當你嘗試再開一個連接的時候，你可以連上這個臨時表，但是你想要的臨時表裡面的數據都已經是空的(數據不一定被清除了，但是你連不上了)，所以不要設計一個需要使用臨時表的轉換
之所以會使用臨時表，其實跟需要 」事務」 特性有一點類似，都是希望在ETL過程中提供一種緩沖。臨時表很多時候都不是某一個源表的全部數據的鏡像，很多時候臨時表都是很小一部分結果集，可能經過了某種計算過程，你需要臨時表無非是基於下面三個特性：
1. 表結構固定，用一個固定的表來接受一部分數據。
2. 每次連接的時候裡面沒有數據。你希望它接受數據，但是不保存，每次都好像執行了truncate table 操作一樣
3. 不同的時候連接臨時表用同一個名字，你不想使用多個連接的時候用類似與temp1 , temp2 , temp3 , temp4 這種名字，應為它們表結構一樣。
既然臨時表不能用，應該如何設計ETL過程呢？（可以用某種詭異的操作搞出臨時表，不過不建議這樣做罷了）
如果你的ETL過程比較的單線程性，也就是你清楚的知道同一時間只有一個這樣的表需要，你可以創建一個普通的表，每次連接的時候都執行truncate 操作，不論是通過table output 的truncate table 選項，還是通過手工執行truncate table sql 語句（在execute sql script 步驟）都可以達到目的（基於上面的1，2 特性）
如果你的ETL操作比較的多線程性，同一時間可能需要多個表結構一樣並且裡面都是為空的表（基於上面1，2，3特性），你可以創建一個 「字元串+序列」 的模式，每次需要的時候，就創建這樣的表，用完之後就刪除，因為你自己不一定知道你需要多少個這種類型的表，所以刪除會比truncate 好一些。
下面舉個例子怎麼創建這種表：
你可以使用某種約定的表名比如department_temp 作為department 的臨時表。或者
把argument 傳到表名，使用 department_${argument} 的語法，
如果你需要多個這種表，使用一個sequence 操作+execute sql script 操作，execute sql script 就下面這種模式
Create table_? (…………..)
在表的名字上加參數，前面接受一個sequence 或類似的輸入操作.
需要注意的是這種參數表名包括database table input 或者execute sql script ，只要是參數作為表名的情況前面的輸入不能是從資料庫來的,應為沒有辦法執行這種preparedStatement 語句，從資料庫來的值後面的操作是 「值操作」 ,而不是字元串替換，只有argument 或者sequence 操作當作參數才是字元串替換. (這一點官方FAQ也有提到)
④ kettle可以建表嗎
可以，將create table語句寫好，放在kettle的執行sql腳本組件中，執行時會建表。
⑤ 獲取kettle在轉換的過程中都執行了哪些sql語句
新建一個轉換（執行SQL腳本--->>表輸入--->>表輸出）
執行SQL腳本：刪除DS_ODS庫中已經存在的數據
表輸入：查詢DS_ERP庫中的數據
表輸出：將「表輸入」中的結果輸出到DS_ODS庫中
執行SQL腳本：刪除DS_ODS庫中已經存在的數據
${qy_table_name}：這個是參數，指同步的表名
表輸入：查詢DS_ERP庫中的數據
${qy_table_name}：這個是參數，指同步的表名
表輸出：將「表輸入」中的結果輸出到DS_ODS庫中
${qy_table_name}：這個是參數，指同步的表名
⑥ kettle 可以做SQL SERVER 對 SQL SERVER的數據轉換嗎
可以的。
SQL查詢中使用kettle變數
表輸入步驟支持替換查詢中的變數或參數，假設有一系列結構完全相關的表，分別是: mammals, birds, insects(動物、鳥、昆蟲)，可以使用kettle變數作為表的名稱。假設我們有一個變數，名稱為：ANIMALS_TABLE,賦值為birds，我們設置「Replace Vaiables」選項選中。如果我們寫下面的查詢：
SELECT name,population FROM ${ANIMALS_TABLE}
在執行一定被成功的替換成：
SELECT name,population FROM birds
如果設置變數的值為「mammals」或「insects」，則將動態查詢不同的表。當佔位符不能勝任是，使用變數技術可以幫助我們解決。示例的名稱為variables.ktr，運行時不要忘了給parameter（命名參數）賦值進行測試。
⑦ kettle 的mysql資料庫中表輸入中如何編輯sql語句
1、在文件->新建裝換。新建轉換後在左邊的主對象樹中建立DB連接用以連接資料庫。建立資料庫連接的過程與其他資料庫管理軟體連接資料庫類似。
2、簡單的數據表插入，更新在面板中選擇「核心對象」，在核心對象裡面選擇輸入到表輸入,用滑鼠拖動到右邊面板。
3、雙擊拖過來的表，可以編輯表輸入。選擇資料庫連接和編輯sql語句，在這一步可以點擊預覽，查看自己是否連接正確。
⑧ kettle執行SQL腳本日誌怎麼監控
我理解為你的問題就是如何保存日期
資源庫
轉換屬性中可以設置日誌表
非資源庫
用命令行執行可以將日誌輸出至文件
⑨ kettle執行sql腳本刪除數據
在kettle的控制項目錄裡面有個腳本，裡面有執行sql的控制項，可直接在裡面寫delete語句來刪除數據。
⑩ Kettle 實戰之 (7) 執行SQL腳本
編輯轉換的屬性，錄入參數信息，注意參數的格式
執行轉換時輸入相關參數的值，即可執行SQL腳本
依賴前面的表輸入，將表輸入中的每一行解析成SQL腳本進行執行，表輸入中有幾條數據，解析成幾個SQL腳本執行
採用參數站位符『？』，是有順序的，需要嚴格按照順序設置參數