① kettle怎么建立数据库连接
下载pdi-ce-4.4.0-stable.zip，解压到文件夹，打开data-integration中的Spoon.bat
2
出现欢迎界面后来到Repository Connection窗口，选择建立一个新的repository，随后出现“资源库信息”窗口：
在“资源库信息”窗口中选择新建一个数据库连接，弹出“Database Connection”窗口：
在其中输入Connection Name, Host Name, Database Name, Port Number, User Name,Password信息即可建立连接，完成之后在Repository Connection窗口以admin用户名登陆。
新建一个名为cscgTransTest的Transformation，从“核心对象”中将两个“表输入”和一个“插入/更新”拖入到cscgTransTest中，并建立它们之间的连接，如下图所示：
在cscgTransTest中建立一个新的数据库连接ttt，通过表输入“max_createtime”从目标数据库ttt中获取某个表中最新数据的建立时间：
SELECT max(trunc(createtime)) FROMumdata.toeventmedia
在cscgTransTest中建立一个新的数据库连接testdb，以表输入“max_createtime”的查询结果替代表输入“umdata.toeventmedia”中的变量，执行sql语句从数据库testdb中获取需要插入或者更新到ttt数据库的数据
SELECT * FROMumdata.toeventmedia where trunc(createtime) >= trunc(?)
在“插入/更新”中选择“数据库连接”、“目标模式”、“目标表”等信息，“用来查询的关键字”中的字段用来查询某条记录是否在目标表中存在，不存在则插入记录；如果存在，则继续比较其他字段是否与流里的字段值相同，如果相同则不执行任何操作，如果不同则更新“更新字段”中所列字段。
“用来查询的关键字”所列字段是该表的primarykey，从而可以唯一标识一条记录。
分别为每一个表建立一个如上模式的转换步骤。
新建一个名为“cscgJobTest”的Job，在核心对象中将“START”和“Transformation”拖入cscgJobTest中，并建立两者之间的连接。
选中START中的“重复执行”，类型为“不需要定时”；在Transformation中将转换名设置为之前建立的“cscgTransTest”.
点击“Run this Job”运行。Job和Transformation的执行结果如如下：
② kettle 如何让执行sql脚本在最后执行
在转换里面各个【步骤】是并发执行的，数据流是按照顺序执行的，所以可以这样：
增加一个转换
把sq脚本放进去
并且把这个转换
放到悄想要执行在转换后面
就实现国在sql脚本在最后执行
③ kettle设置了一个变量，执行第一次的时候提示出现不支持的sql92，然后再运行一次job变量就正常使用了
1. Join
我得到A 数据流（不管是基于文件或数据库），A包含field1 , field2 , field3 字段，然后我还有一个B数据流，B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应该怎么样做.
这是新手最容易犯错的一个地方，A数据流跟B数据流能够Join，肯定是它们包含join key ,join key 可以是一个字段也可以是多个字段。如果两个数据流没有join key ,那么它们就是在做笛卡尔积，一般很少会这样。比如你现在需要列出一个员工的姓名和他所在部门的姓名，如果这是在同一个数据库，大家都知道会在一个sql 里面加上where 限定条件，但是如果员工表和部门表在两个不同的数据流里面，尤其是数据源的来源是多个数据库的情况，我们一般是要使用Database Join 操作，然后用两个database table input 来表示输入流，一个输入是部门表的姓名，另一个是员工表的姓名，然后我们认为这两个表就可以 ”Join” 了，我们需要的输出的确是这两个字段，但是这两个字段的输出并不代表只需要这两个字段的输入，它们之间肯定是需要一个约束关系存在的。另外，无论是在做 Join , Merge , Update , Delete 这些常规操作的时候，都是先需要做一个compare 操作的，这个compare 操作都是针对compare key 的，无论两个表结构是不是一样的，比如employee 表和department 表，它们比较的依据就是employee 的外键department_id , 没有这个compare key 这两个表是不可能连接的起来的.. 对于两个表可能还有人知道是直接sql 来做连接，如果是多个输入数据源，然后是三个表，有人就开始迷茫了，A表一个字段，B表一个字段，C表一个字段，然后就连Join操作都没有，直接 database table output , 然后开始报错，报完错就到处找高手问，他们的数据库原理老师已经在吐血了。如果是三个表连接，一个sql 不能搞定，就需要先两个表两个表的连接，通过两次compare key 连接之后得到你的输出，记住，你的输出并不能代表你的输入. 下面总结一下:
1. 单数据源输入，直接用sql 做连接
2. 多数据源输入，（可能是文本或是两个以上源数据库），用database join 操作.
3. 三个表以上的多字段输出.
2. Kettle的数据库连接模式
Kettle的数据库连接是一个步骤里面控制一个单数据库连接，所以kettle的连接有数据库连接池，你可以在指定的数据库连接里面指定一开始连接池里面放多少个数据库连接，在创建数据库连接的时候就有Pooling 选项卡，里面可以指定最大连接数和初始连接数，这可以一定程度上提高速度.
3. transaction
我想在步骤A执行一个操作（更新或者插入），然后在经过若干个步骤之后，如果我发现某一个条件成立，我就提交所有的操作，如果失败，我就回滚，kettle提供这种事务性的操作吗？
Kettle 里面是没有所谓事务的概念的，每个步骤都是自己管理自己的连接的，在这个步骤开始的时候打开数据库连接，在结束的时候关闭数据库连接，一个步骤是肯定不会跨session的（数据库里面的session）, 另外，由于kettle是并行执行的，所以不可能把一个数据库连接打开很长时间不放，这样可能会造成锁出现，虽然不一定是死锁，但是对性能还是影响太大了。ETL中的事务对性能影响也很大，所以不应该设计一种依赖与事务方式的ETL执行顺序，毕竟这不是OLTP，因为你可能一次需要提交的数据量是几百 GB都有可能，任何一种数据库维持一个几百GB的回滚段性能都是会不大幅下降的.
4. 我真的需要transaction 但又不想要一个很复杂的设计，能不能提供一个简单一点的方式
Kettle 在3.0.2GA版中将推出一种新功能，在一个table output 步骤中有一个Miscellaneous 选项卡，其中有一个Use unique connections 的选项，如果你选中的话就可以得到一个transaction 的简单版，
由于是使用的单数据库连接，所以可以有错误的时候回滚事务，不过要提醒一点是这种方式是以牺牲非常大的性能为前提条件的，对于太大的数据量是不适合的(个人仍然不建议使用这种方式)
5. temporary 表如何使用
我要在ETL过程中创建一个中间表，当某个条件成立的时候，我要把中间表的数据进行转换，当另一条件成立的时候我要对中间表进行另一个操作，我想使用数据库的临时表来操作，应该用什么步骤。
首先从temp 表的生命周期来分，temp分为事务临时表和会话临时表，前面已经解释过了，kettle是没有所谓事务的概念的，所以自然也没有所谓的事务临时表。 Kettle的每个步骤管理自己的数据库连接，连接一结束，kettle也就自然丢掉了这个连接的session 的handler , 没有办法可以在其他步骤拿回这个session 的handler , 所以也就不能使用所谓的会话临时表，当你尝试再开一个连接的时候，你可以连上这个临时表，但是你想要的临时表里面的数据都已经是空的(数据不一定被清除了，但是你连不上了)，所以不要设计一个需要使用临时表的转换
之所以会使用临时表，其实跟需要 ”事务” 特性有一点类似，都是希望在ETL过程中提供一种缓冲。临时表很多时候都不是某一个源表的全部数据的镜像，很多时候临时表都是很小一部分结果集，可能经过了某种计算过程，你需要临时表无非是基于下面三个特性：
1. 表结构固定，用一个固定的表来接受一部分数据。
2. 每次连接的时候里面没有数据。你希望它接受数据，但是不保存，每次都好像执行了truncate table 操作一样
3. 不同的时候连接临时表用同一个名字，你不想使用多个连接的时候用类似与temp1 , temp2 , temp3 , temp4 这种名字，应为它们表结构一样。
既然临时表不能用，应该如何设计ETL过程呢？（可以用某种诡异的操作搞出临时表，不过不建议这样做罢了）
如果你的ETL过程比较的单线程性，也就是你清楚的知道同一时间只有一个这样的表需要，你可以创建一个普通的表，每次连接的时候都执行truncate 操作，不论是通过table output 的truncate table 选项，还是通过手工执行truncate table sql 语句（在execute sql script 步骤）都可以达到目的（基于上面的1，2 特性）
如果你的ETL操作比较的多线程性，同一时间可能需要多个表结构一样并且里面都是为空的表（基于上面1，2，3特性），你可以创建一个 “字符串+序列” 的模式，每次需要的时候，就创建这样的表，用完之后就删除，因为你自己不一定知道你需要多少个这种类型的表，所以删除会比truncate 好一些。
下面举个例子怎么创建这种表：
你可以使用某种约定的表名比如department_temp 作为department 的临时表。或者
把argument 传到表名，使用 department_${argument} 的语法，
如果你需要多个这种表，使用一个sequence 操作+execute sql script 操作，execute sql script 就下面这种模式
Create table_? (…………..)
在表的名字上加参数，前面接受一个sequence 或类似的输入操作.
需要注意的是这种参数表名包括database table input 或者execute sql script ，只要是参数作为表名的情况前面的输入不能是从数据库来的,应为没有办法执行这种preparedStatement 语句，从数据库来的值后面的操作是 “值操作” ,而不是字符串替换，只有argument 或者sequence 操作当作参数才是字符串替换. (这一点官方FAQ也有提到)
④ kettle可以建表吗
可以，将create table语句写好，放在kettle的执行sql脚本组件中，执行时会建表。
⑤ 获取kettle在转换的过程中都执行了哪些sql语句
新建一个转换（执行SQL脚本--->>表输入--->>表输出）
执行SQL脚本：删除DS_ODS库中已经存在的数据
表输入：查询DS_ERP库中的数据
表输出：将“表输入”中的结果输出到DS_ODS库中
执行SQL脚本：删除DS_ODS库中已经存在的数据
${qy_table_name}：这个是参数，指同步的表名
表输入：查询DS_ERP库中的数据
${qy_table_name}：这个是参数，指同步的表名
表输出：将“表输入”中的结果输出到DS_ODS库中
${qy_table_name}：这个是参数，指同步的表名
⑥ kettle 可以做SQL SERVER 对 SQL SERVER的数据转换吗
可以的。
SQL查询中使用kettle变量
表输入步骤支持替换查询中的变量或参数，假设有一系列结构完全相关的表，分别是: mammals, birds, insects(动物、鸟、昆虫)，可以使用kettle变量作为表的名称。假设我们有一个变量，名称为：ANIMALS_TABLE,赋值为birds，我们设置“Replace Vaiables”选项选中。如果我们写下面的查询：
SELECT name,population FROM ${ANIMALS_TABLE}
在执行一定被成功的替换成：
SELECT name,population FROM birds
如果设置变量的值为“mammals”或“insects”，则将动态查询不同的表。当占位符不能胜任是，使用变量技术可以帮助我们解决。示例的名称为variables.ktr，运行时不要忘了给parameter（命名参数）赋值进行测试。
⑦ kettle 的mysql数据库中表输入中如何编辑sql语句
1、在文件->新建装换。新建转换后在左边的主对象树中建立DB连接用以连接数据库。建立数据库连接的过程与其他数据库管理软件连接数据库类似。
2、简单的数据表插入，更新在面板中选择“核心对象”，在核心对象里面选择输入到表输入,用鼠标拖动到右边面板。
3、双击拖过来的表，可以编辑表输入。选择数据库连接和编辑sql语句，在这一步可以点击预览，查看自己是否连接正确。
⑧ kettle执行SQL脚本日志怎么监控
我理解为你的问题就是如何保存日期
资源库
转换属性中可以设置日志表
非资源库
用命令行执行可以将日志输出至文件
⑨ kettle执行sql脚本删除数据
在kettle的控件目录里面有个脚本，里面有执行sql的控件，可直接在里面写delete语句来删除数据。
⑩ Kettle 实战之 (7) 执行SQL脚本
编辑转换的属性，录入参数信息，注意参数的格式
执行转换时输入相关参数的值，即可执行SQL脚本
依赖前面的表输入，将表输入中的每一行解析成SQL脚本进行执行，表输入中有几条数据，解析成几个SQL脚本执行
采用参数站位符‘？’，是有顺序的，需要严格按照顺序设置参数