博客访问： 506101
博文数量： 364
注册时间：
ITPUB论坛APP
ITPUB论坛APP
APP发帖 享双倍积分
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
分类： Linux
Lookup在ETL中是一种常见的操作，比如产品键到代理键的转换，ID到name的转换等，都可以通过lookup来实现。Informatica中的lookup transformation组件除了能实现这种普通的转换，还可以用来更新缓慢变化维等，功能可谓强大。本文根据Informatcia8.1的联机文档，简单介绍一下informatica的lookup transformation。中英文名词对应：transformation:转换connected:连接的unconnected:未连接的cache:缓存一、lookup的功能获得相关值：例如根据ID查找name执行计算：例如得到计算公式得到一个结果更新缓慢变化维：根据lookup的条件决定是插入还是更新记录等二、rational lookups vs flat file lookupslookup的源可以是关系数据库中的表，也可以是平文件。对于关系表，可以从source或者target中选择，也可以和平文件一样，通过import向导完成。三、connected lookups vs unconnected lookupsinformatica的转换可以分为连接的和非连接的两种。所谓连接的转换，就是该转换是处于整个ETL的数据流中的，其输入ort是直接从另外一个转换，而非连接的，则独立于主数据流之外，通过其他转换中的表达式得到输入数据。连接的lookup转换将处理数据流中的每一条数据，对于不符合lookup条件的，则输出预先指定的默认值,并且可以更新动态缓存。输出值是所有的output/lookup port。可以使用静态或者动态的缓存。未连接的lookup转换只处理符合lookup条件的数据，并且只返回一个值。对于不符合条件的，输出NULL。未连接的lookup转换可以被多次调用。输出值在唯一的return port。只能使用静态缓存。四、cacheinformatica对于lookup使用了cache机制。服务器对于cache的处理流程大致如下：开始处理第一条数据的时候，服务器会在内存中建立缓存，缓存的大小有lookup转换的一些属性决定。对于lookup条件，建立一个index cache，而对于输出值，则放在data cache中。如果内存缓存大小不够，则会将溢出的缓存放到文件中。会话结束后，缓存会被清除，除非lookup缓存被设置为永久性的。对于静态的cache，是不允许lookup转换对其进行更新的。而动态的cache，在lookup中如果发现不符合条件的值，可以对cache进行插入或者更新处理。当然也可以选择不使用任何cache。五、lookup transmation组件lookup共有5个组件，也就是在lookup转换上点右键，选编辑后看到的5个标签页。实际上，基本上informatica所有的transformation都差不多是5个组件。其中第一个transformation页签，第二个ports页签和第五个metadata extensions页签基本都差不多。只是lookup的port除了通常的I(input),O(output)外，还有L(lookup),R(return)。其中return port只能有一个，并且不能和其他转换直接连接，只能通过LKP:表达式获得。第四个condition页签指定lookup的条件，实际上就是设置两个表的关联条件。第三个properties是最重要的，可以在这里重写SQL来自定义lookup，设置符合条件返回多条记录时的处理方式，设置是否使用动态cache，以及cache的大小等等。六、lookup tips在lookup条件列上创建index尽量使用=条件。如果有多个条件，尽量将=条件放到最前面对于小表，尽量使用cache，并且设置cache大小，使得整个table可以cache到内存中如果lookup的表和源表在同一个数据库中，并且cache不够大，那么尽量使用join而不是lookup对于静态的lookup，尽量使用永久cache(persistent cache),这样多个session可以重用。
阅读(3226) | 评论(0) | 转发(0) |
相关热门文章
给主人留下些什么吧！~~
请登录后评论。查看: 4798|回复: 10
Informatica-----Source Qualifier Transformation
论坛徽章:0
请问在Informatica这个工具中Source Qualifier Transformation的主要作用是什么？
论坛徽章:0
Use the Source Qualifier transformation to complete the following tasks:
1.Join data originating from the same source database
2.Filter rows when the Integration Service reads source data
3.Specify an outer join rather than the default inner join
4.Specify sorted ports
5.Create a custom query to issue a special SELECT statement for the Integration Service to read source data
论坛徽章:0
楼上已经说得很详细了，主要是针对源source做一些select join等操作，它是在mapping中建立source的时候自动建立的。
论坛徽章:0
论坛徽章:0
哦。。顶一个
论坛徽章:0
Almost covered all the things, but need to aware the followings:
1. It depends on what kind of source you are using. When you add a relational or a flat file source definition to a mapping, you need to connect it to a Source Qualifier transformation.&&Some of the source, you do not need to use Source Qualifier.
2. you can also &Select only distinct values from the source. If you choose Select Distinct, the Informatica Server adds a SELECT DISTINCT statement to the default SQL query. &
3. Furthermore, you can add pre- and post-session SQL commands on the Properties tab in the Source Qualifier transformation. To issue SQL statements before and after the SQ transformation.
论坛徽章:37
Source Qualifier Transformation&&对这个我的理解还有一部分是语义上的统一，因为数据源多种多样，Informatic要在他自己的工具里将这些统一，类似于BO中的语义层，Cognos中的业务视图层（比喻可能不太贴切，别用板砖拍我啊！！）
论坛徽章:0
个人认为，SQ还有一个最大的用处是能把该在源数据库执行的任务指定执行，从而提高效率。解释的不是很好，不要BS我
论坛徽章:13
我来总结：Source Qulifier的主要作用有两个：
1. 屏蔽不通数据源的数据类型差异，从而支持异构数据源的关联性操作；
2. SQ里可以支持源系统的任意的SQL语句，原因是这些语句实际上是提交到源数据库里执行的
论坛徽章:0
说得不错& &长见识了
itpub.net All Right Reserved. 北京皓辰网域网络信息技术有限公司版权所有　　　　
　北京市公安局海淀分局网监中心备案编号：　广播电视节目制作经营许可证：编号（京）字第1149号Informatica.Transformation_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
Informatica.Transformation
上传于|0|0|暂无简介
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩18页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢[informatica]自我整理的Informatica informatica
? Informatica学习笔记一
1.Informatica产品介绍: PowerCenter：Informatica PowerCenter是世界级的企业数据集成平台，它在ETL领域中无论是执行能力还是战略远见方面都是佼佼者，是Informatica的核心产品 。2.ETL环节中最重要的:?? 大家可能大部分会认为转换才是最重要的环节，但事实上是加载环节。 按重要程度递减排序，分别是load（装载）、clean（清洗）、transfer（转换）、extract（抽取）3.具有2个server:??????? Informatica Repository Server:资料库server,管理ETL过程产生的元数据,用来管理对资料库中元数据的请求和操作; Informatica server:实际的ETL引擎; PowerCenter Designer：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射
Workflow Manager：合理地实现复杂的ETL工作流，基于时间、事件的作业调度
Workflow Monitor：监控Workflow和Session运行情况，生成日志和报告
Repository Manager：资料库管理，包括安全性管理等，元数据维护和安全操作，如：元数据查找，用户、组、权限管理等。 Repository Server Administrator Console：对知识库的操作，如：知识库的创建、备份、恢复等。5.基本的ETL任务设计和部署的大致步骤:?????? 使用Designer客户端，获取源数据表的元数据。 使用Designer客户端，获取目标数据表的元数据。 使用Designer客户端，设计一个Mapping，其中就是源-&目标的ETL规则。 使用Workflow Manager客户端，针对上面实现的Mapping，实例化为一个Session，为其指定实际的数据源、目标连接，以及其他属性。 使用Workflow Manager客户端，创建一个Workflow，其中包含上述的Session以及其他的Task，在Workflow中可实现复杂的流程控制。 运行上述Workflow，使用Workflow Monitor客户端，监测最终的任务运行结果。6.一个简单的Mapping设计过程(8.1.1版本):第一步:进入Repository Manager,在你的库下建立一个文件夹,用来储存自己的Mapping,如图1.1: 4.具有5个client:图1.1第二步:假如你所建的文件夹名称为org_wellzaj,然后打开Powercenter Designer,你就会看到你所建的文件夹org_wellzaj,右击OPEN此文件夹,会发现有很多的子目录,点击Sources子目录,从数据库中导入表结构,如图1.2:图1.2第三步:导入目标表结构,导入过程和导入源表结构一样,假如源表为DEPTINFO,目标表为USERANDDEPT,现在可以设计自己的mapping了,将目标表和源表组件拖到设计台中,在工具栏中选择一个你想要处理的控件,假如为Filter也拖放到mapping设计台中,通过名称和位置进行连接关联,效果如图1.3:图1.3第四步:打开workflow manager,创建自己的Session,如图1.4:图1.4第五步:create一个workflows,会产生一个绿色的Start(这个是自动产生的),再将做好的Session拖放到workflow的设计台中,将start和session关联(Link)如图1.5:图1.5第六步:保存你的workflow,右击运行此workflow(kk_org),如图1.6:图1.7第七步:此时会进入workflow montitor,可以查看workflow、session的log,如图1.8:说明:数据库的安装配置,服务端的安装配置在此没有说明,请查阅相关资料Informatica学习笔记二1. Expression transformation:类似与过滤控件,可以起到过滤的作用,当选择为O或者V时,才可以对Expression进行编辑,如图2.1:图2.12. Filter transformation:过滤控件,对相应字段写出自己的过滤条件,如图2.2:图2.23. Aggregator transformation:基于多行记录的汇总计算,如:取平均值和总和,如图2.3:图2.34. Lookup transformation:从数据库表中,按条件查找相关的值专送给其它的对象,如图2.4:图2.4Lookup另外一种用法,在平台中单独出来,在Expression控件中进行调用,如图2.5:图2.5LKPTRANS控件被单独的独立出来,但在Expression中调用它,也起到了查找的作用;5. Sequence Generator transformation:当你目标表中莫个字段是递增形式时,就可以使用此组件,如图2.6:图2.6使用此组件可以将DEPTID,不断的递增;6. Joiner transformation:关联组件,比如内连接,左联接等,如图2.7:图2.77. Union transformation:合并组件,将具有相同字段个数和类型的字段行,进行合并成一个整表,如图2.8:Group01和Group02是在Groups中设定的,顶上面的三行是用来输出的;说明:还有别的一些组件在这里就不介绍了,请各位摸索提醒您本文地址：
更多精彩：