物联传媒 旗下网站
登录 注册
RFID世界网 >  技术文章  >  其他  >  正文

RFID数据高效管理七原则

作者:智讯物联科技有限公司 刘艾秋
来源:RFID世界网
日期:2006-10-13 10:18:28
摘要:RFID数据高效管理七原则
关键词:数据管理存储器
原则一:靠近源头整理数据

如果用街道上的消防栓来浇灌草坪,你的速度肯定会快很多。但是,如果仅仅只是把花园里的水管直接接到消防栓上,你所得到的将是一根四分五裂的水管、一片汪洋的花园和一位怒气冲天的消防警官。这就好比直接将RFID阅读器连接到你的中央IT系统,其结果一样的糟糕。

一种比较好的解决方法是将RFID搜集到的大量事件在初期,或者说整个系统运作的“边缘”进行整理,只让有价值的数据进入到中央IT系统。这种整理远非简单的筛选,它包括:数据清理、整合和汇总;处理各种机械或人工造成的异常;补救各种不稳定的技术结构如程序、硬件和网络的错误;以及调整RFID标签阅读器不稳定的工作环境。在初期对数据进行整理让这一系列繁复的程序得以实现,并可以及时解决各种异常情况,避免了大量数据涌入中央IT系统。

在RFID系统工作的初期进行数据整理将提高信息的可靠性和IT结构的安全性。

原则二:将简单事件转化成有价值的事件

 复杂事件处理(CEP)是一个新兴的技术领域,用于处理大量的简单事件,并从其中整理出有价值的事件。举几个例子:教堂的钟声、穿礼服的男士,以及抛洒在空中的米粒,这些都是简单事件。而从这些简单事件中得出的推断或结论——一场正在举行的婚礼,即为复杂事件。CEP就是帮助人们通过分析诸如此类的简单事件,并通过推断得出复杂事件。

 
        

CEP技术的先驱斯坦福大学教授David Luckman在其所著的《The Power of Events, an Introduction to Complex Event Processing in Distributed Enterprise Systems》一书中详细介绍了一种复杂事件查询语言。这种查询语言可以对事件数据,包括时间和次序等进行基本的处理。Gartner公司曾预言,CEP将在5到10年的时间内成为一种通用计算模式。然而科技开发的速度一日千里——今天你就已经可以用Java或C++语言来建造CEP系统了。

无论你是使用CEP工具还是在建造自己的系统,请遵循原则2:把简单事件转化为有价值的事件,并从中获取可操作的信息。

原则三:缓冲信息流

 如果降低消防栓的水压和流量,你就可以用消防栓里的水来浇草坪。同样,处理RFID数据,你也可以建造一个RFID数据“集中器”来缓冲这些大量的信息流。

 RFID数据集中器是一种在数据源头进行原始事件收集和处理(见“原则1”)的软件,由RFID中间件、事件处理器,和内存数据高速缓冲存储器三大部件组成。

          

RFID中间件是程序接收阅读器信息的接口,目前市面上已经出现很多商用型号。目前无线电频识别标准组织(由国际物品编码协会和统一代码委员会筹建,旨在推进全球无线电频识别网络的应用)正在制定RFID中间件和应用级别事件(ALE)的标准,以提供一个信息接收的标准化阅读器中间接口。

事件处理程序通过管道技术来处理大量庞杂的原始事件流。管道处理首先将事件分类,然后中央处理器会通过一系列简单的任务对每一类事件进行一段时间的处理。这种将大量的数据分成一个个小的区间来处理的方式,不仅提高了数据处理的总体能力,对个体事件的平均处理速度也得到了提高。管道技术在多种硬件和软件系统里均有应用,如电脑中央处理器、股票市场实时供给应用软件,以及信用卡公司的交易处理系统等。

最后就是内存数据库或数据高速缓冲处理器。它们可以实现集中器的实时处理功能。内存数据管理技术是RFID实时性的核心:存储器的速度比光盘快1 000倍——这是一条基本的物理学定律,也是麻省理工的Auto-ID Center将“实时内存事件数据库”纳入其首个RFID参考架构的原因。而斯坦福大学的CEP研究中心也建立了一个“核心内存”数据库。这种高速缓冲存储器的可靠性、可用性和容错性都与数据库非常相近。命名为“高速缓冲存储器”只是为了将它和其他的企业应用数据库区分开来。

采用数据集中器,通过RFID中间件、事件处理器和内存数据缓冲处理器来对事件流进行缓冲,从而达到所需要的可靠速度。

原则四:存储器语境

大多数的RFID数据都很简单。如果不是使用很复杂昂贵的电子标签,你所得到的信息一般就是商品的识别号、时间和存放地址。从简单RFID事件数据当中得出复杂事件需要语境。而通常,语境都是由各种各样的“参考”数据提供的。
        
 
比方说,语境可以来自于预先发货通知(ASN)里的信息。根据制造厂商提供的ASN,相关人员可以对已发送的嵌有电子标签的商品实际接收与否进行确认。语境也可以来自于EPC信息服务(EPC IS)目录。EPCglobal现在正在制定EPC IS的标准,以期为贸易各方就产品详细信息交流提供一个框架。通过EPC IS,Kellogg供应链中的每一个有相应权限的人都可以了解到EPC标签01.0000A89.00016F.000169DC0究竟是一盒24盎司玉米片还是一盒吉列Mach3 涡轮式剃须刀。除此之外,你还可以通过EPC IS了解每件商品的来源、去向,以及生产时间等诸多信息。语境还可以来自于企业内部系统。举个例子:通过调用乘客信息系统里的数据,RFID行李处理系统可以将贴有RFID电子标签的行李准确无误地运上其主人所在的航班。

前面我们曾肯定了内存数据高速缓冲存储器在处理事件数据方面的优势(见原则3),事实上,内存数据高速缓冲存储器处理语境数据的性能也独占鳌头。EPCGlobal即将出台的第二代(Gen2)RFID阅读器标准对阅读器的阅读速率做出了规定:每秒钟1 800个电子标签。也就是说,一个拥有20台阅读器的配送中心在高峰期一秒钟可以阅读36 000个事件。但是这36 000个SQL请求并不能直接添加到现有的数据仓库中,而是应当先将这些数据复制,然后再储存到数据集中器里面,以供实时调用。

通过存储参考数据,可以为数据集中器处理RFID事件数据提供所需的语境。

原则五:近实时联合数据分送

原则一建议用户在靠近信息来源处对庞杂的数据进行处理,以保护中央IT系统。但这些需要追踪的商品不可能一直停留在一个地方。比方说,机场的RFID行李追踪系统就必须在航班飞抵之前提前将行李数据发送到目的地机场。因为要进行大量的数据分送操作,所以用户必须事先就制定好RFID数据分送计划,以实现近实时分送。
 


Merriam-Webster里对于“联合”的定义是:“彼此联合而成的结合体”。联合数据并不是一个新鲜名词:很多金融中心已经建立数据联合,每天在彼此的贸易系统之间进行数据的近实时传送。具体到RFID技术,则是将要分送的联合数据与各个RFID数据集中器连接起来,在联合成员之间实现有价值的RFID事件和语境数据的共享。

因篇幅所限,本文不一一详述这种近实时分送系统的操作细节。其所遵循的原则与前文里提到的大体相同:在靠近信息来源处处理数据,使用数据集中器,将数据保存到集中器里,筛选并解决异常情况。最后,将筛选出来的有价值的事件提前发送到联合各成员之间,以尽可能的实现联合各系统的近实时资源共享。

建立联合数据分送,RFID系统即能实现全球资源近实时共享。

原则六:合理调整RFID数据

即使是沃尔玛也不可能每天都用7TB的磁盘容量来储存RFID数据。通过逐步合理地调整RFID事件数据,用户可以缩减工作集,适当补充事件数据,并同时减轻下游系统的负荷。
 
      

机场的行李处理系统必须收集行李从进入机场入口大门一直到运上飞机的所有事件数据,但只会选择必要的数据进行保存。当然,这些数据必须能够让操作人员了解行李处理的整个流程,包括行李的来源、传送时间、处理地点,以及处理的时间。然后系统会对这些基本事件补充相关信息——比如行李的装机时间和所放置的货舱。最后,再对数据的存储进行优化,以保证系统运行的性能和可量测性。在整个过程中,RFID集中器起到了关键的作用:删除多余的信息(如行李的重复阅读),对需要语境的事件加以补充(如将货舱号码添加到“行李装载”事件),调送数据到其他系统(如将所有的行李事件保存并发送至安检系统),并整理出要发送到其他机场的数据。而每一步骤,高速缓冲存储器都必须时刻与数据集中器保持同步,以保证系统的可恢复性。

调整RFID数据,以维护数据工作集的性能、根据语境补充原始数据,并减轻下游系统的负荷。

原则七:异常自动处理

RFID系统的一个基本任务就是异常处理。比如婚礼上新娘突然发怵,不肯露面;又比如,一个已经装载完毕的行包现在必须得从飞机上拿下来。在当前,这些异常还是由人工来解决:伴娘去寻找新娘;行李处理人员亲自去行李堆里翻查。而在未来,RFID系统软件将会自动查找并解决这些运行中的异常。

虽然系统可以通过复杂的处理程序检测出事件中的异常,但是要解决这些异常,系统还必须了解异常产生的原因,并通过计算来完成纠错。而这一系列步骤由CEP结合事件回放即可完成。
 


事件的回放是对高速缓冲数据存储器里的RFID事件进行回放,其操作方式与TiVo数码录像机类似。TiVo为人们提供了一种看电视的全新方式,而拥有优秀随机档案回放性能的RFID事件回放则帮人们实现了异常处理的自动化。一旦发生异常事件(如行包需要重新装载),高速缓冲数据存储器将对发生异常的物品的事件数据进行回放,从而确定它最后出现在什么地方,哪一位操作人员现在离它距离最近,然后通过发送寻呼机信息等方式通知该人。

如果没有事件回放,RFID系统就无法及时回溯查找错放行包的装载时间、在机舱里的方位,当然也就无法对异常进行处理。

RFID数据管理的最后一条原则——采用异常自动处理,全面提高业务效率。