RFID數(shù)據(jù)高效管理七原則
原則一:靠近源頭整理數(shù)據(jù)
如果用街道上的消防栓來澆灌草坪,你的速度肯定會快很多。但是,如果僅僅只是把花園里的水管直接接到消防栓上,你所得到的將是一根四分五裂的水管、一片汪洋的花園和一位怒氣沖天的消防警官。這就好比直接將RFID閱讀器連接到你的中央IT系統(tǒng),其結(jié)果一樣的糟糕。
一種比較好的解決方法是將RFID搜集到的大量事件在初期,或者說整個(gè)系統(tǒng)運(yùn)作的“邊緣”進(jìn)行整理,只讓有價(jià)值的數(shù)據(jù)進(jìn)入到中央IT系統(tǒng)。這種整理遠(yuǎn)非簡單的篩選,它包括:數(shù)據(jù)清理、整合和匯總;處理各種機(jī)械或人工造成的異常;補(bǔ)救各種不穩(wěn)定的技術(shù)結(jié)構(gòu)如程序、硬件和網(wǎng)絡(luò)的錯(cuò)誤;以及調(diào)整RFID標(biāo)簽閱讀器不穩(wěn)定的工作環(huán)境。在初期對數(shù)據(jù)進(jìn)行整理讓這一系列繁復(fù)的程序得以實(shí)現(xiàn),并可以及時(shí)解決各種異常情況,避免了大量數(shù)據(jù)涌入中央IT系統(tǒng)。
在RFID系統(tǒng)工作的初期進(jìn)行數(shù)據(jù)整理將提高信息的可靠性和IT結(jié)構(gòu)的安全性。
原則二:將簡單事件轉(zhuǎn)化成有價(jià)值的事件
復(fù)雜事件處理(CEP)是一個(gè)新興的技術(shù)領(lǐng)域,用于處理大量的簡單事件,并從其中整理出有價(jià)值的事件。舉幾個(gè)例子:教堂的鐘聲、穿禮服的男士,以及拋灑在空中的米粒,這些都是簡單事件。而從這些簡單事件中得出的推斷或結(jié)論——一場正在舉行的婚禮,即為復(fù)雜事件。CEP就是幫助人們通過分析諸如此類的簡單事件,并通過推斷得出復(fù)雜事件。
CEP技術(shù)的先驅(qū)斯坦福大學(xué)教授David Luckman在其所著的《The Power of Events, an Introduction to Complex Event Processing in Distributed Enterprise Systems》一書中詳細(xì)介紹了一種復(fù)雜事件查詢語言。這種查詢語言可以對事件數(shù)據(jù),包括時(shí)間和次序等進(jìn)行基本的處理。Gartner公司曾預(yù)言,CEP將在5到10年的時(shí)間內(nèi)成為一種通用計(jì)算模式。然而科技開發(fā)的速度一日千里——今天你就已經(jīng)可以用Java或C++語言來建造CEP系統(tǒng)了。
無論你是使用CEP工具還是在建造自己的系統(tǒng),請遵循原則2:把簡單事件轉(zhuǎn)化為有價(jià)值的事件,并從中獲取可操作的信息。
原則三:緩沖信息流
如果降低消防栓的水壓和流量,你就可以用消防栓里的水來澆草坪。同樣,處理RFID數(shù)據(jù),你也可以建造一個(gè)RFID數(shù)據(jù)“集中器”來緩沖這些大量的信息流。
RFID數(shù)據(jù)集中器是一種在數(shù)據(jù)源頭進(jìn)行原始事件收集和處理(見“原則1”)的軟件,由RFID中間件、事件處理器,和內(nèi)存數(shù)據(jù)高速緩沖存儲器三大部件組成。
RFID中間件是程序接收閱讀器信息的接口,目前市面上已經(jīng)出現(xiàn)很多商用型號。目前無線電頻識別標(biāo)準(zhǔn)組織(由國際物品編碼協(xié)會和統(tǒng)一代碼委員會籌建,旨在推進(jìn)全球無線電頻識別網(wǎng)絡(luò)的應(yīng)用)正在制定RFID中間件和應(yīng)用級別事件(ALE)的標(biāo)準(zhǔn),以提供一個(gè)信息接收的標(biāo)準(zhǔn)化閱讀器中間接口。
事件處理程序通過管道技術(shù)來處理大量龐雜的原始事件流。管道處理首先將事件分類,然后中央處理器會通過一系列簡單的任務(wù)對每一類事件進(jìn)行一段時(shí)間的處理。這種將大量的數(shù)據(jù)分成一個(gè)個(gè)小的區(qū)間來處理的方式,不僅提高了數(shù)據(jù)處理的總體能力,對個(gè)體事件的平均處理速度也得到了提高。管道技術(shù)在多種硬件和軟件系統(tǒng)里均有應(yīng)用,如電腦中央處理器、股票市場實(shí)時(shí)供給應(yīng)用軟件,以及信用卡公司的交易處理系統(tǒng)等。
最后就是內(nèi)存數(shù)據(jù)庫或數(shù)據(jù)高速緩沖處理器。它們可以實(shí)現(xiàn)集中器的實(shí)時(shí)處理功能。內(nèi)存數(shù)據(jù)管理技術(shù)是RFID實(shí)時(shí)性的核心:存儲器的速度比光盤快1 000倍——這是一條基本的物理學(xué)定律,也是麻省理工的Auto-ID Center將“實(shí)時(shí)內(nèi)存事件數(shù)據(jù)庫”納入其首個(gè)RFID參考架構(gòu)的原因。而斯坦福大學(xué)的CEP研究中心也建立了一個(gè)“核心內(nèi)存”數(shù)據(jù)庫。這種高速緩沖存儲器的可靠性、可用性和容錯(cuò)性都與數(shù)據(jù)庫非常相近。命名為“高速緩沖存儲器”只是為了將它和其他的企業(yè)應(yīng)用數(shù)據(jù)庫區(qū)分開來。
采用數(shù)據(jù)集中器,通過RFID中間件、事件處理器和內(nèi)存數(shù)據(jù)緩沖處理器來對事件流進(jìn)行緩沖,從而達(dá)到所需要的可靠速度。
原則四:存儲器語境
大多數(shù)的RFID數(shù)據(jù)都很簡單。如果不是使用很復(fù)雜昂貴的電子標(biāo)簽,你所得到的信息一般就是商品的識別號、時(shí)間和存放地址。從簡單RFID事件數(shù)據(jù)當(dāng)中得出復(fù)雜事件需要語境。而通常,語境都是由各種各樣的“參考”數(shù)據(jù)提供的。
比方說,語境可以來自于預(yù)先發(fā)貨通知(ASN)里的信息。根據(jù)制造廠商提供的ASN,相關(guān)人員可以對已發(fā)送的嵌有電子標(biāo)簽的商品實(shí)際接收與否進(jìn)行確認(rèn)。語境也可以來自于EPC信息服務(wù)(EPC IS)目錄。EPCglobal現(xiàn)在正在制定EPC IS的標(biāo)準(zhǔn),以期為貿(mào)易各方就產(chǎn)品詳細(xì)信息交流提供一個(gè)框架。通過EPC IS,Kellogg供應(yīng)鏈中的每一個(gè)有相應(yīng)權(quán)限的人都可以了解到EPC標(biāo)簽01.0000A89.00016F.000169DC0究竟是一盒24盎司玉米片還是一盒吉列Mach3 渦輪式剃須刀。除此之外,你還可以通過EPC IS了解每件商品的來源、去向,以及生產(chǎn)時(shí)間等諸多信息。語境還可以來自于企業(yè)內(nèi)部系統(tǒng)。舉個(gè)例子:通過調(diào)用乘客信息系統(tǒng)里的數(shù)據(jù),RFID行李處理系統(tǒng)可以將貼有RFID電子標(biāo)簽的行李準(zhǔn)確無誤地運(yùn)上其主人所在的航班。
前面我們曾肯定了內(nèi)存數(shù)據(jù)高速緩沖存儲器在處理事件數(shù)據(jù)方面的優(yōu)勢(見原則3),事實(shí)上,內(nèi)存數(shù)據(jù)高速緩沖存儲器處理語境數(shù)據(jù)的性能也獨(dú)占鰲頭。EPCGlobal即將出臺的第二代(Gen2)RFID閱讀器標(biāo)準(zhǔn)對閱讀器的閱讀速率做出了規(guī)定:每秒鐘1 800個(gè)電子標(biāo)簽。也就是說,一個(gè)擁有20臺閱讀器的配送中心在高峰期一秒鐘可以閱讀36 000個(gè)事件。但是這36 000個(gè)SQL請求并不能直接添加到現(xiàn)有的數(shù)據(jù)倉庫中,而是應(yīng)當(dāng)先將這些數(shù)據(jù)復(fù)制,然后再儲存到數(shù)據(jù)集中器里面,以供實(shí)時(shí)調(diào)用。
通過存儲參考數(shù)據(jù),可以為數(shù)據(jù)集中器處理RFID事件數(shù)據(jù)提供所需的語境。
原則五:近實(shí)時(shí)聯(lián)合數(shù)據(jù)分送
原則一建議用戶在靠近信息來源處對龐雜的數(shù)據(jù)進(jìn)行處理,以保護(hù)中央IT系統(tǒng)。但這些需要追蹤的商品不可能一直停留在一個(gè)地方。比方說,機(jī)場的RFID行李追蹤系統(tǒng)就必須在航班飛抵之前提前將行李數(shù)據(jù)發(fā)送到目的地機(jī)場。因?yàn)橐M(jìn)行大量的數(shù)據(jù)分送操作,所以用戶必須事先就制定好RFID數(shù)據(jù)分送計(jì)劃,以實(shí)現(xiàn)近實(shí)時(shí)分送。
Merriam-Webster里對于“聯(lián)合”的定義是:“彼此聯(lián)合而成的結(jié)合體”。聯(lián)合數(shù)據(jù)并不是一個(gè)新鮮名詞:很多金融中心已經(jīng)建立數(shù)據(jù)聯(lián)合,每天在彼此的貿(mào)易系統(tǒng)之間進(jìn)行數(shù)據(jù)的近實(shí)時(shí)傳送。具體到RFID技術(shù),則是將要分送的聯(lián)合數(shù)據(jù)與各個(gè)RFID數(shù)據(jù)集中器連接起來,在聯(lián)合成員之間實(shí)現(xiàn)有價(jià)值的RFID事件和語境數(shù)據(jù)的共享。