時間:2023-03-13 11:28:32
導言:作為寫作愛好者,不可錯過為您精心挑選的10篇數據機房解決方案,它們將為您的寫作提供全新的視角,我們衷心期待您的閱讀,并希望這些內容能為您提供靈感和參考。
一、背景綜述
在實際的工作中,一旦數據中心機房的設備出現絲毫的故障,就會對計算機系統的運行造成很大的消極影響,鑒于這樣情況,我們必須制定一系列的有效措施,既能保證及時的發現問題和解決問題,同時又能夠減少工作量,提高工作效率。①機房的設備經常被盜竊,導致計算機系統沒有辦法正常的工作,另一方面,報警和監控以及記錄功能的缺失,也導致了犯罪分子的作案活動更加猖獗;②維修人員在巡檢的過程中,并沒有良好的進行規范化管理措施,導致很多的工作出現了較大的漏洞;③供電系統有時候沒有監控,一旦發生停電或者市電異常的情況,就沒有辦法及時的掌握數據中心機房的情況,更嚴重的情況就是,停電后若未及時切換到油機供電,后備電池也會因為過度放電而出現較大的損壞。
二、解決方案
2.1系統組成
從嚴格的角度來說,數據中心機房的綜合監控系統包含兩個部分,一個是數據中心機房周圍環境和動力監控系統;另一個就是數據中心機房的IT監測系統,這兩個系統都具有非常重要的作用,在實際的工作中,絕對不能發生人為加強某一系統,忽略另一個系統的情況。
數據中心機房環境動力監控系統監控的主要內容為:①UPS設備監控,此項設備監控對數據中心機房環境而言,具有決定性的影響;柴油發電機組設備監控,柴油發電機作為設備的核心部分,一旦發生問題,必須得到及時、有效的處理,否則會影響供電,在根本上對數據中心機房環境造成惡劣的影響;②空調設備監控,空調設備能夠良好的調節數據中心機房環境的溫度,對每一個設備都是非常重要的,在任何一個季節,都需要對溫度有一個良好的掌控,否則會影響設備的運行,在硬件方面造成很大的損害,為以后設備的正常運行埋下隱患;③溫濕度監測,溫濕度是考量數據中心機房環境好壞的重要標準之一,溫度和濕度都必須保持在一個合理的范圍之內,這樣才能保證數據中心機房的穩定性和安全性;
數據中心機房IT監測系統監控的主要內容為:①硬件方面―――網絡設備以及服務器的監測,兩項設備都是數據中心機房的重要組成部分,對客戶具有非常重要的作用;②軟件方面―――主要包括數據庫的軟件以及中間軟件等等,在日常的工作中,這些軟件能夠及時的處理數據,同時提供客戶最優質的服務,因此需要得到有效的監測。
2.2系統實現方式
2.2.1數據中心機房環境動力監控系統監控的實施方式
UPS設備監控的實施方法:UPS電源是UPS設備的重要組成部分,在實際的監控當中,需要通過智能協議轉換器來進行監控,科研人員經過研究發現,如果用軟件的方式和通信數據集中器進行通信,能夠達到一個較好的效果,并且能夠有效的實現UPS狀態的全面診斷以及對UPS各項參數的監視。
如果機房的網絡設備出現了異常的情況,那么監測系統可以實現以下幾種管理功能,有效的控制異常情況:①能夠對告警事件進行詳細的記錄,同時由管理人員根據不同的需求,對每一種事件進行詳細的分類,良好的實現對事件的過濾,這樣做的好處是能夠及時的找到事件的原因,制定處理辦法的時候也具有一定的針對性;②能夠通過不同的定義,比方說事件的來源或者類型等等,實現對事件的分析,在實際的工作中按照實踐的關聯設置功能,自動、高效的區分重復事件,如此一來,就能大幅度的減少系統負載,提升系統的性能。
2.2.2服務器監測的實施方法以及服務器監測應該包括以下的內容
(1)監測服務器能否有效的運行,監測的系統需要廣泛一些,雖然現階段應用windows系統較多,但仍然需要對UNIX一類的主流系統進行有效的監測;(2)監測主流系統的平臺上運行的相關進程以及服務的運行狀況,這樣有助于系統上的各種進程減少沖突,提高性能。
三、結束語
綜上所述,完善的數據中心機房綜合監控系統應該具備三大特點:能夠實現從設備運行情況到機柜微環境,再到機房整體環境的多層次監控;有豐富的閾值設置以便監測出危機的存在,且有豐富的預警方式和預警流程以保證相關人員能夠收到警訊。
目前海量數據處理還是一個比較新的研究方向,大多數都是各公司或者是組織各自研究自己的處理方法,國際上沒有通用的標準,研究的方式和結果也都是各有千秋。針對項目中帶有復雜業務邏輯的海量數據存儲,主要從容量擴展和并行處理兩個方面考慮。前文己論述過NoSQL分布式數據庫由于其數據結構簡單、不善于做JOIN連接等復雜操作,存在數據遷移問題,并不適用于本項目,所以本解決方案依舊從關系型數據庫入手。其次為了支持多樣的切分策略,本論文將實現range、list、consis
tent-hash模式。最后系統借鑒MPP并行處理架構,使得整個項目能部署在便宜的PC集群上,不僅能保證穩定性,還節省項目成本。
物理設施包含數據庫服務器的基礎架構、web服務器的選擇,以及資源分配管理服務器的選擇。這三者分別負責數據的存取、數據的分析處理以及資源工作的均衡分配,它們協同合作,共同搭建一個高效的協同的后端服務管理,使存儲系統均衡工作、高效運行。
作為解決海量數據的存儲方案,首要必須考慮是存放海量數據的需求。根據前文可知,分布式數據庫的出現其根本原因是解決存放不下數據的問題,故而將數據依照策略存放在不同的數據庫服務器上,存放數據的策略以及數據之間的并行查詢處理是研究的重點。第二個問題是分布式處理方案,現有技術從各個方面進行過嘗試,有的基于關系型數據庫提出了多種shard
ing方案。將關系型數據庫遷移到非關系型數據庫上代價太大,所以本解決方案基于關系型數據庫的系統。
根據以上的設計思路與實現目標,設計出分布式海量數據存儲解決方案。該系統主要包含以下四個模塊:
SQL解析模塊。SQL語句復雜、格式多樣、形式多變,解析結果作為數據切分的依據。解析SQL語句的方法是編譯成字節碼,生成語法樹,這種方式的優點是準確率高、數據層次清晰、結構正確,但設計到相關語法樹知識,比解析字符串更難以理解。
數據分發模塊。如果集群系統中沒有進行數據切分,則多臺數據庫服務器存儲的是完全一樣的數據,這實際上是對硬件資源的浪費,也在同步數據保持一致上浪費了更多的時間和效能。而且一旦數據再上升一個等級,很可能一臺服務器就無法存儲下大量數據。所以合適的數據切分策略是遲早的,本解決方案將結合現有的數據切分策略,結合業務邏輯,提供多樣的切分策略,并且預留切分接口使用戶靈活地自定義自實現,系統的可用性更高。
并行處理模塊。由分發服務器和多臺數據庫服務器構成。相對于集中式數據庫來說,分布式詢代價需要考慮以下因素:
CPU處理時間,I/O消耗時間,還有數據在網絡上的傳輸時間。在設計系統的時候,應該根據分布式數據庫中各個數據庫的地理位置的不同情況來設計。在局域網且傳輸率高的系統中,通信代價和局部處理的開銷差別不大,在優化中則應平等對待;在數據傳輸率較低和通信網速度較慢的系統中,網絡傳輸可能會比花費在查詢中的CPU及I/O的開銷更大,則應首要考慮優化網絡通信。
匯總處理塊。結果匯總大致分為兩種情況:單機單庫情況下,直接返回結果;多機多庫的情況則需要在轉發節點處進行一個匯總。
基于架構的工作流程大致如下:首先,轉發節點收到客戶端發來的SQL語句,將依據各個解析節點當前工作量、預計完成解析工作的時間、本條查詢語句預估需要時間、歷史響應需求時間等因素,將SQL語句轉發給各個解析節點,對其進行語法解析。當所有的工作量都經過這個轉發節點的時候,必然會產生高并發的問題。在存在多個分發節點的情形下,為了消除單個轉發節點的性能瓶頸,本文設計多個分發節點,每個節點都可以將任務轉發到不同的解析節點。采用RoundRobin策略將任務依次分發給每個解析節點,讓工作量保持均衡。其次,解析節點解析本次查詢的SQL語句,生成便于理解的SQL對象,通過調用相應的接口方法可以實現對SQL語句的操作。最后,各個數據庫服務器執行了 SQL語句,便對查詢結果進行一個匯總并返回,劃分倘若是單機查詢,那么處理的結果可直接返回給客戶端。
SQL解析、數據切分以及轉發歸并的工作都由以上四個模塊協同完成。
基于MPP架構的設計了關系型數據庫的海量數據分布式存儲解決方案。本章采用解析SQL語句、分發SQL語句,并行處理、歸并匯總處理結果的方式完成整個框架。與MySQL
Cluster的區別在于采用的存儲引擎就是MySQL,適應于本身就用MySQL進行存儲的集中式數據庫的改造,或是業務邏輯復雜的報表展示等,無論是業務的擴展,遷移都十分方便。
隨著信息技術的發展,網絡應用越加廣泛,更多的企業開始使用OA系統進行辦公,財務、ERP等線上系統更加普及。隨著經濟的發展,更多的企業選擇在不同地區設立更多分部,各分部間的生產網、視頻會議系統都依托于運營商的通信網絡支撐,市政交通等部門的監控系統分布區域及其廣泛,也更多是依賴IP網絡運行。這些跨地區的資源調配就產生了大量的數據專線需求。
雖然數據專線業務并不是新型業務,但隨著移動網絡的發展,如何能更好的建設通信網絡滿足客戶需求仍是值得研究的問題。
一、概述
集團客戶專線是指通信運營商利用自有或租用通信資源,為集團客戶提供互聯網訪問、語音業務、或為其機構各網點間提供點到點或點到多點的專用鏈路,從而實現集團客戶專享的高質量網絡通信及各種定制的綜合業務信息化服務。
集團客戶專線按業務類型分主要有語音專線、互聯網專線和數據專線三類。
(一)語音專線:通過運營商的傳輸網絡將集團客戶語音交換機接入到運營商的交換網絡,為用戶提供固定電話及企業彩鈴等各種增值語音服務。
(二)互聯網專線:為集團客戶提供各種速率的專用鏈路,鏈接至公用互聯網骨干網絡,從而為客戶提供方便快捷的高速互聯網訪問服務。
(三)數據專線:為集團客戶提供透明的數據傳輸通道,通道為“純透明的”,用戶自己組網,用戶承載語音、數據、視頻等多種業務。
二、業務需求
運營商提供的透明的傳輸鏈路,為集團客戶提供從總部到各分部之間的數據傳輸通道。可為各金融機構提供各分支網點的生產網絡,企事業單位各分支機構間的視頻會議系統及辦公自動化系統,公安交通等視頻監控系統提供安全穩定的傳輸鏈路。集團客戶由于其性質、業務、覆蓋區域需要,對傳輸電路通常有以下要求:
(一)安全性:數據專線業務對安全性要求很高,要求運營商提供專用的內網電路供集團客戶內部使用,并與互聯網隔離。保證信息在邊界接入過程中不被非法獲取,一旦出現數據失密將導致嚴重后果。需要從物理層、網絡層、應用層等各個層面實施數據保密性工作。
(二)可靠性:需提供電信級的業務可靠性,專線業務要求高QoS保障,依客戶需求提供備用電路并在規定時間內完成故障修復。使用標準化的協議,達到互聯互通。
(三)可擴展性:考慮客戶后期發展及業務拓展,需預留一定量的傳輸資源及設備升級空間。
(四)覆蓋性:大型企事業單位各地分支網點較多,運營商提供的傳輸鏈路應能覆蓋到各分支網點,為其提供快速接入。
(五)需求多樣化:需按客戶需求,提供不同速率的帶寬,并針對客戶設備接口不同提供相應的接口。
三、解決方案
(一)SDH方式
從90年代起移動開始建設SDH傳輸網,核心層以10Gb/s和2.5Gb/s設備為主,匯聚層已2.5Gb/s設備為主,接入層以622Mb/s設備為主。SDH傳輸網覆蓋范圍廣、自愈性能強,可靠性高,但現階段集團不再新增SDH傳輸網的投資,現網資源比較緊張。
金融類客戶一般對系統安全性可靠性要求較高,部分客戶明確要求以SDH方式實現。以某銀行地市分行到各支行、ATM網點的傳輸電路為例:在銀行分行總部部署一臺華為OSN3500光端機,根據客戶需求配置相應板卡,用于匯聚所在分部的數據,電路鏈接至分行客戶路由器。在每個網點部署1端華為Metro 100光端機,為客戶設備提供FE接口或2M接口,新建光纜與運營商SDH接入網對接。考慮銀行系統對安全性和可靠性要求較高,銀行總部的SDH設備上聯至運營商的匯聚機房OSN7500,并提供雙路由保護。在每個網點都提供光端機下沉。拓撲圖示意如下:
采用SDH方式組網,技術成熟穩定,系統安全性高,符合金融類系統對高可靠性的要求,但現網SDH接入環傳輸資源利用率已經很高,部分接入環時隙不足,接入該部分接入環的客戶點,需提前將SDH傳輸網上的大顆粒數據業務遷移到PTN網絡或GPON上,或提前對接入環進行拆組環,需要增加額外的投資及工期時間。
(二)PTN方式
PTN是面向分組業務和傳送網絡的技術,以分組交換為核心并提供多業務支持,能在保證網絡質量的前提下答復提高網絡帶寬。但PTN傳輸網現階段覆蓋率還未達到100%。部分集團客戶接入點不具備PTN接入條件。因SDH資源比較緊張,集團客戶需求帶寬較大時建議采用PTN方式實現,以某縣政府視頻會議系統為例,運營商為其提供該縣政府到所轄10個鄉鎮視頻會議系統所需傳輸電路,每條電路帶寬為6M,客戶設備接口為以太網接口。在該縣政府新增一臺三層交換機,用于匯聚數據,在每個分支機構提供1臺多端口PTN光纖收發器,通過FE口上聯至最近的PTN基站,通過PTN傳送網連接至該縣縣政府,完成數據傳輸。PTN傳輸網資源豐富,可為集團客戶提供高速數據傳輸,后期可為客戶提供帶寬擴容。在各接入點預留空余設備端口,可用于開通其他業務。拓撲結構示意如下:
現階段還有少數區域PTN未完成全部覆蓋,可考慮暫時使用SDH和PTN混合組網方式,待PTN開通后進行割接。
(三)GPON方式
GPON網絡系統是構建于無源光分配網絡上的寬帶接入技術,由光線路終端OLT、無源分光器POS和光網絡單元ONU組成。可以提供高帶寬多業務的承載方式。近兩年移動綜合業務網市區和縣城已基本完成覆蓋,集團客戶接入點位于綜合業務區覆蓋區域可利用綜合業務網資源完成快速接入。以某單位市局至各縣局間數據傳輸電路為例,在市局和各縣局接入點新增1臺符合客戶設備接口需求的ONU,布放光纜至最近的綜合業務網光纜交接箱,光交箱中新增1:16或1:32分光器,上聯至綜合業務網機房OLT設備,OLT上聯至城域網匯聚交換機,由城域網匯聚交換機上聯至MSG路由器,通過路由器完成數據傳輸。
四、方案比較和建議
【中圖分類號】G250.74【文獻標識碼】A【文章編號】1672-5158(2013)07-0213-02
引言:近年來,隨著經濟改革的不斷深入,企業的各項業務也有了長足發展,計算機應用水平得到迅速的提高。目前,開放平臺加客戶/服務器的雙機熱備份應用模式已經被我國中小型企業廣泛采用。
通常這種應用模式是以兩臺小型機做互為備份的兩個節點,同時聯到一個共享磁盤柜上,構成一個Client/Server方式下的Server端服務器系統。這種服務器系統在考慮系統的高連續可用性時,一般從主機、網絡到UPS電源都是一主一備,存放數據的磁盤選擇磁盤鏡像技術或選擇磁盤冗余陣列5技術(RAID5)。
從硬件角度看,這種配置已經考慮了各組成部分的冗余,然而從應用的角度來看,這樣的服務器系統還是有缺陷的。
對應用系統而言,數據庫是非常重要的,而在這種服務器系統中數據庫只有一個,一旦出現故障,不但整個系統會癱瘓,甚至還會給銀行帶來很大的經濟損失。對于這個問題,雙機熱備份模式是無能為力的。在實際應用系統的運行過程中,由于參數設置不當或數據庫本身存在的缺陷,使得數據庫出現的問題在故障率中所占比重還是比較大的,因而給應用系統的可靠運行帶來了較大的影響。本文針對這一問題,介紹我單位的一種解決方案。
一、系統的改進方案
為了解決Oracle數據庫無備份的問題,必須另建一套服務器系統。然而對中小型企業來講,另外投資一套小型服務器系統,經濟上往往不允許。考慮到現在的PC服務器在性能上已經足可以充當企業級服務器,投資較小,所以我們選擇了用PC服務器備份的方案,如圖1所示:
根據對IBM System X服務器的壓力測試結果,我們認為它具有處理日交易3萬筆的能力,符合我單位目前業務的情況,因此我們選用了IBM System X服務器做備份Oracle數據庫。
PC服務器硬件配置:
(1)CPU 4×Pentium Pro
(2)內存 8G
(3)硬盤 320G
軟件環境:
(1)操作系統 Windows server 2003
(2)數據庫 Oracle 10g
(3)應用軟件 ERP軟件
二、 RAID系統
RAID (Redundant Array of Inexpensive Dins),廉價冗余磁盤陣列。RAID是一種使用磁盤驅動器的方法,它將一組磁盤驅動器用某種邏輯方式聯系起來,作為邏輯上的一個磁盤驅動器來使用,使RAID一般是在SCSI磁盤驅動路上實現的。它的優點在于:
通過將多個物理磁盤編織(weaving)進一個單獨的邏輯卷來使用,使RAID相對傳統的磁盤驅動器,在同樣的容量下,價格要低許多。
通過將數據按條塊(blocks)寫入不同的磁盤來并行地讀寫幾個磁盤,進而提升磁盤訪向速度。帶有多個磁盤控制器的RAID系統,存取速度提高很快。
RAID的具體實現可以靠硬件也可以靠軟件,通過硬件實現RAID的產品有磁盤陣列柜,陣列柜中安裝有磁盤陣列控制卡,可以直接將柜中的硬盤配置成為邏輯盤陣。磁盤陣列柜通過SCSI電纜與服務器上普通SCSI卡相連,系統管理員需直接在磁盤柜上配置磁盤陣列。
磁盤陣列控制器一般都支持多種RAID級別、磁盤的熱插拔、在線平滑擴容和雙冗余電源。
三、備份數據庫工作原理
由于PC服務器中的操作系統、數據庫與生產機中的版本不同,所以必須先將生產機中的數據庫數據卸出來,以文本文件的形式傳到PC服務器上,然后將此文本文件再裝入PC服務器的數據庫中,從而使兩個數據庫中的數據一致。慎重起見,還可以對重要表的有關字段進行求和,并將兩個數據庫的求和結果進行比較,若一致則可以放心,不一致則說明上述操作過程有問題,需要排除后重做。
1.日間備份
將每天晚上軋帳后的數據卸出并裝載到PC服務器上,使得生產機和PC服務器中的數據在每天業務開始前保持一致。正常開機后,當生產機上的數據庫出現問題不能正常使用時,可以通過修改PC服務器的網絡地址,使上傳的交易傳到PC服務器,從而實現數據庫的切換。
但應注意,切換后的數據庫狀態是每天業務開始時的狀態,所以還應有一個追帳的過程,直到追帳完成,才算完成整個切換過程。這種切換所需的時間仍遠遠少于磁帶恢復后再追帳的時間。一般磁帶備份只做軋帳前的數據備份,這樣磁帶恢復后還要再做一個軋帳過程,才能恢復到開業時的數據庫狀態。
2.查找隔日數據
有時根據業務的需要,要求恢復前一天的有關數據,由于白天業務運轉不允許生產數據庫停下來恢復數據,有了PC服務器,可以將一些數據表在軋帳前卸出來,傳到PC服務器上,需要時在PC服務器上恢復出來,進行數據的查找。
3.磁帶備份的補充
服務器上的數據還起到異種介質備份的作用,提高了備份數據的可靠性。PC服務器可放在辦公環境下使用,這樣可使服務器與生產機保持適當的距離,一定程度上提高了整個系統的抗災能力。
在雙機熱備份應用模式下,采用PC服務器作數據庫的備份,提高了整個應用系統的連續可用性和數據備份的可靠性,由于該方案投資省、易實施,對中小型企業有一定的借鑒價值。
四、系統特點與總結
雙機與磁盤陣列柜互聯結構的特點是:
硬軟結合實現真正意義上的數據與系統分離。
對硬件配置要求不高,服務器可采用不同或相差較大的配置。
系統切換時間段,平均切換時間為60秒。
切換過程對應用程序無影響,無需重新啟動或登陸。
系統效率高。因為整個系統中數據讀寫、管理及容錯由磁盤陣列來完成。而系統服務器故障糾錯處理由HA軟件來完成,而這兩個都是相對獨立的子系統。雙機容錯監控路徑為SCSI線路(80M/S)和RS232線路或10/ 100MB自適應網卡線路,既不占用主機CPU資源,也不產用基礎網絡寬帶,因此系統效率高。
雙機與磁盤陣列柜互聯結構不采用內存鏡像技術,因此需要有一定的切換時間(通常為60-180秒),它可以有效地避免由于應用程序自身的缺陷導致系統全部宕機,同時由于所有的數據全部存貯在中置的磁盤陣列柜中,當工作機出現故障時,備份機接替工作機,從磁盤陣列中讀取數據,所以不會產生數據不同步的問題,由于這種方案不需要網絡鏡像同步,因此這種集群方案服務器的性能要比鏡像服務器結構高出很多。
雙機與磁盤陣列柜互聯結構的缺點是在系統當中存在單點錯的缺陷,所謂單點錯是指當系統中某個部件或某個應用程序出現故障時,導致所有系統全部宕機。在這個系統中磁盤陣列柜會導致單點錯,當磁盤陣列柜出現邏輯或物理故障時,所有存貯的數據會全部丟失,因此在選配這種方案時,需要選用一個品質與售后服務較好的產品。
五、結束語
計算機技術、網絡技術的廣泛應用,使企業運作效率大大提高。同時也使現代企業對計算機系統的依賴性進一步增加。如何保證核心應用永不停止,關鍵數據不會丟失?越來越多的企業采用雙機熱備份或多機集群技術來解決這一問題,其中雙機熱備份技術以其技術成熟,成本相對較低,獲得了廣泛的應用。
典型的雙機熱備份系統通過在兩臺服務器上運行雙機熱備份軟件和共用RAID磁盤陣列來實現。這種方案在電信,金觸、證券、政府等部門和行業的成功應用,業己證明其可靠性和成熟性。
中圖分類號:TP311 文獻標識碼:A 文章編號:1009-3044(2017)05-0009-02
1 問題的提出
隨著大數據時代的來臨,結構化數據、半結構化數據與非結構化數據已廣泛存在于各個軟件應用中。任何移動應用和系統都離不開數據庫進行存儲數據,而數據的復雜性給它們的開發帶來了困難和挑戰。
在現實生活中,社會現實中的萬事成物都是一個動態系統。隨著時間的推移和事情的發展,各種實體都會發展變化,具體體現在實體屬性的變化上,因此,我們稱之為實體的動態屬性[1]。例如,在一款銀行績效考核系統中的客戶經理實體,隨著業務的發展,客戶經理的其考核內容也會發生變化,會有存款業績、貸款業務、基金業績、是否投訴等不斷增加,也會產生相對應的業績數值,這些不斷業績都稱為該客戶經理實體的動態性,詳情如表1客戶經理實體2017年1月份業務需求表所示。
在實際的項目開發中,固定數量的、明確的實體屬性,有利于軟件設計與開發人員進行項目開發。但是,動態屬性的實體,由于實體屬性的個數未知,屬性名稱未知,在系統運行過程中,根據業務的需要,隨時增添新的屬性,因此,給項目開發人員帶來了困難和挑戰。筆者在數據庫設計方面經過長期的實踐,探索出了針對該問題的實體的動態屬性在數據庫設計中的解決方法,希望對有相同需要的數據庫設計人員或軟件開發人提供一點參考價值。
2 定義相關數據結構
數據庫中的數據結構與數據對象的數據類型、內容、性質有關的,是對數據對象的一個靜態描述。為了便于說明,還以上述績效考核系統中的客戶經理實體為例進行描述。該客戶經理實體包括存款業績、貸款業務、基金業績、是否投訴等屬性,其在關系數據庫中可以定義成相關字段,具體詳細結構描述如下:
Create Table ClientManager(
CName nvarchar(50), //姓名字段
CDeposit decimal(18, 2), //存款業績字段
CLoan decimal(18, 2), //貸款業績字段
CFund decimal(18, 2), //基金業績字段
CIsComplain nvarchar(2), //是否投訴字段
... //未知屬性字段
)
很顯然,由于實體未知屬性的存在,上述結構中的字段不明確,這樣的設計在目前的數據庫技術中不能得以實現。
3 關系數據庫中實體的設計方法
目前,市場要流行的關系型數據庫門類眾多,有甲骨文公司的Oracle、MySQL,有微軟公司的SQL Server,還有針對移動應用的SQLite。下面針對上述實體的動態屬性問題,給出兩種關系型數據庫的解決方法。
3.1 采用改行為列
為了改變上述字段不明確的問題,從表1中可以看出是二維表中的字段不明確,采用以行來代替列的形式,就可以把未知的列的值作為一條記錄存儲于表中,這樣,就可以根據需求動態滿足字段的增加或減少,解決該問題。但是,這樣需要解決兩個問題,一個是屬性名的問題和另一個屬性值的問題。因此,行轉為列的形式中,二維表中需要屬性名和屬性值兩列。具體的在客戶經理實體中,定義為經理姓名、業績名稱和業績額,具體詳細結構描述如下:
Create Table ClientManager(
CName nvarchar(50), //經理姓名
CAchieveName nvarchar(50), //業績名稱字段
CAchieveValue nvarchar(50) //業績額字段
)
在關系數據庫中,客戶經理的實體二維表中的業績和業績額從以行的形式轉為以列的形式,但是,表中的記錄數據增加,其具體形式如表2客戶經理實體行轉成列后的樣式表所示。
3.2 采用兩個關系實體
采用行轉為列的方式能夠適應簡單屬性值全都一個數據類型的動態屬性的問題,比如,例子中的業績額全為數值類型,開發人員在進行開發實現功能時可以進行統一計算。但是,如果屬性不是一個統一的類型,比如例子中的業績額有數值類型的,還有字符類型的。這種情況下,程序開發人員,在進行數據取值時,要有目的的進行運算,而在例子中屬性值的數據類型不明確,給開發人員帶來了麻煩。解決這種復雜的情況,可以增加一個實體表對屬性值的取值詳細信息進行描述,而將在該實體中將上一個實體的屬性名作為外鍵,這樣,就能夠保證數據的一致性。在例子中,在客戶經理實體的基礎上,增加一個業績設置實體,其字段有業績名稱、業績額的取值類型、業績額的取值長度、業績額的取值精度,具體表述所下:
Create Table AchieveSet(
AchieveName nvarchar(50), //業績名稱字段
AValueDataType nvarchar(50), //業績額的取值類型
AValueLength int, //業績額的取值長度
AValuePrecision int //業績額的取值精度
)
綜上所述,通過行轉列的方式,解決屬性值同一類型的動態屬性問題;通過兩個實體來解決屬性值非同一類型的復雜的動態屬性問題。程序開發人員可以根據不同的需求,采用不同的方法對系統進行開發。
4 非關系數據庫實體的設計方法
隨著技術的發展,對半結構化、非結構化的數據進行處理,出現了NoSQL數據管理技術的發展。下面結合非關系數據技術,給出兩種解決動態屬性問題的解決方法。
4.1 采用HBase模型
HBase是一個分布式的,面向列族進行存儲的數據庫[4]。在HBase數據庫中,動態屬性可以采用它的數據模型來進行實現。定義一個屬性列族,而在該列族中根據需要可以任意動態放入子列即可。具體操作是定義一個客戶經理實體,在該實體中創建一個業績列族,通過行鍵來存儲客戶經理實體記錄中的經理名稱,具體描述如下:
create ‘ClientManager’,'CAchieve'
其中,ClientManager’是客戶經理實體,'CAchieve'是客戶經理的業績。
實體表創建完成后,可以進行操作,進行存儲記錄數據,其操作如下:
put 'ClientManager','張三','CAchieve:存款業績','10000'
put 'ClientManager','張三','CAchieve:是否投訴','是'
put 'ClientManager','李四','CAchieve:基金業績','10500'
...
其中,張三、李四列使用的是HBase行鍵,'CAchieve'冒號后面是動態屬性。
4.2 采用MongoDB模型
MongoDB稻菘饈遣捎夢牡怠⒓合和數據庫三部分來對數據進行組織[5]。在MongoDB數據庫中,動態屬性可以采用它的數據模型來實現,根據其文檔的機制來進行實現。在例子中,采用定義一個客戶經理實體的集合,在集合中插入定義好的記錄文檔,具體操作如下:
db.createCollection("'ClientManager'"); //定義客戶經理集合
db.ClientManager.insert({"name":"李四","存款業績":10000",是否投訴":是})
db.ClientManager.insert({"name":"李四","基金業績":11000,"是否投訴":是})
其中,大括號{}內的數據是文檔信息,存儲客戶經理信息,而每一鍵值對記錄該客戶經理實體的績效信息,比如,"存款業績":10000"等。每個文檔內中的鍵值對中的鍵可以不相同,這樣,就達到了實現動態屬性的要求。
5 總結
截止到目前為止,關系型數據庫理論和非關系型數據庫理論并存,而且他們都已經發展得很成熟,在市場上廣泛應用。作者從實際開發一款績效考核系統中,考核指標不斷變化的實際需求出發,調研和總結當前市場上幾種處理實體屬性不斷變化的解決方案。根據不同的方案可選擇不同的數據庫技術,在開發實施過程中需要相應的技術條件和設備條件。總之,希望給后來者的學習和工作提供一些建議和幫助。
參考文獻:
[1] 唐小剛,譚石強.一種實體屬性非確定的關系數據庫設計方法[J]. 湘南學院學報,2006(4).
[2] 李華娟.關系型數據庫設計之實踐技巧[J].電子技術與軟件工程,2016(1).
一、系統設計及解決方案實現的背景
縱觀券商IT發展現狀,首先企業級業務應用越來越多,分工也越來越細,而企業級的業務應用需求和要求都越來越高,單個業務產品滿足不了企業級應用需求,以下是目前券商主要面臨的企業級應用需求:
1.面向上級監管部門的數據報送
2.企業級合規管理和風險控制要求越來越高
3.實時動態業務風險監控
4.企業決策支持平臺
5.客戶營銷管理
二、數據中心目標定位
概括而言,數據中心一方面是現有營業部柜臺交易系統、總部清算系統、稽核系統等業務系統的數據采集者和管理者,同時也是營銷管理、稽核監控、風險管理、數據挖掘和多維分析系統的數據提供者。
(一)產品定位。企業數據標準中心,據交換中心,據服務中心。
(二)功能定位。致力于企業業務數據的管理方法和管理工具研發,包括業務數據組織架構規劃、數據規范管理、數據質量管理、數據管理以及數據的復用性管理等方面的系統性工程。
(三)存貯設計定位
既要考慮高并發高效率的OLTP服務處理,也要考慮大數據量訪問的OLAP統計分析要求, 基于未來5年到10年的數據存貯容量測算,以此來考慮系統的主機、存儲架構設計以及數據處理技術應用等技術研究工作的方向。
三、系統設計原則
數據中心項目技術解決方案的設計原則體現在以下六個方面,使得有限的資源以較有效的協作方式共同發揮效用:
(一)可擴展性
數據模型:設計模型時,盡可能滿足未來可能要上線的業務系統數據模型,同時還需制定一套合理的模型設計規范。
數據分發平臺:在設計時應考慮,隨著分發數據規模的擴大和分發節點的增多,對分發處理和傳輸處理的性能要求會越來越高。
(二)高性能
分發平臺:需考慮大數據量條件下的文件傳輸效率,主要體現在特殊日期及特殊情況下的全量文件傳輸。數據庫設計:同時要考慮分析類型的大批量數據或頻繁訪問需求,還要滿足實時監控類的高并發訪問要求。。
(三)可管理性
數據質量管理:報告的可讀性,標準的可維護性,問題處理流程的可操作性。數據分發平臺:需要充分考慮數據分發任務易于配置,傳輸結果易于監控。
(四)高可用性
數據模型的可用性:能屏蔽源系統結構的變化對數據中心系統帶來影響。局部數據模型的擴展不會對其它數據模型產生大的影響。系統備份:生產系統出現異常時,備份恢復機制及時恢復處理。
(五)安全性。一是防止數據中心系統的數據資源被惡意修改和盜取;二是防止數據在傳輸過程中被截留和篡改。
(六)可重用性。可重用性是指盡可能避免數據中心項目的重復投入,應盡可能考慮包括物理設備、系統軟件、框架組件、規范方法以及業務應用等多個層面上的復用。
四、數據庫存貯方案設計
1.1 數據各邏輯層級劃分。為保證數據中心能提供多層次、多粒度、多特征的數據服務,并保證ETL過程的清晰、可控、完整、準確,數據中心根據數據性質、處理階段以及數據質量的不同分為原始層、標準層、模型層、數據集市層4個數據層,具體如下:
1.2 數據庫系統的硬件架構設計。根據系統分析得出的各項數據,即可得到相應的硬件配置要求。
1.2.1 存儲設備容量評估。本節提出的“存儲容量規劃”將支持過去5年以上的歷史數據和未來10年的新增業務數據的存儲空間要求。
1.2.1.1 基礎數據規模評估。根據調查,某券商2002年以來(至2012年)的歷史數據規模可按1.5T計算。
我們以此次配置的存儲“滿足未來3-4年(從2012年算起)的業務正常運行”、“將考慮未來10年的業務運行的擴展能力”這兩個條件來評估,得出的基礎數據規模為:
A2015=1.5T+(7G×25%×236)×(1.05+1.1025+1.1576)
約=2.9T
A2022=1.5T+(7G×25%×236)×(1.05+1.1025...+1.05^10)
約=6.8T
注:公式中的25%是增量數據因子。每次進行清洗時,通過一定的方法,將部分非增量數據丟棄(這75%的數據,我們通過比對法發現其與歷史數據或存量數據有重復取值,將其載入后暫存待查或去除)的結果。
1.2.1.2 邏輯數據存儲規模評估。上節評估出的“基礎數據規模(后稱A)”,將是本系統進行邏輯數據存儲規模(后稱B)的依據。原始層數據的規模B1:按最后年度的1倍采集數據量計算。ODS層數據的規模B2:考慮到原始數據被處理后的部分業務數據的重新組織和重定義,且會生成一定的聚集數據,應給予適當的冗余,此處的冗余因子設定為1.2。
EDW層數據的規模B3:考慮ODS數據將經過較大規模的重新組織和聚集處理(初步設計按10大主題進行分析)進入此層,需要考慮較大的冗余度,按業務特點初步設定此處的冗余因子設定為1.2×1.3=1.56。
1.3 備份環境設計。根據證監會的相關要求,系統需要建設本地“備份和應用測試機”環境。但如果我們只是刻板的將“生產環境”克隆一下,將極不經濟。我們需要按照應用特點、數據處理要求,來定制備機架構。本地“備份和應用測試機”需兼顧“數據備份和本地容災”雙重職能。
1.4 數據備份需求評估。數據中心的稻荼匭虢立可靠有效的備份機制,避免由于數據丟失。初步規劃:將數據中心管理的數據分成3類并分別制定備份策略。這3類數據可以使用用戶隔離、表空間隔離相結合的方式,增強備份調度的可操作性。靜態數據、配置信息表(/領域表):可以每日備份,并可覆蓋性備份,保留最近3日或者5日的備份即可。
2.蔬菜產銷價格存在巨幅價差。以春天蔬菜價格為100,夏天則為76,秋天則為73,冬天則為80。今年春節過后,受雨雪天氣影響,本地葉菜類蔬菜有一定漲幅,但由于各地提前做好的保供給預案,加上海南、山東等省份調入量增加,茄果、根莖類等蔬菜價格不升反降。當前江西省蔬菜集中上市,辣椒等本地主打蔬菜品種價格下跌明顯,據報道,永豐縣坑田鎮3500畝、700萬公斤辣椒平均價格僅1元/公斤,而去年為10元/公斤。
從江西省農業廳市場處開展的生產者價格(農民出售價)調查和縣級農貿市場價格監測情況看,兩者平均價差為289%。市場價格僅是20家縣城農貿市場平均價,如果以大中城市菜場價算,價差還要大的多。
關于蔬菜巨幅價差原因探究
1.產地蔬菜市場發展緩慢。蔬菜產銷最佳模式是存得住、運得掉、賣得好、賺得到。首先是要存得住,由于產地市場投入不足、發育遲緩。蔬菜往往一上市就面臨市場沖擊,幾乎無話語權。
2.蔬菜采后商品化處理程度低。冷鏈設施匱乏、貯運保鮮加工技術落后,帶來蔬菜商品質量差、運耗大、食用不便等諸多問題,全省每年因蔬菜腐爛造成的損失約占產值的25%-30%。2013年江西省人均蔬菜供應量278公斤,而城鎮每人年均蔬菜購買量僅120公斤。
3.銷售中間加價環節過多且不規范。這也是為什么農民種菜賣不出去,而城市蔬菜依然價高的癥結之一,特別是2008年冰凍災害天氣期間反應特別強烈。
解決或緩解巨幅價差的建議
1.大力發展產地批發市場或田頭市場。產地市場(另有中轉和銷地市場)應是公益性的,以政府投入為主。國外產地市場大都以配送中心、分揀中心等形式出現。此外要加大對家庭農場、合作社、龍頭企業貯運能力的培育。
2.減少流通環節,規范中間商利潤。推行農超對接、產銷直供等新型流通方式,大力推進農產品經營網絡化,探索開展農產品電子商務試點。支持涉農企業、農民合作社發展線上線下交易,充分利用信息技術,創建最快速度、最短距離、最少環節的新型農產品流通方式。
3.加大對政策落實情況的督導。2012年國務院出臺了《關于深化流通體制改革加快流通產業發展的意見》,今年商務部等13部門出臺了《關于進一步加強農產品市場體系建設的指導意見》,對農產品批發市場的財政支持、金融支持、用地支持和用水、用電支持都進行了明確。據了解,江西省有些地區農產品批發市場在用地方面、水電方面的優惠政策難以落實,建議相關部門要加大督導力度。
此外,很多這樣的應用都有很嚴格的功率預算,因為它們采用電池供電,或者無法耐受自身電子元件發熱導致的額外升溫。因此,需要用到可以在溫度范圍內保持高精度,并且可以輕松用于各種場景的低功耗模數轉換器(ADC)信號鏈。這類信號鏈見圖1,該圖描繪了一個井下鉆探儀器。
雖然額定溫度為175℃的商用IC數量依然較少,但近年來這一數量正在增加,尤其是諸如信號調理和數據轉換等核心功能。這便促使電子工程師快速可靠地設計用于高溫應用的產品,并完成過去無法實現的性能。雖然很多這類IC在溫度范圍內具有良好的特性化,但也僅限于該器件的功能。顯然,這些元件缺少電路級信息,使其無法在現實系統中實現極佳性能。
本文中,我們提供了一個新的高溫數據采集參考設計,該設計在室溫至175℃溫度范圍內進行特征化。該電路旨在提供一個完整的數據采集電路構建塊,可獲取模擬傳感器輸入、對其進行調理,并將其特征化為SPI串行數據流。該設計功能非常豐富,可用作單通道應用,也可擴展為多通道同步采樣應用。由于認識到低功耗的重要性,該ADC的功耗與采樣速率成線性比例關系。
該ADC還可由基準電壓源直接供電,無須額外的電源軌,從而不存在功率轉換相關的低效率。這款參考設計是現成的,可方便設計人員進行測試,包含全部原理圖、物料清單、PCB布局圖和測試軟件。
電路概覽
圖1所示電路是一個1 6位、600kSPS逐次逼近型模數轉換器系統,其所用器件的額定溫度、特性測試溫度和性能保證溫度為175℃。很多惡劣環境應用都采用電池供電,因此該信號鏈針對低功耗而設計,同時仍然保持高性能。
本電路使用低功耗(600kSPS時為4.65mW)、耐高溫PulSAR ADCAD7981,它直接從耐高溫、低功耗運算放大器AD8634驅動。AD7981ADC需要2.4-5.1V的外部基準電壓源,本應用選擇的基準電壓源為微功耗2.5V精密基準源ADR225,后者也通過了高溫工作認證,并具有非常低的靜態電流(210℃時最大值為60μA)。本設計中的所有IC封裝都是專門針對高溫環境而設計的,包括單金屬線焊。
模數轉換器
本電路的核心是16位、低功耗、單電源ADC AD7981,它采用逐次逼近架構,最高支持600kSPS的采樣速率。如圖2所示,AD7981使用兩個電源引腳:內核電源(VDD)和數字輸入/輸出接口電源(VIO)。VIO引腳可以與1.8~5.OV的任何邏輯直接接口。VDD和VIO引腳也可以連在一起以節省系統所需的電源數量,并且它們與電源時序無關。圖3給出了連接示意圖。
AD7981在600 kSPS時功耗典型值僅為4.65mW,并能在兩次轉換之間自動關斷,以節省功耗。因此,功耗與采樣速率成線性比例關系,使得該ADC對高低采樣速率——甚至低至數Hz——均適合,并且可實現非常低的功耗,支持電池供電系統。此外,可以使用過采樣技術來提高低速信號的有效分辨率。
AD7981有一個偽差分模擬輸入結構,可對IN+與IN-輸入之間的真差分信號進行采樣,并抑制這兩個輸入共有的信號。IN+輸入支持OV至VREF的單極性、單端輸入信號,IN-輸入的范圍受限,為GND至lOOmV。AD7981的偽差分輸入簡化了ADC驅動器要求并降低了功耗。AD7981采用10引腳MSOP封裝,額定溫度為175℃,
ADC驅動器
AD7981的輸入可直接從低阻抗信號源驅動;然而,高源阻抗會顯著降低性能,尤其是總諧波失真(THD)。因此,推薦使用ADC驅動器或運算放大器(如AD8634)來驅動AD7981輸入,如圖4所示。在采集時間開始時,開關閉合,容性DAC在ADC輸入端注入一個電壓毛刺(反沖)。ADC驅動器幫助此反沖穩定下來,并將其與信號源相隔離。
低功耗(ImA/放大器)雙通道精密運算放大器AD8634適合此任務,因為其出色的直流和交流特性對傳感器信號調理和信號鏈的其他部分非常有利。雖然AD8634具有軌到軌輸出,但輸入要求從正供電軌到負供電軌具有300mV裕量。這就使得負電源成為必要,所選負電源為2.5V。AD8634提供額定溫度為175℃的8引腳SOIC封裝和額定溫度為210℃的8引腳FLATPACK封裝。
ADC驅動器與AD7981之間的RC濾波器衰減AD7981輸入端注入的反沖,并限制進入此輸入端的噪聲帶寬。不過,過大的限帶可能會增加建立時間和失真。因此,為該濾波器找到最優RC值很重要。其計算主要基于輸入頻率和吞吐速率。
由AD7981數據手冊可知,內部采樣電容CIN=30pF且tCONV=900ns,因此正如所描述的,對于lOkHz輸入信號而言,假定ADC工作在600kSPS且CFXT=2.7nF,則用于2.5V基準電壓源的電壓步進為:
因此,在16位處建立至1/2 LSB所需的時間常數數量為: AD7981的采集時間為:
通過下式可計算RC濾波器的帶寬:
這是一個理論值,其一階近似應當在實驗室中進行驗證。通過測試可知最優值為R EXT=85 Q和CEXT=2. 7nF(f_3dB_693. 48kHz),此時在高達l75℃的擴展溫度范圍內具有出色的性能。
在參考設計中,ADC驅動器采用單位增益緩沖器配置。增加ADC驅動器增益會降低驅動器帶寬,延長建立時間。這種情況下可能需要降低ADC吞吐速率,或者在增益級之后再使用一個緩沖器作為驅動器。
基準電壓源
ADR225 2.5V基準電壓源在時210℃僅消耗最大60μA的靜態電流,并具有典型值40×10-6/℃的超低漂移特性,因而非常適合用于該低功耗數據采集電路。該器件的初始精度為±0.4%,可在3.3-16V的寬電源范圍內工作。 像其他SAR ADC-樣,AD7981的基準電壓輸入具有動態輸入阻抗,因此必須利用低阻抗源驅動,REF引腳與GND之間應有效去耦,如圖5所示。除了ADC驅動器應用,AD8634同樣適合用作基準電壓緩沖器。
使用基準電壓緩沖器的另一個好處是,基準電壓輸出端噪聲可通過增加一個低通RC濾波器來進一步降低,如圖5所示。在該電路中,49.9Ω電阻和47μ電容提供大約67Hz的截止頻率。
轉換期間,AD7981基準電壓輸入端可能出現高達2.5mA的電流尖峰。在盡可能靠近基準電壓輸入端的地方放置一個大容值儲能電容,以便提供該電流并使基準電壓輸入端噪聲保持較低水平。一般而言,采用低ESR-10μ或更高——陶瓷電容,但對于高溫應用來說會有問題,因為缺少可用的高數值、高溫陶瓷電容。因此,選擇一個低ESR、47μF鉭電容,其對電路性能的影響極小。
數字接口
AD7981提供一個兼容SPI、QSPI和其他數字主機的靈活串行數字接口。該接口既可配置為簡單的3線模式以實現最少的I/O數,也可配置為4線模式以提供鏈回讀和繁忙指示選項。4線模式還支持CNV(轉換輸入)的獨立回讀時序,使得多個轉換器可實現同步采樣。
本參考設計使用的PMOD兼容接口實現了簡單的3線模式,SDI接高電平VIO。VIO電壓是由SDPPMOD轉接板從外部提供。轉接板將參考設計板與ADI系統開發平臺(SDP)板相連,并可通過USB連接PC,以便運行軟件、評估性能。
電源
本參考設計的+5V和-2.5V供電軌需要外部低噪聲電源。由于AD7981是低功耗器件,因此可通過基準電壓緩沖器直接供電。這樣便不再需要額外的供電軌——節省電源和電路板空間。通過基準電壓緩沖器為ADC供電的正確配置如圖6所示。如果邏輯電平兼容,那么還可以使用VIO。就參考設計板而言,VIO通過PMOD兼容接口由外部供電,以實現最高的靈活性。
IC封裝和可靠性
ADI公司高溫系列中的器件要經歷特殊的工藝流程,包括設計、特性測試、可靠性認證和生產測試。專門針對極端溫度設計特殊封裝是該流程的一部分。本電路中的175℃塑料封裝采用一種特殊材料。
耐高溫封裝的一個主要失效機制是焊線與焊墊界面失效,尤其是金(Au)和鋁(Al)混合時(塑料封裝通常如此)。高溫會加速AuAl金屬間化合物的生長。正是這些金屬間化合物引起焊接失效,如易脆焊接和空洞等,這些故障可能在幾百小時之后就會發生,如圖7所示。
為了避免失效,ADI公司利用焊盤金屬化(OPM)工藝產生一個金焊墊表面以供金焊線連接。這種單金屬系統不會形成金屬間化合物,經過195℃、6000小時的浸泡式認證測試,已被證明非常可靠,如圖8所示。
雖然ADI公司已證明焊接在195℃時仍然可靠,但受限于塑封材料的玻璃轉化溫度,塑料封裝的額定最高工作溫度僅為175℃。除了本電路所用的額定175℃產品,還有采用陶瓷FLATPACK封裝的額定210℃型號可用。同時有已知良品裸片(KGD)可供需要定制封裝的系統使用。無源元件
應當選擇耐高溫的無源元件。本設計使用175℃以上的薄膜型低TCR電阻。COG/NPO電容容值較低常用于濾波器和去耦應用,其溫度系數非常平坦。耐高溫鉭電容有比陶瓷電容更大的容值,常用于電源濾波。本電路板所用SMA連接器的額定溫度為165℃,因此,在高溫下進行長時間測試時,應當將其移除。同樣,0.1英寸接頭連接器(J2和P3)上的絕緣材料在高溫時只能持續較短時間,因而在長時間高溫測試中也應當予以移除。對于生產組裝而言,有多個供應商提供用于HT額定連接器的多個選項,例如MicroD類連接器。
PCB布局和裝配
在本電路的PCB設計中,模擬信號和數字接口位于ADC的相對兩側,ADC IC之下或模擬信號路徑附近無開關信號。這種設計可以最大程度地降低耦合到ADC芯片和輔助模擬信號鏈中的噪聲。AD7981的所有模擬信號位于左側,所有數字信號位于右側,這種引腳排列可以簡化設計。基準電壓輸入REF具有動態輸入阻抗,應當用極小的寄生電感去耦,為此須將基準電壓去耦電容放在盡量靠近REF和GND引腳的地方,并用低阻抗的寬走線連接該引腳。本電路板的元器件故意全都放在正面,以方便從背面加熱進行溫度測試。完整的組件如圖9所示。
針對高溫電路,應當采用特殊電路材料和裝配技術來確保可靠性。FR4是PCB疊層常用的材料,但商用FR4的典型玻璃轉化溫度約為140℃。超過140℃時,PCB便開始破裂、分層,并對元器件造成壓力。高溫裝配廣泛使用的替代材料是聚酰亞胺,其典型玻璃轉化溫度大于240℃。本設計使用4層聚酰亞胺PCB。
PCB表面也需要注意,特別是配合含錫的焊料使用時,因為這種焊料易于與銅走線形成銅金屬間化合物。常常采用鎳金表面處理,其中鎳提供一個壁壘,金則為接頭焊接提供一個良好的表面。此外,應當使用高熔點焊料,熔點與系統最高工作溫度之間應有合適的裕量。本裝配選擇SAC305無鉛焊料,其熔點為217℃,相對于175℃的最高工作溫度有42℃的裕量。
性能預期
采用lkHz輸入正弦信號和5V基準電壓時,AD7981的額定SNR典型值為9ldB。然而,當使用較低基準電壓(例如2.5V,低功耗/低電壓系統常常如此),SNR性能會有所下降。我們可以根據電路中使用的元件規格計算理論SNR。由AD8634放大器數據手冊可知,其輸入電壓噪聲密度為4.2nV/ ,電流噪聲密度為0.6pA/ 。由于緩沖器配置中的AD8634噪聲增益為1,并且假定電流噪聲計算時可忽略串聯輸入電阻,則AD8634的等效輸出噪聲貢獻為:
RC濾波( )器之后的ADC輸入端總積分噪聲為: AD7981的均方根噪聲可根據數據手冊中的2.5V基準電壓源典型信噪比(SNR,86dB)計算得到。
整個數據采集系統的總均方根噪聲可通過AD8634和AD7981噪聲源的方和根(RSS)計算:
因此,室溫(25℃)時的數據采集系統理論SNR可根據下式近似計算:
測試結果
電路的交流性能在25~185℃溫度范圍內進行評估。使用低失真信號發生器對性能進行特性化很重要。本測試使用Audio Precision SYS-2522。為了便于在烤箱中測試,使用了延長線,以便僅有參考設計電路暴露在高溫下。測試設置的功能框圖如圖10所不。
由前文設置中的計算可知,室溫下期望能達到大約86dB的SNR。該值與我們在室溫下測出的86.2dB SNR相當,如圖11中的FFT摘要所示。
評估電路溫度性能時,175℃時的SNR性能僅降低至約84dB,如圖12所示。THD仍然優于-100dB,如圖13所示。本電路在175℃時的FFT摘要如圖14所示。
小結
雖然這些行業的最終應用不盡相同,但某些信號調理需求卻是共同的。這些系統的主要部分要求對多個傳感器進行精確數據采集,或者要求高采樣速率。 此外,很多這樣的應用都有很嚴格的功率預算,因為它們采用電池供電,或者無法耐受自身電子元件發熱導致的額外升溫。因此,需要用到可以在溫度范圍內保持高精度,并且可以輕松用于各種場景的低功耗模數轉換器(ADC)信號鏈。這類信號鏈見圖1,該圖描繪了一個井下鉆探儀器。
雖然額定溫度為175℃的商用IC數量依然較少,但近年來這一數量正在增加,尤其是諸如信號調理和數據轉換等核心功能。這便促使電子工程師快速可靠地設計用于高溫應用的產品,并完成過去無法實現的性能。雖然很多這類IC在溫度范圍內具有良好的特性化,但也僅限于該器件的功能。顯然,這些元件缺少電路級信息,使其無法在現實系統中實現極佳性能。
本文中,我們提供了一個新的高溫數據采集參考設計,該設計在室溫至175℃溫度范圍內進行特征化。該電路旨在提供一個完整的數據采集電路構建塊,可獲取模擬傳感器輸入、對其進行調理,并將其特征化為SPI串行數據流。該設計功能非常豐富,可用作單通道應用,也可擴展為多通道同步采樣應用。由于認識到低功耗的重要性,該ADC的功耗與采樣速率成線性比例關系。該ADC還可由基準電壓源直接供電,無須額外的電源軌,從而不存在功率轉換相關的低效率。這款參考設計是現成的,可方便設計人員進行測試,包含全部原理圖、物料清單、PCB布局圖和測試軟件。
電路概覽
圖1所示電路是一個1 6位、600kSPS逐次逼近型模數轉換器系統,其所用器件的額定溫度、特性測試溫度和性能保證溫度為175℃。很多惡劣環境應用都采用電池供電,因此該信號鏈針對低功耗而設計,同時仍然保持高性能。
本電路使用低功耗(600kSPS時為4.65mW)、耐高溫PulSAR ADCAD7981,它直接從耐高溫、低功耗運算放大器AD8634驅動。AD7981ADC需要2.4-5.1V的外部基準電壓源,本應用選擇的基準電壓源為微功耗2.5V精密基準源ADR225,后者也通過了高溫工作認證,并具有非常低的靜態電流(210℃時最大值為60μA)。本設計中的所有IC封裝都是專門針對高溫環境而設計的,包括單金屬線焊。
模數轉換器
本電路的核心是16位、低功耗、單電源ADC AD7981,它采用逐次逼近架構,最高支持600kSPS的采樣速率。如圖2所示,AD7981使用兩個電源引腳:內核電源(VDD)和數字輸入/輸出接口電源(VIO)。VIO引腳可以與1.8~5.OV的任何邏輯直接接口。VDD和VIO引腳也可以連在一起以節省系統所需的電源數量,并且它們與電源時序無關。圖3給出了連接示意圖。
AD7981在600 kSPS時功耗典型值僅為4.65mW,并能在兩次轉換之間自動關斷,以節省功耗。因此,功耗與采樣速率成線性比例關系,使得該ADC對高低采樣速率——甚至低至數Hz——均適合,并且可實現非常低的功耗,支持電池供電系統。此外,可以使用過采樣技術來提高低速信號的有效分辨率。
AD7981有一個偽差分模擬輸入結構,可對IN+與IN-輸入之間的真差分信號進行采樣,并抑制這兩個輸入共有的信號。IN+輸入支持OV至VREF的單極性、單端輸入信號,IN-輸入的范圍受限,為GND至lOOmV。AD7981的偽差分輸入簡化了ADC驅動器要求并降低了功耗。AD7981采用10引腳MSOP封裝,額定溫度為175℃,
ADC驅動器
AD7981的輸入可直接從低阻抗信號源驅動;然而,高源阻抗會顯著降低性能,尤其是總諧波失真(THD)。因此,推薦使用ADC驅動器或運算放大器(如AD8634)來驅動AD7981輸入,如圖4所示。在采集時間開始時,開關閉合,容性DAC在ADC輸入端注入一個電壓毛刺(反沖)。ADC驅動器幫助此反沖穩定下來,并將其與信號源相隔離。
低功耗(ImA/放大器)雙通道精密運算放大器AD8634適合此任務,因為其出色的直流和交流特性對傳感器信號調理和信號鏈的其他部分非常有利。雖然AD8634具有軌到軌輸出,但輸入要求從正供電軌到負供電軌具有300mV裕量。這就使得負電源成為必要,所選負電源為2.5V。AD8634提供額定溫度為175℃的8引腳SOIC封裝和額定溫度為210℃的8引腳FLATPACK封裝。
ADC驅動器與AD7981之間的RC濾波器衰減AD7981輸入端注入的反沖,并限制進入此輸入端的噪聲帶寬。不過,過大的限帶可能會增加建立時間和失真。因此,為該濾波器找到最優RC值很重要。其計算主要基于輸入頻率和吞吐速率。
由AD7981數據手冊可知,內部采樣電容CIN=30pF且tCONV=900ns,因此正如所描述的,對于lOkHz輸入信號而言,假定ADC工作在600kSPS且CFXT=2.7nF,則用于2.5V基準電壓源的電壓步進為:
因此,在16位處建立至1/2 LSB所需的時間常數數量為: AD7981的采集時間為:
通過下式可計算RC濾波器的帶寬:
這是一個理論值,其一階近似應當在實驗室中進行驗證。通過測試可知最優值為R EXT=85 Q和CEXT=2. 7nF(f_3dB_693. 48kHz),此時在高達l75℃的擴展溫度范圍內具有出色的性能。
在參考設計中,ADC驅動器采用單位增益緩沖器配置。增加ADC驅動器增益會降低驅動器帶寬,延長建立時間。這種情況下可能需要降低ADC吞吐速率,或者在增益級之后再使用一個緩沖器作為驅動器。
基準電壓源
ADR225 2.5V基準電壓源在時210℃僅消耗最大60μA的靜態電流,并具有典型值40×10-6/℃的超低漂移特性,因而非常適合用于該低功耗數據采集電路。該器件的初始精度為±0.4%,可在3.3-16V的寬電源范圍內工作。像其他SAR ADC-樣,AD7981的基準電壓輸入具有動態輸入阻抗,因此必須利用低阻抗源驅動,REF引腳與GND之間應有效去耦,如圖5所示。除了ADC驅動器應用,AD8634同樣適合用作基準電壓緩沖器。
使用基準電壓緩沖器的另一個好處是,基準電壓輸出端噪聲可通過增加一個低通RC濾波器來進一步降低,如圖5所示。在該電路中,49.9Ω電阻和47μ電容提供大約67Hz的截止頻率。
轉換期間,AD7981基準電壓輸入端可能出現高達2.5mA的電流尖峰。在盡可能靠近基準電壓輸入端的地方放置一個大容值儲能電容,以便提供該電流并使基準電壓輸入端噪聲保持較低水平。一般而言,采用低ESR-10μ或更高——陶瓷電容,但對于高溫應用來說會有問題,因為缺少可用的高數值、高溫陶瓷電容。因此,選擇一個低ESR、47μF鉭電容,其對電路性能的影響極小。
數字接口
AD7981提供一個兼容SPI、QSPI和其他數字主機的靈活串行數字接口。該接口既可配置為簡單的3線模式以實現最少的I/O數,也可配置為4線模式以提供鏈回讀和繁忙指示選項。4線模式還支持CNV(轉換輸入)的獨立回讀時序,使得多個轉換器可實現同步采樣。
本參考設計使用的PMOD兼容接口實現了簡單的3線模式,SDI接高電平VIO。VIO電壓是由SDPPMOD轉接板從外部提供。轉接板將參考設計板與ADI系統開發平臺(SDP)板相連,并可通過USB連接PC,以便運行軟件、評估性能。
電源
本參考設計的+5V和-2.5V供電軌需要外部低噪聲電源。由于AD7981是低功耗器件,因此可通過基準電壓緩沖器直接供電。這樣便不再需要額外的供電軌——節省電源和電路板空間。通過基準電壓緩沖器為ADC供電的正確配置如圖6所示。如果邏輯電平兼容,那么還可以使用VIO。就參考設計板而言,VIO通過PMOD兼容接口由外部供電,以實現最高的靈活性。
IC封裝和可靠性
ADI公司高溫系列中的器件要經歷特殊的工藝流程,包括設計、特性測試、可靠性認證和生產測試。專門針對極端溫度設計特殊封裝是該流程的一部分。本電路中的175℃塑料封裝采用一種特殊材料。
耐高溫封裝的一個主要失效機制是焊線與焊墊界面失效,尤其是金(Au)和鋁(Al)混合時(塑料封裝通常如此)。高溫會加速AuAl金屬間化合物的生長。正是這些金屬間化合物引起焊接失效,如易脆焊接和空洞等,這些故障可能在幾百小時之后就會發生,如圖7所示。
為了避免失效,ADI公司利用焊盤金屬化(OPM)工藝產生一個金焊墊表面以供金焊線連接。這種單金屬系統不會形成金屬間化合物,經過195℃、6000小時的浸泡式認證測試,已被證明非常可靠,如圖8所示。
雖然ADI公司已證明焊接在195℃時仍然可靠,但受限于塑封材料的玻璃轉化溫度,塑料封裝的額定最高工作溫度僅為175℃。除了本電路所用的額定175℃產品,還有采用陶瓷FLATPACK封裝的額定210℃型號可用。同時有已知良品裸片(KGD)可供需要定制封裝的系統使用。無源元件
應當選擇耐高溫的無源元件。本設計使用175℃以上的薄膜型低TCR電阻。COG/NPO電容容值較低常用于濾波器和去耦應用,其溫度系數非常平坦。耐高溫鉭電容有比陶瓷電容更大的容值,常用于電源濾波。本電路板所用SMA連接器的額定溫度為165℃,因此,在高溫下進行長時間測試時,應當將其移除。同樣,0.1英寸接頭連接器(J2和P3)上的絕緣材料在高溫時只能持續較短時間,因而在長時間高溫測試中也應當予以移除。對于生產組裝而言,有多個供應商提供用于HT額定連接器的多個選項,例如MicroD類連接器。
PCB布局和裝配
在本電路的PCB設計中,模擬信號和數字接口位于ADC的相對兩側,ADC IC之下或模擬信號路徑附近無開關信號。這種設計可以最大程度地降低耦合到ADC芯片和輔助模擬信號鏈中的噪聲。AD7981的所有模擬信號位于左側,所有數字信號位于右側,這種引腳排列可以簡化設計。基準電壓輸入REF具有動態輸入阻抗,應當用極小的寄生電感去耦,為此須將基準電壓去耦電容放在盡量靠近REF和GND引腳的地方,并用低阻抗的寬走線連接該引腳。本電路板的元器件故意全都放在正面,以方便從背面加熱進行溫度測試。完整的組件如圖9所示。
針對高溫電路,應當采用特殊電路材料和裝配技術來確保可靠性。FR4是PCB疊層常用的材料,但商用FR4的典型玻璃轉化溫度約為140℃。超過140℃時,PCB便開始破裂、分層,并對元器件造成壓力。高溫裝配廣泛使用的替代材料是聚酰亞胺,其典型玻璃轉化溫度大于240℃。本設計使用4層聚酰亞胺PCB。
PCB表面也需要注意,特別是配合含錫的焊料使用時,因為這種焊料易于與銅走線形成銅金屬間化合物。常常采用鎳金表面處理,其中鎳提供一個壁壘,金則為接頭焊接提供一個良好的表面。此外,應當使用高熔點焊料,熔點與系統最高工作溫度之間應有合適的裕量。本裝配選擇SAC305無鉛焊料,其熔點為217℃,相對于175℃的最高工作溫度有42℃的裕量。
性能預期
采用lkHz輸入正弦信號和5V基準電壓時,AD7981的額定SNR典型值為9ldB。然而,當使用較低基準電壓(例如2.5V,低功耗/低電壓系統常常如此),SNR性能會有所下降。我們可以根據電路中使用的元件規格計算理論SNR。由AD8634放大器數據手冊可知,其輸入電壓噪聲密度為4.2nV/ ,電流噪聲密度為0.6pA/ 。由于緩沖器配置中的AD8634噪聲增益為1,并且假定電流噪聲計算時可忽略串聯輸入電阻,則AD8634的等效輸出噪聲貢獻為:
RC濾波( )器之后的ADC輸入端總積分噪聲為: AD7981的均方根噪聲可根據數據手冊中的2.5V基準電壓源典型信噪比(SNR,86dB)計算得到。
整個數據采集系統的總均方根噪聲可通過AD8634和AD7981噪聲源的方和根(RSS)計算:
因此,室溫(25℃)時的數據采集系統理論SNR可根據下式近似計算:
測試結果
電路的交流性能在25~185℃溫度范圍內進行評估。使用低失真信號發生器對性能進行特性化很重要。本測試使用Audio Precision SYS-2522。為了便于在烤箱中測試,使用了延長線,以便僅有參考設計電路暴露在高溫下。測試設置的功能框圖如圖10所不。
由前文設置中的計算可知,室溫下期望能達到大約86dB的SNR。該值與我們在室溫下測出的86.2dB SNR相當,如圖11中的FFT摘要所示。
評估電路溫度性能時,175℃時的SNR性能僅降低至約84dB,如圖12所示。THD仍然優于-100dB,如圖13所示。本電路在175℃時的FFT摘要如圖14所示。
小結
關鍵詞:會員制 數據挖掘 RFM聚類分析 關聯規則
現階段,國內廣大中小型企業正面臨著自身發展的瓶頸。在圍繞增加銷售收入所設計的營銷策略中,企業傾向于把重點放在開發新客戶方面,而忽略了對舊客戶的維護。這種情況導致企業難以培養有忠誠度的顧客,大量流失潛在的優質客戶,從而陷入對客戶不斷開發、不斷流失的惡性循環。部分企業借鑒外國同行經驗,采取會員制策略,但其數據庫只收集最基本的會員資料,營銷手段單一,如分發廣告信息、消費打折等活動,而忽略了對會員本身的分析,如人口和心理特征、消費行為等,造成了浪費企業執行成本、不恰當的信息令顧客與企業關系惡化等后果。同樣利用會員制收集信息的便利性,在北美和歐洲,基于數據挖掘技術的數據庫營銷已經發展日趨成熟,大小企業都先后加入到這一行列中(羅茂初等,2007)。
本文提出一套基于會員制的數據挖掘系統解決方案,通過運用相應的數據挖掘技術解決營銷活動中的四個基本問題,加深企業對顧客的認識,從而有針對性地制定營銷策略。
會員制信息的數據挖掘方案
(一)營銷活動的四個基本問題
在為會員制定營銷手段的過程中,必須回答以下四個基本問題:
一是什么是影響會員對營銷手段做出回應的顯著因子?如何尋找出最可能對營銷手段做出回應的會員?二是企業所擁有的會員可以分為哪幾類?每個種類的會員的特征有什么不同?三是哪些事件(或日子)能聯系會員與企業的產品,成為營銷活動開始的契機?四是會員的消費習慣和購物次序如何?
只有完整回答以上問題,企業才算得上了解自己的會員,營銷手段才能做到有的放矢,切實地提高企業的營銷能力。
(二)系統實現框架
為了解決上述問題,系統由四種數據挖掘技術構成。其中Logistic回歸模型用于尋找影響回應率的顯著因子。RFM聚類分析通過提取會員新鮮度、消費頻率和消費金額三個指標值進行聚類分析,劃分會員種類。而事件觸發模型是企業尋找特殊營銷事件開展的重要工具。關聯規則挖掘通過分析會員的購物籃尋找出各商品之間潛在的關系。企業可以據此決定商品的擺設、捆綁銷售策略和優惠銷售策略等營銷手段等。系統框架結構如圖1所示。
(三)建模方法
1.Logistic回歸模型。由于Logistic回歸分析所建立的預測模型是根據過去的營銷數據記錄計算獲得,因此有一定的滯后性。具體做法是:從上一次營銷活動記錄中選取出所有可能影響會員做出回應的變量為自變量,用會員是否回應的結果作為因變量,用0表示沒有回應,1表示有回應。這樣通過Logistic回歸計算所得的結果是一個會員對于營銷活動做出回應的概率。篩選出通過顯著性檢驗的變量,所獲得的預測模型則可用于實踐。
2.RFM聚類分析。RFM具體定義:R―新鮮度,指會員最近一次交易是在多久以前。時間距離越近,企業和會員的關系就越“新鮮”。通常按天數劃分最近一次交易時間。F―消費頻率,指會員在一定時間間隔內和企業交易次數。時間間隔一般取半年或一年。M―消費金額,指會員每次平均消費金額。
RFM的指標各項數據通過營銷記錄表定期(如每半年)自動生成。然后應用于聚類分析。此處選擇K-Mean clustering,即直接聚類,該聚類分析算法如下(辛愛莉、衣龍海、張林,2008):
設要把數據庫中所有會員分為K組。
第一步為任意選擇K位成員,以他們指標下的各項數據作為每一組的中心;第二步為計算其他成員指標下的各項數據與每個組的中心的合成距離。合成距離的計算取幾何距離公式:,一個會員離Ki組的中心越近,他就屬于該組。第三步為將所有成員根據距離分配到各個組后,重新計算各組的中心。方法為取每個組所有成員的特征平均值。重復第二步。重復第三步。
循環以上步驟,一直到計算出的中心與上一次計算的中心完全相等,則循環結束。所獲得的結果就是最后分類,每組的中心代表這個組的特點。
3.事件觸發模型。該模型主要作用是增進會員對企業的感情和提醒會員于特殊時間購買本企業相關產品。
事件分成兩類:常規事件和突發事件。常規事件包括會員生日和有營銷機會的節日。突發事件是指事前無法預料的,能為企業進行營銷所用的特殊事件。
部分參考節日:元旦,農歷新年,情人節,三八婦女節,清明節,勞動節,兒童節,端午節,父親節,母親節,七夕,中秋節,國慶,重陽,冬至,圣誕節等。
部分參考事件:開學,企業新品推薦,運動會或重大比賽,商業演出,募捐活動等。
實施方法:為根據RFM聚類分析所劃分的會員群設計各自對應的宣傳文案和營銷策略,在事件發生的倒數第三日通過電子郵件發送,倒數第二日通過手機短信發送,以確保有效到達率。適當環境可考慮使用直郵。統計回應記錄及會員的反饋意見。事后分析,作為本次營銷活動的總結和下次策劃的參考。
此外,特定行業應針對其顧客的消費和行為的規律事先制訂相應的觸發模型。
4.關聯規則。在關聯規則的挖掘算法中,以Agrawal等人提出的Apriori算法最具有影響力和最為常用。Apriori算法利用了頻繁項集的基本原理:若項集X是頻繁項集,則X的任意子集也必定是頻繁項集;反之,若X有一子集不是頻繁項集,則X也必然不是頻繁項集。
設產品集C={Cj,j=1,2,……,n},每次交易事件Ti=i1C1+i2C2+……+inCn,其中ij取值為0或1。此處的加號是和的意思,并非直接相加。
交易集為U={Ti|i=1,2,……,m},所以可抽象出矩陣:
設support(Cj)=/m,若support(Cj)≥min_support_1,將Cj加入到集合Z中。重復上述步驟,直到Z包含所有符合條件的Cj。假設共有k個符合條件,重新編號為D1,D2……Dk。其對應的ij亦同時跟隨變化。兩兩交叉組合,共計k(k-1)/2個。
設support(DpDq)=ipiq/m,若support(DpDq)min_support_2,令Mpq=DpDq,輸出到關聯候選集A和集合Z中。
重復上述步驟,直到Z包含所有符合條件的Mpq,并刪除集合中所有的Cj。把Z內的項兩兩交叉組合,并循環以上方法,直到集合Z為空集。
此時開始用置信度排除出重要的關聯規則:由A,B兩個項生成的關聯規則有兩個:AB和BA ;由A,B和C三個項生成的關聯規則有三個:A,BC;B,CA和C,AB。如此類推,N個項可以生成N個關聯規則。當檢驗只有兩個項DpDq的關聯規則時,設confidence(DpDq)=iqip/iq,confidence(DqDp)=iqip/ip,若confidence()≥min_confidence,則把該關聯規則輸出,否則刪除。
為簡化計,可把min_support和min_confidence先設定為一固定值。特殊情況下再作調整。同理檢驗由更多項生成的關聯規則。其中confidence(AB)=P(AB)/P(B),此時A為由一個以上的單項組成的復合項目,B依然為單項。
若需要進行多層關聯規則分析,只需擴充C集,其他仍然按以上步驟分析。多層關聯規則(孫景、李峰,2008)有助于發掘出特定商品與品類之間的潛在關系。
應用示例
設某運動用品店收集到26位會員的消費記錄。其中性別是1代表男性,0代表女性的虛擬變量,回應項中1代表有回應,0代表沒有回應。現抽取性別、新鮮度、消費頻率和消費金額作Logistic回歸,結果如表1所示。
由表1可知,消費頻率是影響會員是否做出回應的重要因子,消費頻率越高,回應的可能性越大。因此,應該按此思路設計營銷手段,爭取顧客多次回頭,如積分升級計劃,每周(月)的優惠活動等,務求通過增加顧客的消費頻率提高銷售收入。
提取新鮮度、消費頻率和消費金額三個變量項作直接聚類分析,在置信度為90%的條件下,獲得表2。
以消費頻率和消費金額為主要劃分標準,把26位會員分成普通組和重點組。普通組成員的特征是消費頻率較低,消費金額較小,因此營銷的主要目的是增加此組人群對企業的好感以及依賴,培養忠誠度,使其轉為重點組成員;重點組成員的特征是消費頻率較高,消費金額是普通組的2倍以上。因此,提供最優質的服務與適當的讓利優惠是維系此組成員必不可少的手段。
會員生日、學生假期、重大比賽或者明星活動是有利于運動店啟動事件營銷的契機。
產品集={球服,籃球,球襪,紀念品,其他裝備},又收集到如下的會員交易集
U=T
根據前部分的計算公式,假設min_Support_1=30%,則A={(球服,籃球),(球服,球襪),(球服,紀念品),(籃球,其他裝備)},同時生成Z={(球服,籃球,球襪),(球服,籃球,其他裝備),(球服,籃球,紀念品),(球服,球襪,紀念品)}。繼續計算,假設min_Support_2=20%,則(球服,球襪,紀念品)加入到A集中。此時A={(球服,籃球),(球服,球襪),(球服,紀念品),(籃球,其他裝備),(球服,球襪,紀念品)}。
通過置信度篩選出強關聯規則。假設min_Confidence_1=60%,保留(球服球襪),(球服紀念品),(籃球其他裝備),(其他裝備籃球)為強關聯規則。綜上所述,我們發現了六個可供使用的強關聯規則:A={(球服球襪),(球服紀念品),(籃球其他裝備),(其他裝備籃球),(球服,球襪紀念品),(球服,紀念品球襪)}。
針對這些關聯規則,可以設計如下營銷手段:球服擺放于顯眼處,球襪擺放在其相近位置,并且可用優惠價購買球服與相對應的球襪;開發對應球服的紀念品,如運動手表、背包、水壺及相應隊伍的明星人物模型等;籃球與其他裝備打包搭配銷售。
討論與結語
針對各個企業的特殊性,在本解決方案基礎上應相應增加原始數據庫的資料,以確保企業可以掌握足夠多的信息進行數據挖掘。同時要及時做事后測評和總結,不斷累積應用數據挖掘技術的經驗。此外,必須結合過往經營活動的經驗,以篩選不合理的挖掘結果。最后,在企業有一定條件時,應該增加本系統的挖掘功能,通過建立更多不同種類的數學模型來更深入了解顧客群的情況。
本文從現實的可行性出發,提出了一套基于會員制的數據挖掘系統解決方案,希望能有助于中小企業合理地運用會員制進行數據挖掘。本方案以四種數據挖掘技術為核心,通過對四個基本問題的解答獲取有效的數據挖掘信息,設計有針對性的營銷手段,從而切實地提升企業的營銷水平。
參考文獻:
1.羅茂初等.數據庫營銷[M].經濟管理出版社,2007
2.辛愛莉,衣龍海,張林.聚類算法在電子商務客戶細分中的應用[J].商場現代化,2008(530)