分布式海量數(shù)據(jù)管理系統(tǒng)Bigtable數(shù)據(jù)服務(wù)器設(shè)計(jì)

為了減少ibm大型數(shù)據(jù)服務(wù)器的操作復(fù)雜性,該文提供了一個基于j2ee的軟件系統(tǒng)的實(shí)現(xiàn),用于對ibm大型數(shù)據(jù)服務(wù)器的管理和操作,從而大大提高了ibm大型數(shù)據(jù)服務(wù)器的易用性和可維護(hù)性。

海量存儲系統(tǒng)都采用元數(shù)據(jù)服務(wù)器機(jī)群的方式來處理文件系統(tǒng)的元數(shù)據(jù)信息。很多存儲系統(tǒng)采用hash算法來實(shí)現(xiàn)文件元數(shù)據(jù)在元數(shù)據(jù)機(jī)群內(nèi)的分布,但是這些算法都是針對文件進(jìn)行hash。本文提出了一種目錄哈希的新算法,針對目錄進(jìn)行hash,并把一個目錄內(nèi)的元數(shù)據(jù)集中存儲。本算法克服了文件hash的不足,改善了存儲系統(tǒng)的性能,并極大地提高了存儲系統(tǒng)的可擴(kuò)展性。

為了滿足分布式網(wǎng)絡(luò)存儲對元數(shù)據(jù)服務(wù)的要求,本文采用多個元數(shù)據(jù)服務(wù)器組成元數(shù)據(jù)服務(wù)器群,并且提出分區(qū)散列管理方案對元數(shù)據(jù)服務(wù)器群進(jìn)行有效的管理。并在不涉及元數(shù)據(jù)的物理移動的前提下,實(shí)現(xiàn)元數(shù)據(jù)服務(wù)器群的負(fù)載平衡機(jī)制、可擴(kuò)充性以及高可用性等性能。

對數(shù)字音頻廣播(dab)傳輸系統(tǒng)進(jìn)行了概述,探討了dab復(fù)用系統(tǒng)的整體架構(gòu),給出了dab復(fù)用系統(tǒng)中數(shù)據(jù)服務(wù)器的設(shè)計(jì)方法及其軟件實(shí)現(xiàn)。

分布式監(jiān)控系統(tǒng)由多個監(jiān)控子系統(tǒng)組成,負(fù)責(zé)監(jiān)控多種設(shè)備。根據(jù)現(xiàn)場監(jiān)測設(shè)備種類多、結(jié)構(gòu)復(fù)雜等特點(diǎn),針對工控信息、管理信息集成等需求,提出了一種基于數(shù)據(jù)交換的數(shù)據(jù)服務(wù)器結(jié)構(gòu)。該數(shù)據(jù)服務(wù)器實(shí)現(xiàn)了控制系統(tǒng)實(shí)時數(shù)據(jù)采集、處理、存儲、發(fā)布的統(tǒng)一管理,采用數(shù)據(jù)服務(wù)的在線監(jiān)督,將工控網(wǎng)絡(luò)同管理網(wǎng)絡(luò)分隔開,實(shí)現(xiàn)了數(shù)據(jù)的安全、動態(tài)發(fā)布。系統(tǒng)采用數(shù)據(jù)驅(qū)動的交換式結(jié)構(gòu),數(shù)據(jù)處理組件化,系統(tǒng)結(jié)構(gòu)靈活、擴(kuò)展方便。

本文采用siacon-smartopc開發(fā)工具包,針對omroncs1plc開發(fā)出串口通信程序動態(tài)連接庫(dynamiclinklibrary),利用smartopc提供的應(yīng)用編程接口(api)函數(shù)調(diào)用串口通信函數(shù),實(shí)現(xiàn)了omroncs1plc串口通信的opc數(shù)據(jù)服務(wù)器開發(fā)設(shè)計(jì)。

介紹了實(shí)時數(shù)據(jù)服務(wù)器的特點(diǎn)和設(shè)計(jì)過程,分析了其中的若干關(guān)鍵技術(shù):多線程、oracle調(diào)用接口oci(oraclecallinterface),socket和select函數(shù)的優(yōu)點(diǎn)。通信協(xié)議采用基于有連接的tcp/ip通信協(xié)議,軟件設(shè)計(jì)采用阻塞的通信模式和oci連接數(shù)據(jù)庫,利用select函數(shù)定時中斷阻塞,進(jìn)行錯誤冗余處理。經(jīng)現(xiàn)場實(shí)際測試,該設(shè)計(jì)方式能夠滿足全網(wǎng)發(fā)電機(jī)功角監(jiān)測的實(shí)時數(shù)據(jù)處理要求。

新型的廣域測量系統(tǒng)主要由位于廠站端的apmu裝置、通訊系統(tǒng)、位于調(diào)度中心的數(shù)據(jù)服務(wù)器和圖形監(jiān)視界面這幾個部分組成,在整個系統(tǒng)的工作流程中wams中心站對測量數(shù)據(jù)進(jìn)行處理,并提供各類圖形化的應(yīng)用功能。wams中心站是整套wams的神經(jīng)中樞,數(shù)據(jù)服務(wù)器又是中心站的核心,所有的數(shù)據(jù)處理、儲存和其他高級功能的實(shí)現(xiàn)都由它完成。

本文通過指出傳統(tǒng)技術(shù)的缺陷引出opc技術(shù),介紹了opc數(shù)據(jù)服務(wù)器程序設(shè)計(jì)的理論基礎(chǔ)和設(shè)計(jì)方法,并給出了opc數(shù)據(jù)服務(wù)器的總體框架以及用wincc作為opc客戶端對opc服務(wù)器進(jìn)行連接和測試的方法。

本文主要介紹了數(shù)據(jù)服務(wù)器的硬件系統(tǒng)設(shè)計(jì)及軟件系統(tǒng)設(shè)計(jì)。本數(shù)據(jù)服務(wù)器是上位機(jī)與現(xiàn)場儀表進(jìn)行數(shù)據(jù)交換的橋梁,上下都采用rs485接口。數(shù)據(jù)服務(wù)器通過人為設(shè)定的采樣周期對現(xiàn)場儀表進(jìn)行采樣,讀回?cái)?shù)據(jù)并以一定的格式進(jìn)行存儲。數(shù)據(jù)服務(wù)器根據(jù)上位機(jī)發(fā)來的命令進(jìn)行相應(yīng)的操作,并返回?cái)?shù)據(jù)給上位機(jī),包括讀取當(dāng)前時間、所連儀表起始地址、單臺或全部儀表的當(dāng)前數(shù)據(jù)、歷史數(shù)據(jù)。

pvfs并行文件系統(tǒng)采用集中式的元數(shù)據(jù)服務(wù)器,這使得元數(shù)據(jù)服務(wù)器在大量的文件操作情況下成為i/o瓶頸。該文通過增強(qiáng)pvfs的客戶端和元數(shù)據(jù)服務(wù)器的相關(guān)功能,使得客戶的文件請求按照文件名的hash變換轉(zhuǎn)向不同的元數(shù)據(jù)服務(wù)器,在保留原來的用戶訪問方式和系統(tǒng)配置不變的情況下實(shí)現(xiàn)元數(shù)據(jù)服務(wù)器的并行化,達(dá)到明顯提高元數(shù)據(jù)服務(wù)器的總吞吐量和可擴(kuò)展性。

針對虛擬測試系統(tǒng)vts(virtualtestsystem)計(jì)算量大、仿真時間長、效率低等問題,提出了基于分布式的虛擬測試系統(tǒng)dvts(distributedvts),介紹了dvts的組成;設(shè)計(jì)了vts數(shù)據(jù)服務(wù)器,實(shí)現(xiàn)了各仿真系統(tǒng)之間數(shù)據(jù)生產(chǎn)者與數(shù)據(jù)消費(fèi)者的分離,使得系統(tǒng)結(jié)構(gòu)靈活擴(kuò)展方便;采用數(shù)據(jù)驅(qū)動模型實(shí)現(xiàn)各仿真系統(tǒng)之間的數(shù)據(jù)交換,優(yōu)化了網(wǎng)絡(luò)的數(shù)據(jù)交換性能。

　介紹opc技術(shù)核心———com技術(shù),分析opc數(shù)據(jù)服務(wù)器技術(shù)及其接口,給出利用dll類型快速開發(fā)工具進(jìn)行opc數(shù)據(jù)服務(wù)器程序開發(fā)的步驟和示例。

結(jié)合opc數(shù)據(jù)服務(wù)器設(shè)計(jì)原型,提出了opc服務(wù)器開發(fā)工具的設(shè)計(jì)方案,給出了開發(fā)工具的接口函數(shù)集合。

提出了基于qt設(shè)計(jì)scada系統(tǒng)數(shù)據(jù)服務(wù)器應(yīng)用軟件的設(shè)計(jì)思想,利用qt具有跨平臺運(yùn)行的特性,可以從根本上解決常規(guī)的數(shù)據(jù)服務(wù)器軟件對異構(gòu)服務(wù)器要編制不同的軟件且軟件開放性較差的問題。具體分析了數(shù)據(jù)服務(wù)器應(yīng)用軟件的功能模塊,并給出了關(guān)鍵模塊用qt的類以及相關(guān)函數(shù)的實(shí)現(xiàn)過程。

介紹了opc技術(shù)產(chǎn)生的背景,通過指出傳統(tǒng)技術(shù)的缺陷引出opc技術(shù),說明了opc技術(shù)的優(yōu)勢所在。接著簡單介紹了opc規(guī)范,并描述了它的主要特點(diǎn)與發(fā)展?fàn)顩r,進(jìn)一步說明了開發(fā)opc應(yīng)用程序的必要性。重點(diǎn)介紹了opc服務(wù)器程序設(shè)計(jì)的理論基礎(chǔ)和設(shè)計(jì)方法,其中包括它的核心技術(shù)comdcom技術(shù)的介紹,opc服務(wù)器程序設(shè)計(jì)總體框架的介紹。最后對opc服務(wù)器開發(fā)方式進(jìn)行了分析與比較,說明了使用atl和mfc開發(fā)com組件的優(yōu)缺點(diǎn)。

用于過程控制的標(biāo)準(zhǔn)數(shù)據(jù)接口(opc)程序開發(fā)的關(guān)鍵之處是總體框架的建立,其框架的實(shí)現(xiàn)可通過微軟提供的開發(fā)com組件的基本工具atl(活動模板庫)來完成。為此介紹和分析了用atl設(shè)計(jì)opc服務(wù)器的一般性方法和設(shè)計(jì)步驟,進(jìn)而介紹了對opc服務(wù)器的測試,并結(jié)合力控組態(tài)軟件對設(shè)計(jì)的opc服務(wù)器的圖形組態(tài)來說明opc服務(wù)器的簡單應(yīng)用。

在大型分布式對象存儲系統(tǒng)中,元數(shù)據(jù)服務(wù)系統(tǒng)是一個潛在的訪問瓶頸.本文提出一種通過分層式文件系統(tǒng)構(gòu)建共享存儲池的采用兩次分布式哈希函數(shù)方式的元數(shù)據(jù)服務(wù)系統(tǒng).其具有不需要人工干預(yù)的故障恢復(fù)性和易擴(kuò)展特性,而且最大程度減少了mds之間大量元數(shù)據(jù)的物理遷移.實(shí)驗(yàn)測試證明系統(tǒng)具有良好的i/o性能.

介紹了數(shù)據(jù)服務(wù)器技術(shù)在旋翼塔測控軟件中的應(yīng)用,重點(diǎn)介紹了各個模塊功能的實(shí)現(xiàn)方案,以及在方案實(shí)施過程中如何解決網(wǎng)絡(luò)堵塞難題的關(guān)鍵技術(shù)。

計(jì)量泵被廣泛應(yīng)用于各種流體工業(yè)中,國內(nèi)外對此的研究多集中于工藝結(jié)構(gòu)改良和機(jī)電一體化系統(tǒng)設(shè)計(jì),而鮮有多泵、泵群遠(yuǎn)程監(jiān)控和協(xié)調(diào)調(diào)度方面的研究。針對實(shí)際工業(yè)中計(jì)量泵通常需要協(xié)同工作的現(xiàn)狀,分析和改進(jìn)了計(jì)量泵網(wǎng)絡(luò)化監(jiān)控方案,使之滿足對大規(guī)模計(jì)量泵群的遠(yuǎn)程監(jiān)控需求;設(shè)計(jì)了一套基于java的專用數(shù)據(jù)服務(wù)器軟件,實(shí)現(xiàn)了監(jiān)控系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)維護(hù);針對數(shù)據(jù)量大引起的系統(tǒng)性能下降問題,結(jié)合環(huán)形緩存機(jī)制提出了一種環(huán)形對象池技術(shù)的設(shè)計(jì)和實(shí)現(xiàn)方案;最后模擬不同的網(wǎng)絡(luò)負(fù)載條件測試了數(shù)據(jù)延時時間。研究結(jié)果表明,服務(wù)器能夠保證數(shù)據(jù)的實(shí)時性,能夠應(yīng)用于大規(guī)模計(jì)量泵群的遠(yuǎn)程監(jiān)控中。

本文分析了plc控制系統(tǒng)集成中存在的一些問題,就此提出了利用opc技術(shù)可以很好的解決此問題。然后對opc數(shù)據(jù)服務(wù)器的結(jié)構(gòu)進(jìn)行了總體的介紹,分析了fx系列plc的串口通信標(biāo)準(zhǔn)并利用wtopcsvr.dll工具包開發(fā)fx系列可編程控制器的opc數(shù)據(jù)服務(wù)器。經(jīng)測試表明:該opc服務(wù)器符合opc規(guī)范,簡化了plc控制系統(tǒng)的集成。

介紹在核能科學(xué)領(lǐng)域,基于linux操作系統(tǒng)的穩(wěn)定的數(shù)據(jù)服務(wù)器的搭建過程。通過安裝和配置linux系統(tǒng)的vsftpd、apachehttp以及openssh服務(wù)軟件包完成對服務(wù)器ftp服務(wù)、web服務(wù)和ssh服務(wù)的搭建,并對過程中需要注意的諸如主機(jī)訪問控制、不同操作系統(tǒng)的字符集編碼轉(zhuǎn)化等問題進(jìn)行分析和解決。