- 相關(guān)推薦
數(shù)據(jù)挖掘論文精選5篇論文
數(shù)據(jù)挖掘論文一：
題目：數(shù)據(jù)挖掘技術(shù)在神經(jīng)根型頸椎病方劑研究中的優(yōu)勢及應(yīng)用進展
關(guān)鍵詞：數(shù)據(jù)挖掘技術(shù); 神經(jīng)根型頸椎病; 方劑; 綜述;
1 數(shù)據(jù)挖掘技術(shù)簡介
數(shù)據(jù)挖掘技術(shù)[1] (Knowledge Discovery in Datebase, KKD) , 是一種新興的信息處理技術(shù), 它融匯了人工智能、模式別、模糊數(shù)學(xué)、數(shù)據(jù)庫、數(shù)理統(tǒng)計等多種技術(shù)方法, 專門用于海量數(shù)據(jù)的處理, 從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)集中, 提取隱含在其中的、人們事先不知道的、但又是潛在的有用的信息和知識, 其目的是發(fā)現(xiàn)規(guī)律而不是驗證假設(shè)。數(shù)據(jù)挖掘技術(shù)主要適用于龐大的數(shù)據(jù)庫的研究, 其特點在于:基于數(shù)據(jù)分析方法角度的分類, 其本質(zhì)屬于觀察性研究, 數(shù)據(jù)來源于日常診療工作資料, 應(yīng)用的技術(shù)較傳統(tǒng)研究更先進, 分析工具、理論模型與傳統(tǒng)研究區(qū)別較大。其操作步驟包括[2]:選擇數(shù)據(jù), 數(shù)據(jù)處理, 挖掘分析, 結(jié)果解釋, 其中結(jié)果解釋是數(shù)據(jù)挖掘技術(shù)研究的關(guān)鍵。其方法包括分類、聚類、關(guān)聯(lián)、序列、決策樹、貝斯網(wǎng)絡(luò)、因子、辨別等分析[3], 其結(jié)果通常表示為概念、規(guī)則、規(guī)律、模式、約束、可視化等形式圖[4]。當(dāng)今數(shù)據(jù)挖掘技術(shù)的方向主要在于:特定數(shù)據(jù)挖掘, 高效挖掘算法, 提高結(jié)果的有效性、確定性和表達性, 結(jié)果的可視化, 多抽象層上的交互式數(shù)據(jù)挖掘, 多元數(shù)據(jù)挖掘及數(shù)據(jù)的安全性和保密性。因其優(yōu)勢和獨特性被運用于多個領(lǐng)域中, 且結(jié)果運用后取得顯著成效, 因此越來越多的中醫(yī)方劑研究者將其運用于方劑中藥物的研究。
2 數(shù)據(jù)挖掘術(shù)在神經(jīng)根型頸椎病治方研究中的優(yōu)勢
中醫(yī)對于神經(jīng)根型頸椎病的治療準則為辨證論治, 從古至今神經(jīng)根型頸椎病的中醫(yī)證型有很多, 其治方是集中醫(yī)之理、法、方、藥為一體的數(shù)據(jù)集合, 具有以“方-藥-證”為核心的多維結(jié)構(gòu)。方劑配伍本質(zhì)上表現(xiàn)為方與方、方與藥、藥與藥、藥與劑量, 以及方藥與證、病、癥交叉錯綜的關(guān)聯(lián)與對應(yīng)[5], 而中醫(yī)方劑講究君臣佐使的配伍, 藥物有升降沉浮, 四氣五味及歸經(jīng)之別, 對于神經(jīng)根型頸椎病的治療, 治方中藥物的種類、炮制方法、用量、用法等都是千變?nèi)f化的, 而這些海量、模糊、看似隨機的藥物背后隱藏著對臨床有用的信息和規(guī)律, 但這些大數(shù)據(jù)是無法在可承受的時間范圍內(nèi)可用常規(guī)軟件工具進行捕捉、管理和處理的, 是需要一個新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力, 而數(shù)據(jù)挖掘技術(shù)有可能從這些海量的的數(shù)據(jù)中發(fā)現(xiàn)新知識, 揭示背后隱藏的關(guān)系和規(guī)則, 并且對未知的情況進行預(yù)測[6]。再者, 中醫(yī)辨治充滿非線性思維, “方-藥-證”間的多層關(guān)聯(lián)、序列組合、集群對應(yīng), 形成了整體論的思維方式和原則, 而數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘在技術(shù)線路上與傳統(tǒng)數(shù)據(jù)處理方法不同在于其能對數(shù)據(jù)庫內(nèi)的數(shù)據(jù)以線性和非線性方式解析, 尤善處理模糊的、非量化的數(shù)據(jù)。例如趙睿曦等[7]在研究張氏骨傷治療腰椎間盤突出癥的用藥規(guī)律時, 選取了100張治方, 因該病病因病機復(fù)雜, 證候不一, 骨傷名師張玉柱先生對該病的治則治法、藥物使用是不同的。因此他們利用Excel建立方證數(shù)據(jù)庫, 采用SPPS Clementine12.0軟件對這些數(shù)據(jù)的用藥頻次、藥物關(guān)聯(lián)規(guī)則及藥物聚類進行分析, 最后總結(jié)出張氏骨傷治療腰椎間盤突出癥遵循病從肝治、病從血治、標(biāo)本兼治的原則, 也歸納出治療三種不同證型的腰突癥的三類自擬方。由此看出數(shù)據(jù)挖掘技術(shù)在方劑研究中的應(yīng)用對數(shù)據(jù)背后信息、規(guī)律等的挖掘及名家經(jīng)驗的推廣具有重大意義, 因此數(shù)據(jù)挖掘技術(shù)在神經(jīng)根型頸椎病的治方研究中也同樣發(fā)揮著巨大的作用。
3 數(shù)據(jù)挖掘技術(shù)在神經(jīng)根型頸椎治方中的應(yīng)用進展
神經(jīng)根型頸椎病在所有頸椎病中最常見, 約占50%~60%[8], 醫(yī)家對其治方的研究也是不計其數(shù)。近年來數(shù)據(jù)挖掘技術(shù)也被運用于其治方研究中, 筆者通過萬方、中國知網(wǎng)等總共檢索出以下幾篇文獻, 雖數(shù)量不多但其優(yōu)勢明顯。劉向前等[9]在挖掘古方治療神經(jīng)根型頸椎病的用藥規(guī)律時, 通過檢索《中華醫(yī)典》并從中篩選以治療頸項肩臂痛為主的古方219首并建立數(shù)據(jù)庫, 對不同證治古方的用藥類別、總味數(shù)、單味藥使用頻數(shù)及藥對 (組) 出現(xiàn)頻數(shù)進行統(tǒng)計, 總結(jié)出風(fēng)寒濕痹證、痰濕阻痹證、寒濕阻滯證、正虛不足證的用藥特點, 得出解表藥、祛風(fēng)濕藥、活血化瘀藥、補虛藥是治療頸項肩臂痛古方組成的主要藥物。古為今用, 該研究對于現(xiàn)代醫(yī)家在治療該病中有很好的借鑒和參考意義。齊兵獻等[10]檢索CNKI (1980-2009年) 相關(guān)文獻中治療神經(jīng)根型頸椎病的方劑建立數(shù)據(jù)庫, 采用SPSS11.5統(tǒng)計軟件這些治方常用藥物使用頻次頻率、性味頻率、歸經(jīng)頻率分析比較, 治療神經(jīng)根型頸椎病的中藥共計99味, 使用頻次479味次;所用藥物種類依次以補益藥、活血化瘀藥、祛風(fēng)濕藥運用最多, 其中藥味以辛、苦為主, 藥性以溫、寒為主, 歸經(jīng)以肝、脾、心為主, 而本病以肝腎虧虛, 氣血瘀滯為主, 臨床以補益藥、活血化瘀藥、祛風(fēng)濕藥等中藥運用最多。這對于醫(yī)家治療該病選用藥物的性味、歸經(jīng)等具有指導(dǎo)意義。陳元川等[11]檢索2004年1月至2013年3月發(fā)表的以單純口服中藥治療神經(jīng)根型頸椎病的有關(guān)文獻, 對其中的方劑和藥物進行統(tǒng)計、歸類、分析, 最終納入32首方劑, 涉及111味中藥, 補氣藥、發(fā)散風(fēng)寒藥、活血止痛藥、補血藥等使用頻次較高;葛根、白芍、黃芪、當(dāng)歸、桂枝等藥物使用頻次較高, 證實與古方桂枝加葛根湯主藥相同, 且該方扶陽解表的治法與該研究得出的扶正祛邪的結(jié)果相吻合, 同時也證實石氏傷科強調(diào)治傷科病當(dāng)“以氣為主, 以血為先”等正確性。所以大數(shù)據(jù)背后的規(guī)律和關(guān)系在很多方面古今是一致的, 同時數(shù)據(jù)依據(jù)的支持也為現(xiàn)代神經(jīng)根型頸椎病治療提供有力的保障。謝輝等[12]收集2009至2014年10月3日的166張治療神經(jīng)根型頸椎病的治方建立數(shù)據(jù)庫, 采用關(guān)聯(lián)規(guī)則算法、復(fù)雜系統(tǒng)熵聚類等無監(jiān)督數(shù)據(jù)挖掘方法, 利用中醫(yī)傳承輔助平臺 (TCMISS) 軟件分析處方中各種藥物的使用頻次、藥物之間的關(guān)聯(lián)規(guī)則、核心藥物組合和新處方, 從中挖掘出治療該病中醫(yī)中的常用藥物、藥對, 闡明了治療該病以解肌散寒藥、補氣活血藥、祛風(fēng)勝濕藥和溫經(jīng)通絡(luò)藥為主, 治法主要包括解肌舒筋、益氣活血和補益肝腎, 這一方面很清晰明了地展示了藥物使用頻率、藥物之間的聯(lián)系, 證實其與很多古代經(jīng)典中治療神經(jīng)根型頸椎病的治則、治法及用藥規(guī)律是吻合的, 是臨床用藥的積累和升華, 可有效地指導(dǎo)臨床并提高療效;另一方面也為中藥新藥的創(chuàng)制提供處方來源, 指導(dǎo)新藥研發(fā)[13]。
4 小結(jié)
數(shù)據(jù)挖掘技術(shù)作為一種新型的研究技術(shù), 在神經(jīng)根型頸椎病的治方研究中的運用相對于其他領(lǐng)域是偏少的, 并且基本上是研究文獻資料上出現(xiàn)的治方, 在對名老中醫(yī)個人治療經(jīng)驗及用藥規(guī)律的總結(jié)是缺乏的, 因此研究范圍廣而缺乏針對性, 同時使用該技術(shù)的相關(guān)軟件種類往往是單一的。現(xiàn)在研究者在研究中醫(yī)方劑時往往采用傳統(tǒng)的研究方法, 這就導(dǎo)致在大數(shù)據(jù)的研究中耗時、耗力甚則無能為力, 同樣也難以精準地提取大數(shù)據(jù)背后的隱藏的潛在關(guān)系和規(guī)則及缺乏對未知情況的預(yù)測。產(chǎn)生這樣的現(xiàn)狀, 一方面是很多研究者尚未清楚該技術(shù)在方劑研究中的優(yōu)勢所在, 思維模式尚未更新;另一方面是很多研究者尚未清楚該技術(shù)的操作技能及軟件種類及其應(yīng)用范圍。故以后應(yīng)向更多研究者普及該技術(shù)的軟件種類、其中的優(yōu)勢及操作技能, 讓該技術(shù)在臨床中使用更廣, 產(chǎn)生更大的效益。
參考文獻
[1]舒正渝.淺談數(shù)據(jù)挖掘技術(shù)及應(yīng)用[J].中國西部科技, 2010, 9 (5) :38-39.
[2]曹毅, 季聰華.臨床科研設(shè)計與分析[M].杭州:浙江科學(xué)技術(shù)出版社, 2015:189.
[3]王靜, 崔蒙.數(shù)據(jù)挖掘技術(shù)在中醫(yī)方劑學(xué)研究中的應(yīng)用[J].中國中醫(yī)藥信息雜志, 2008, 15 (3) :103-104.
[4]陳丈偉.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘[M].北京:清華大學(xué)出版社, 2006:5.
[5]楊玉珠.數(shù)據(jù)挖掘技術(shù)綜述與應(yīng)用[J].河南科技, 2014, 10 (19) :21.
[6]余侃侃.數(shù)據(jù)挖掘技術(shù)在方劑配伍中的研究現(xiàn)狀及研究方法[J].中國醫(yī)藥指南, 2008, 6 (24) :310-312.
[7]趙睿曦.方證數(shù)據(jù)挖掘分析張氏骨傷對腰椎間盤突出癥的辨證用藥規(guī)律[J].陜西中醫(yī)藥大學(xué)學(xué)報, 2016, 39 (6) :44-46.
[8]李曙明, 尹戰(zhàn)海, 王瑩.神經(jīng)根型頸椎病的影像學(xué)特點和分型[J].中國矯形外科雜志, 2013, 21 (1) :7-11.
[9]劉向前, 陳民, 黃廣平等.頸項肩臂痛內(nèi)治古方常用藥物的統(tǒng)計分析[J].中華中醫(yī)藥學(xué)刊, 2012, 30 (9) :42-44.
[10]齊兵獻, 樊成虎, 李兆和.神經(jīng)根型頸椎病中醫(yī)用藥規(guī)律的文獻研究[J].河南中醫(yī), 2012, 32 (4) :518-519.
[11]陳元川, 王翔, 龐堅, 等.單純口服中藥治療神經(jīng)根型頸椎病用藥分析[J].上海中醫(yī)藥雜志, 2014, 48 (6) :78-80.
[12]謝輝, 劉軍, 潘建科, 等.基于數(shù)據(jù)挖掘方法的神經(jīng)根型頸椎病用藥規(guī)律研究[J].世界中西醫(yī)結(jié)合雜志, 2015, 10 (6) :849-852.
[13]唐仕歡, 楊洪軍.中醫(yī)組方用藥規(guī)律研究進展述評[J].中國實驗方劑學(xué)雜志, 2013 (5) :359-363.
數(shù)據(jù)挖掘論文二：
題目：大數(shù)據(jù)挖掘在智游應(yīng)用中的探究
摘要：大數(shù)據(jù)和智游都是當(dāng)下的熱點, 沒有大數(shù)據(jù)的智游無從談“智慧”, 數(shù)據(jù)挖掘是大數(shù)據(jù)應(yīng)用于智游的核心, 文章探究了在智游應(yīng)用中, 目前大數(shù)據(jù)挖掘存在的幾個問題。
關(guān)鍵詞：大數(shù)據(jù); 智游; 數(shù)據(jù)挖掘;
1引言
隨著人民生活水平的進一步提高, 旅游消費的需求進一步上升, 在云計算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及移動智能終端等信息通訊技術(shù)的飛速發(fā)展下, 智游應(yīng)運而生。大數(shù)據(jù)作為當(dāng)下的熱點已經(jīng)成了智游發(fā)展的有力支撐, 沒有大數(shù)據(jù)提供的有利信息, 智游無法變得“智慧”。
2大數(shù)據(jù)與智游
旅游業(yè)是信息密、綜合性強、信息依存度高的產(chǎn)業(yè)[1], 這讓其與大數(shù)據(jù)自然產(chǎn)生了交匯。2010年, 江蘇省鎮(zhèn)江市首先提出“智游”的概念, 雖然至今國內(nèi)外對于智游還沒有一個統(tǒng)一的學(xué)術(shù)定義, 但在與大數(shù)據(jù)相關(guān)的描述中, 有學(xué)者從大數(shù)據(jù)挖掘在智游中的作用出發(fā), 把智游描述為:通過充分收集和管理所有類型和來源的旅游數(shù)據(jù), 并深入挖掘這些數(shù)據(jù)的潛在重要價值信息, 然后利用這些信息為相關(guān)部門或?qū)ο筇峁┓⻊?wù)[2]。這一定義充分肯定了在發(fā)展智游中, 大數(shù)據(jù)挖掘所起的至關(guān)重要的作用, 指出了在智游的過程中, 數(shù)據(jù)的收集、儲存、管理都是為數(shù)據(jù)挖掘服務(wù), 智游最終所需要的是利用挖掘所得的有用信息。
3大數(shù)據(jù)挖掘在智游中存在的問題
2011年, 我國提出用十年時間基本實現(xiàn)智游的目標(biāo)[3], 過去幾年, 國家旅游局的相關(guān)動作均為了實現(xiàn)這一目標(biāo)。但是, 在借助大數(shù)據(jù)推動智游的可持續(xù)性發(fā)展中, 大數(shù)據(jù)所產(chǎn)生的價值卻亟待提高, 原因之一就是在收集、儲存了大量數(shù)據(jù)后, 對它們深入挖掘不夠, 沒有發(fā)掘出數(shù)據(jù)更多的價值。
3.1 信息化建設(shè)
智游的發(fā)展離不開移動網(wǎng)絡(luò)、物聯(lián)網(wǎng)、云平臺。隨著大數(shù)據(jù)的不斷發(fā)展, 國內(nèi)許多景區(qū)已經(jīng)實現(xiàn)Wi-Fi覆蓋, 部分景區(qū)也已實現(xiàn)人與人、人與物、人與景點之間的實時互動, 多省市已建有旅游產(chǎn)業(yè)監(jiān)測平臺或旅游大數(shù)據(jù)中心以及數(shù)據(jù)可視化平臺, 從中進行數(shù)據(jù)統(tǒng)計、行為分析、監(jiān)控預(yù)警、服務(wù)質(zhì)量監(jiān)督等。通過這些平臺, 已基本能掌握跟游客和景點相關(guān)的數(shù)據(jù), 可以實現(xiàn)更好旅游監(jiān)控、產(chǎn)業(yè)宏觀監(jiān)控, 對該地的旅游管理和推廣都能發(fā)揮重要作用。
但從智慧化的發(fā)展來看, 我國的信息化建設(shè)還需加強。雖然通訊網(wǎng)絡(luò)已基本能保證, 但是大部分景區(qū)還無法實現(xiàn)對景區(qū)全面、透徹、及時的感知, 更為困難的是對平臺的建設(shè)。在數(shù)據(jù)共享平臺的建設(shè)上, 除了必備的硬件設(shè)施, 大數(shù)據(jù)實驗平臺還涉及大量部門, 如政府管理部門、氣象部門、交通、電子商務(wù)、旅行社、旅游網(wǎng)站等。如此多的部門相關(guān)聯(lián), 要想建立一個完整全面的大數(shù)據(jù)實驗平臺, 難度可想而知。
3.2 大數(shù)據(jù)挖掘方法
大數(shù)據(jù)時代缺的不是數(shù)據(jù), 而是方法。大數(shù)據(jù)在旅游行業(yè)的應(yīng)用前景非常廣闊, 但是面對大量的數(shù)據(jù), 不懂如何收集有用的數(shù)據(jù)、不懂如何對數(shù)據(jù)進行挖掘和利用, 那么“大數(shù)據(jù)”猶如礦山之中的廢石。旅游行業(yè)所涉及的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù), 通過云計算技術(shù), 對數(shù)據(jù)的收集、存儲都較為容易, 但對數(shù)據(jù)的挖掘分析則還在不斷探索中。大數(shù)據(jù)的挖掘常用的方法有關(guān)聯(lián)分析, 相似度分析, 距離分析, 聚類分析等等, 這些方法從不同的角度對數(shù)據(jù)進行挖掘。其中, 相關(guān)性分析方法通過關(guān)聯(lián)多個數(shù)據(jù)來源, 挖掘數(shù)據(jù)價值。但針對旅游數(shù)據(jù), 采用這些方法挖掘數(shù)據(jù)的價值信息, 難度也很大, 因為旅游數(shù)據(jù)中冗余數(shù)據(jù)很多, 數(shù)據(jù)存在形式很復(fù)雜。在旅游非結(jié)構(gòu)化數(shù)據(jù)中, 一張圖片、一個天氣變化、一次輿情評價等都將會對游客的旅行計劃帶來影響。對這些數(shù)據(jù)完全挖掘分析, 對游客“行前、行中、行后”大數(shù)據(jù)的實時性挖掘都是很大的挑戰(zhàn)。
3.3 數(shù)據(jù)安全
2017年, 數(shù)據(jù)安全事件屢見不鮮, 伴著大數(shù)據(jù)而來的數(shù)據(jù)安全問題日益凸顯出來。在大數(shù)據(jù)時代, 無處不在的數(shù)據(jù)收集技術(shù)使我們的個人信息在所關(guān)聯(lián)的數(shù)據(jù)中心留下痕跡, 如何保證這些信息被合法合理使用, 讓數(shù)據(jù)“可用不可見”[4], 這是亟待解決的問題。同時, 在大數(shù)據(jù)資源的開放性和共享性下, 個人隱私和公民權(quán)益受到嚴重威脅。這一矛盾的存在使數(shù)據(jù)共享程度與數(shù)據(jù)挖掘程度成反比。此外, 經(jīng)過大數(shù)據(jù)技術(shù)的分析、挖掘, 個人隱私更易被發(fā)現(xiàn)和暴露, 從而可能引發(fā)一系列社會問題。
大數(shù)據(jù)背景下的旅游數(shù)據(jù)當(dāng)然也避免不了數(shù)據(jù)的安全問題。如果游客“吃、住、行、游、娛、購”的數(shù)據(jù)被放入數(shù)據(jù)庫, 被完全共享、挖掘、分析, 那游客的人身財產(chǎn)安全將會受到嚴重影響, 最終降低旅游體驗。所以, 數(shù)據(jù)的安全管理是進行大數(shù)據(jù)挖掘的前提。
3.4 大數(shù)據(jù)人才
大數(shù)據(jù)背景下的智游離不開人才的創(chuàng)新活動及技術(shù)支持, 然而與專業(yè)相銜接的大數(shù)據(jù)人才培養(yǎng)未能及時跟上行業(yè)需求, 加之創(chuàng)新型人才的外流, 以及數(shù)據(jù)統(tǒng)計未來3~5年大數(shù)據(jù)行業(yè)將面臨全球性的人才荒, 國內(nèi)智游的構(gòu)建還缺乏大量人才。
4解決思路
在信息化建設(shè)上, 加大政府投入, 加強基礎(chǔ)設(shè)施建設(shè), 整合結(jié)構(gòu)化數(shù)據(jù), 抓取非結(jié)構(gòu)化數(shù)據(jù), 打通各數(shù)據(jù)壁壘, 建設(shè)旅游大數(shù)據(jù)實驗平臺;在挖掘方法上, 對旅游大數(shù)據(jù)實時性數(shù)據(jù)的挖掘應(yīng)該被放在重要位置;在數(shù)據(jù)安全上, 從加強大數(shù)據(jù)安全立法、監(jiān)管執(zhí)法及強化技術(shù)手段建設(shè)等幾個方面著手, 提升大數(shù)據(jù)環(huán)境下數(shù)據(jù)安全保護水平。加強人才的培養(yǎng)與引進, 加強產(chǎn)學(xué)研合作, 培養(yǎng)智游大數(shù)據(jù)人才。
參考文獻
[1]翁凱.大數(shù)據(jù)在智游中的應(yīng)用研究[J].信息技術(shù), 2015, 24:86-87.
[2]梁昌勇, 馬銀超, 路彩虹.大數(shù)據(jù)挖掘, 智游的核心[J].開發(fā)研究, 2015, 5 (180) :134-139.
[3]張建濤, 王洋, 劉力剛.大數(shù)據(jù)背景下智游應(yīng)用模型體系構(gòu)建[J].企業(yè)經(jīng)濟, 2017, 5 (441) :116-123.
[4]王竹欣, 陳湉.保障大數(shù)據(jù), 從哪里入手?[N].人民郵電究, 2017-11-30.
數(shù)據(jù)挖掘論文三：
題目：檔案信息管理系統(tǒng)中的計算機數(shù)據(jù)挖掘技術(shù)探討
摘要：伴隨著計算機技術(shù)的不斷進步和發(fā)展, 數(shù)據(jù)挖掘技術(shù)成為數(shù)據(jù)處理工作中的重點技術(shù), 能借助相關(guān)算法搜索相關(guān)信息, 在節(jié)省人力資本的同時, 提高數(shù)據(jù)檢索的實際效率, 基于此, 被廣泛應(yīng)用在數(shù)據(jù)密集型行業(yè)中。筆者簡要分析了計算機數(shù)據(jù)挖掘技術(shù), 并集中闡釋了檔案信息管理系統(tǒng)計算機數(shù)據(jù)倉庫的建立和技術(shù)實現(xiàn)過程, 以供參考。
關(guān)鍵詞：檔案信息管理系統(tǒng); 計算機; 數(shù)據(jù)挖掘技術(shù); 1 數(shù)據(jù)挖掘技術(shù)概述
數(shù)據(jù)挖掘技術(shù)就是指在大量隨機數(shù)據(jù)中提取隱含信息, 并且將其整合后應(yīng)用在知識處理體系的技術(shù)過程。若是從技術(shù)層面判定數(shù)據(jù)挖掘技術(shù), 則需要將其劃分在商業(yè)數(shù)據(jù)處理技術(shù)中, 整合商業(yè)數(shù)據(jù)提取和轉(zhuǎn)化機制, 并且建構(gòu)更加系統(tǒng)化的分析模型和處理機制, 從根本上優(yōu)化商業(yè)決策。借助數(shù)據(jù)挖掘技術(shù)能建構(gòu)完整的數(shù)據(jù)倉庫, 滿足集成性、時變性以及非易失性等需求, 整和數(shù)據(jù)處理和冗余參數(shù), 確保技術(shù)框架結(jié)構(gòu)的完整性。
目前, 數(shù)據(jù)挖掘技術(shù)常用的工具, 如SAS企業(yè)的Enterprise Miner、IBM企業(yè)的Intellient Miner以及SPSS企業(yè)的Clementine等應(yīng)用都十分廣泛。企業(yè)在實際工作過程中, 往往會利用數(shù)據(jù)源和數(shù)據(jù)預(yù)處理工具進行數(shù)據(jù)定型和更新管理, 并且應(yīng)用聚類分析模塊、決策樹分析模塊以及關(guān)聯(lián)分析算法等, 借助數(shù)據(jù)挖掘技術(shù)對相關(guān)數(shù)據(jù)進行處理。
2 檔案信息管理系統(tǒng)計算機數(shù)據(jù)倉庫的建立
2.1 客戶需求單元
為了充分發(fā)揮檔案信息管理系統(tǒng)的優(yōu)勢, 要結(jié)合客戶的實際需求建立完整的處理框架體系。在數(shù)據(jù)庫體系建立中, 要適應(yīng)迭代式處理特征, 并且從用戶需求出發(fā)整合數(shù)據(jù)模型, 保證其建立過程能按照整體規(guī)劃有序進行, 且能按照目標(biāo)和分析框架參數(shù)完成操作。首先, 要確立基礎(chǔ)性的數(shù)據(jù)倉庫對象, 由于是檔案信息管理, 因此, 要集中劃分檔案數(shù)據(jù)分析的主題, 并且有效錄入檔案信息, 確保滿足檔案的數(shù)據(jù)分析需求。其次, 要對日常工作中的用戶數(shù)據(jù)進行集中的挖掘處理, 從根本上提高數(shù)據(jù)倉庫分析的完整性。
(1) 確定數(shù)據(jù)倉庫的基礎(chǔ)性用戶, 其中, 主要包括檔案工作人員和使用人員, 結(jié)合不同人員的工作需求建立相應(yīng)的數(shù)據(jù)倉庫。
(2) 檔案工作要利用數(shù)據(jù)分析和檔案用戶特征分析進行分類描述。
(3) 確定檔案的基礎(chǔ)性分類主題, 一般而言, 要將文書檔案歸檔情況、卷數(shù)等基礎(chǔ)性信息作為分類依據(jù)。
2.2 數(shù)據(jù)庫設(shè)計單元
在設(shè)計過程中, 要針對不同維度建立相應(yīng)的參數(shù)體系和組成結(jié)構(gòu), 并且有效整合組成事實表的主鍵項目, 建立框架結(jié)構(gòu)。
第一, 建立事實表。事實表是數(shù)據(jù)模型的核心單元, 主要是記錄相關(guān)業(yè)務(wù)和統(tǒng)計數(shù)據(jù)的表, 能整合數(shù)據(jù)倉庫中的信息單元, 并且提升多維空間處理效果, 確保數(shù)據(jù)儲存過程切實有效。 (1) 檔案管理中文書檔案目錄卷數(shù)事實表:事實表主鍵, 字段類型Int, 字段為Id;文書歸檔年份, 字段類型Int, 字段為Gdyear_key;文書歸檔類型, 字段類型Int, 字段為Ajtm_key;文書歸檔單位, 字段類型Int, 字段為Gddw_key;文書檔案生成年份, 字段類型Int, 字段為Ajscsj_key, 以及文書檔案包括的文件數(shù)目。 (2) 檔案管理中文書檔案卷數(shù)事實表:事實表主鍵, 字段類型Int, 字段為Id;文書歸檔利用日期, 字段類型Int, 字段為Date_key;文書歸檔利用單位, 字段類型Int, 字段為Dw_key;文書歸檔利用類別, 字段類型Int, 字段為Dalb_key;文書歸檔利用年份, 字段類型Int, 字段為Dayear_key等[1]。
第二, 建立維度表, 在實際數(shù)據(jù)倉庫建立和運維工作中, 提高數(shù)據(jù)管理效果和水平, 確保建立循環(huán)和反饋的系統(tǒng)框架體系, 并且處理增長過程和完善過程, 有效實現(xiàn)數(shù)據(jù)庫模型設(shè)計以及相關(guān)維護操作。首先, 要對模式的基礎(chǔ)性維度進行分析并且制作相應(yīng)的表, 主要包括檔案年度維表、利用方式維表等。其次, 要建構(gòu)數(shù)據(jù)庫星型模型體系。最后, 要集中判定數(shù)據(jù)庫工具, 保證數(shù)據(jù)庫平臺在客戶管理工作方面具備一定的優(yōu)勢, 集中制訂商務(wù)智能解決方案, 保證集成環(huán)境的穩(wěn)定性和數(shù)據(jù)倉庫建模的效果, 真正提高數(shù)據(jù)抽取以及轉(zhuǎn)換工作的實際水平。需要注意的是, 在全面整合和分析處理數(shù)據(jù)的過程中, 要分離文書檔案中的數(shù)據(jù), 相關(guān)操作如下:
from dag gd temp//刪除臨時表中的數(shù)據(jù)
Ch count=dag 1.importfile (dbo.u wswj) //將文書目錄中數(shù)據(jù)導(dǎo)出到數(shù)據(jù)窗口
Dag 1.() //將數(shù)據(jù)窗口中的數(shù)據(jù)保存到臨時表
相關(guān)技術(shù)人員要對數(shù)據(jù)進行有效處理, 以保證相關(guān)數(shù)據(jù)合并操作、連接操作以及條件性拆分操作等都能按照數(shù)據(jù)預(yù)處理管理要求合理化進行, 從根本上維護數(shù)據(jù)處理效果。
2.3 多維數(shù)據(jù)模型建立單元
在檔案多維數(shù)據(jù)模型建立的過程中, 相關(guān)技術(shù)人員要判定聯(lián)機分析處理項目和數(shù)據(jù)挖掘方案, 整合信息系統(tǒng)中的數(shù)據(jù)源、數(shù)據(jù)視圖、維度參數(shù)以及屬性參數(shù)等, 保證具體單元能發(fā)揮其實際作用, 并且真正發(fā)揮檔案維表的穩(wěn)定性、安全性優(yōu)勢。
第一, 檔案事實表中的數(shù)據(jù)穩(wěn)定, 事實表是加載和處理檔案數(shù)據(jù)的基本模塊, 按照檔案目錄數(shù)據(jù)表和檔案利用情況表分析和判定其類別和歸檔時間, 從而提高數(shù)據(jù)獨立分析水平。一方面, 能追加有效的數(shù)據(jù), 保證數(shù)據(jù)倉庫信息的基本質(zhì)量, 也能追加時間判定標(biāo)準, 能在實際操作中減少掃描整個表浪費的時間, 從根本上提高實際效率。另一方面, 能刪除數(shù)據(jù), 實現(xiàn)數(shù)據(jù)更新, 檢索相關(guān)關(guān)鍵詞即可。并且也能同時修改數(shù)據(jù), 維護檔案撤出和檔案追加的動態(tài)化處理效果。
第二, 檔案維表的安全性。在維表管理工作中, 檔案參數(shù)和數(shù)據(jù)的安全穩(wěn)定性十分關(guān)鍵, 由于其不會隨著時間的推移出現(xiàn)變化, 因此, 要對其進行合理的處理和協(xié)調(diào)。維表本身的存儲空間較小, 盡管結(jié)構(gòu)發(fā)生變化的概率不大, 但仍會對代表的對象產(chǎn)生影響, 這就會使得數(shù)據(jù)出現(xiàn)動態(tài)的變化。對于這種改變, 需要借助新維生成的方式進行處理, 從而保證不同維表能有效連接, 整合正確數(shù)據(jù)的同時, 也能對事實表外鍵進行分析[2]。
3 檔案信息管理系統(tǒng)計算機數(shù)據(jù)倉庫的實現(xiàn)
3.1 描述需求
隨著互聯(lián)網(wǎng)技術(shù)和數(shù)據(jù)庫技術(shù)不斷進步, 要提高檔案數(shù)字化水平以及完善信息化整合機制, 加快數(shù)據(jù)庫管控體系的更新, 確保設(shè)備存儲以及網(wǎng)絡(luò)環(huán)境一體化水平能滿足需求, 尤其是在檔案資源重組和預(yù)測項目中, 只有從根本上落實數(shù)據(jù)挖掘體系, 才能為后續(xù)信息檔案管理項目升級奠定堅實基礎(chǔ)。另外, 在數(shù)據(jù)表和文書等基礎(chǔ)性數(shù)據(jù)結(jié)構(gòu)模型建立的基礎(chǔ)上, 要按照規(guī)律制定具有個性化的主動性服務(wù)機制。
3.2 關(guān)聯(lián)計算
在實際檔案分析工作開展過程中, 關(guān)聯(lián)算法描述十分關(guān)鍵, 能對某些行為特征進行統(tǒng)籌整合, 從而制定分析決策。在進行關(guān)聯(lián)規(guī)則強度分析時, 要結(jié)合支持度和置信度等系統(tǒng)化數(shù)據(jù)進行綜合衡量。例如, 檔案數(shù)據(jù)庫中有A和B兩個基礎(chǔ)項集合, 支持度為P (A∪B) , 則直接表述了A和B在同一時間出現(xiàn)的基礎(chǔ)性概率。若是兩者出現(xiàn)的概率并不大, 則證明兩者之間的關(guān)聯(lián)度較低。若是兩者出現(xiàn)的概率較大, 則說明兩者的關(guān)聯(lián)度較高。另外, 在分析置信度時, 利用Confidence (A→B) = (A|B) , 也能有效判定兩者之間的關(guān)系。在出現(xiàn)置信度A的情況下, B的出現(xiàn)概率則是整體參數(shù)關(guān)系的關(guān)鍵, 若是置信度的數(shù)值達到100%, 則直接證明A和B能同一時間出現(xiàn)。
3.3 神經(jīng)網(wǎng)絡(luò)算法
除了要對檔案的實際內(nèi)容進行數(shù)據(jù)分析和數(shù)據(jù)庫建構(gòu), 也要對其利用情況進行判定, 目前較為常見的利用率分析算法就是神經(jīng)網(wǎng)絡(luò)算法, 其借助數(shù)據(jù)分類系統(tǒng)判定和分析數(shù)據(jù)對象。值得注意的是, 在分類技術(shù)結(jié)構(gòu)中, 要結(jié)合訓(xùn)練數(shù)據(jù)集判定分類模型數(shù)據(jù)挖掘結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)算法類似于人腦系統(tǒng)的運行結(jié)構(gòu), 能建立完整的信息處理單元, 并且能夠整合非線性交換結(jié)構(gòu), 確保能憑借歷史數(shù)據(jù)對計算模型和分類體系展開深度分析[3]。
3.4 實現(xiàn)多元化應(yīng)用
在檔案管理工作中應(yīng)用計算機數(shù)據(jù)挖掘技術(shù), 能對檔案分類管理予以分析, 保證信息需求分類總結(jié)工作的完整程度。尤其是檔案使用者在對檔案具體特征進行差異化分析的過程中, 能結(jié)合不同的元素對具體問題展開深度調(diào)研。一方面, 計算機數(shù)據(jù)挖掘技術(shù)借助決策樹算法處理規(guī)則化的檔案分析機制。在差異化訓(xùn)練體系中, 要對數(shù)據(jù)集合中的數(shù)據(jù)進行系統(tǒng)化分析以及處理, 確保構(gòu)建要求能適應(yīng)數(shù)據(jù)挖掘的基本結(jié)構(gòu)[4]。例如, 檔案管理人員借助數(shù)據(jù)挖掘技術(shù)能整合檔案使用人員長期瀏覽與關(guān)注的信息, 并且能集中收集和匯總間隔時間、信息查詢停留時間等, 從而建構(gòu)完整的數(shù)據(jù)分析機制, 有效向其推送或者是提供便捷化查詢服務(wù), 保證檔案管理數(shù)字化水平的提高。另一方面, 在檔案收集管理工作中應(yīng)用數(shù)據(jù)挖掘技術(shù), 主要是對數(shù)據(jù)信息進行分析, 結(jié)合基本結(jié)果建立概念模型, 保證模型以及測試樣本之間的比較參數(shù)符合標(biāo)準, 從而真正建立更加系統(tǒng)化的分類框架體系。
4 結(jié)語
總而言之, 在檔案管理工作中應(yīng)用數(shù)據(jù)挖掘技術(shù), 能在準確判定用戶需求的同時, 維護數(shù)據(jù)處理效果, 并且減少檔案數(shù)字化的成本, 為后續(xù)工作的進一步優(yōu)化奠定堅實基礎(chǔ)。并且, 數(shù)據(jù)庫的建立, 也能節(jié)省經(jīng)費和設(shè)備維護成本, 真正實現(xiàn)數(shù)字化全面發(fā)展的目標(biāo), 促進檔案信息管理工作的長效進步。
參考文獻
[1]曾雪峰.計算機數(shù)據(jù)挖掘技術(shù)開發(fā)及其在檔案信息管理中的運用研究[J].科技創(chuàng)新與應(yīng)用, 2016 (9) :285.
[2]王曉燕.數(shù)據(jù)挖掘技術(shù)在檔案信息管理中的應(yīng)用[J].蘭臺世界, 2014 (23) :25-26.
[3]韓吉義.基于數(shù)據(jù)挖掘技術(shù)的高校圖書館檔案信息管理平臺的構(gòu)筑[J].山西檔案, 2015 (6) :61-63.
[4]哈立原.基于數(shù)據(jù)挖掘技術(shù)的高校圖書館檔案信息管理平臺構(gòu)建[J].山西檔案, 2016 (5) :105-107.
數(shù)據(jù)挖掘論文四： 題目：機器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用
摘要：隨著科學(xué)技術(shù)的快速發(fā)展, 各種新鮮的事物和理念得到了廣泛的應(yīng)用。其中機器學(xué)習(xí)算法就是一則典型案例——作為一種新型的算法, 其廣泛應(yīng)用于各行各業(yè)之中。本篇論文旨在探討機器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的具體應(yīng)用, 我們利用龐大的移動終端數(shù)據(jù)網(wǎng)絡(luò), 加強了基于GSM網(wǎng)絡(luò)的戶外終端定位, 從而提出了3個階段的定位算法, 有效提高了定位的精準度和速度。
關(guān)鍵詞：學(xué)習(xí)算法; GSM網(wǎng)絡(luò); 定位; 數(shù)據(jù);
移動終端定位技術(shù)由來已久, 其主要是利用各種科學(xué)技術(shù)手段定位移動物體的精準位置以及高度。目前, 移動終端定位技術(shù)主要應(yīng)用于軍事定位、緊急救援、網(wǎng)絡(luò)優(yōu)化、地圖導(dǎo)航等多個現(xiàn)代化的領(lǐng)域, 由于移動終端定位技術(shù)可以提供精準的位置服務(wù)信息, 所以其在市場上還是有較大的需求的, 這也為移動終端定位技術(shù)的優(yōu)化和發(fā)展, 提供了推動力。隨著通信網(wǎng)絡(luò)普及, 移動終端定位技術(shù)的發(fā)展也得到了一些幫助, 使得其定位的精準度和速度都得到了全面的優(yōu)化和提升。同時, 傳統(tǒng)的定位方法結(jié)合先進的算法來進行精準定位, 目前依舊還是有較大的進步空間。在工作中我選取機器學(xué)習(xí)算法結(jié)合數(shù)據(jù)挖掘技術(shù)對傳統(tǒng)定位技術(shù)加以改進, 取得了不錯的效果, 但也遇到了許多問題, 例如:使用機器學(xué)習(xí)算法來進行精準定位暫時無法滿足更大的區(qū)域要求, 還有想要利用較低的設(shè)備成本, 實現(xiàn)得到更多的精準定位的要求比較困難。所以本文對機器學(xué)習(xí)算法進行了深入的研究, 希望能夠幫助其更快速的定位、更精準的定位, 滿足市場的需要。
1 數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘又名數(shù)據(jù)探勘、信息挖掘。它是數(shù)據(jù)庫知識篩選中非常重要的一步。數(shù)據(jù)挖掘其實指的就是在大量的數(shù)據(jù)中通過算法找到有用信息的行為。一般情況下, 數(shù)據(jù)挖掘都會和計算機科學(xué)緊密聯(lián)系在一起, 通過統(tǒng)計集合、在線剖析、檢索篩選、機器學(xué)習(xí)、參數(shù)識別等多種方法來實現(xiàn)最初的目標(biāo)。統(tǒng)計算法和機器學(xué)習(xí)算法是數(shù)據(jù)挖掘算法里面應(yīng)用得比較廣泛的兩類。統(tǒng)計算法依賴于概率分析, 然后進行相關(guān)性判斷, 由此來執(zhí)行運算。
而機器學(xué)習(xí)算法主要依靠人工智能科技, 通過大量的樣本收集、學(xué)習(xí)和訓(xùn)練, 可以自動匹配運算所需的相關(guān)參數(shù)及模式。它綜合了數(shù)學(xué)、物理學(xué)、自動化和計算機科學(xué)等多種學(xué)習(xí)理論, 雖然能夠應(yīng)用的領(lǐng)域和目標(biāo)各不相同, 但是這些算法都可以被獨立使用運算, 當(dāng)然也可以相互幫助, 綜合應(yīng)用, 可以說是一種可以“因時而變”、“因事而變”的算法。在機器學(xué)習(xí)算法的領(lǐng)域, 人工神經(jīng)網(wǎng)絡(luò)是比較重要和常見的一種。因為它的優(yōu)秀的數(shù)據(jù)處理和演練、學(xué)習(xí)的能力較強。
而且對于問題數(shù)據(jù)還可以進行精準的識別與處理分析, 所以應(yīng)用的頻次更多。人工神經(jīng)網(wǎng)絡(luò)依賴于多種多樣的建模模型來進行工作, 由此來滿足不同的數(shù)據(jù)需求。綜合來看, 人工神經(jīng)網(wǎng)絡(luò)的建模, 它的精準度比較高, 綜合表述能力優(yōu)秀, 而且在應(yīng)用的過程中, 不需要依賴專家的輔助力量, 雖然仍有缺陷, 比如在訓(xùn)練數(shù)據(jù)的時候耗時較多, 知識的理解能力還沒有達到智能化的標(biāo)準, 但是, 相對于其他方式而言, 人工神經(jīng)網(wǎng)絡(luò)的優(yōu)勢依舊是比較突出的。
2 以機器學(xué)習(xí)算法為基礎(chǔ)的GSM網(wǎng)絡(luò)定位
2.1 定位問題的建模
建模的過程主要是以支持向量機定位方式作為基礎(chǔ), 把定位的位置柵格化, 面積較小的柵格位置就是獨立的一種類別, 在定位的位置內(nèi), 我們收集數(shù)目龐大的終端測量數(shù)據(jù), 然后利用計算機對測量報告進行分析處理, 測量柵格的距離度量和精準度, 然后對移動終端柵格進行預(yù)估判斷, 最終利用機器學(xué)習(xí)進行分析求解。
2.2 采集數(shù)據(jù)和預(yù)處理
本次研究, 我們采用的模型對象是我國某一個周邊長達10千米的二線城市。在該城市區(qū)域內(nèi), 我們測量了四個不同時間段內(nèi)的數(shù)據(jù), 為了保證機器學(xué)習(xí)算法定位的精準性和有效性, 我們把其中的三批數(shù)據(jù)作為訓(xùn)練數(shù)據(jù), 最后一組數(shù)據(jù)作為定位數(shù)據(jù), 然后把定位數(shù)據(jù)周邊十米內(nèi)的前三組訓(xùn)練數(shù)據(jù)的相關(guān)信息進行清除。一旦確定某一待定位數(shù)據(jù), 就要在不同的時間內(nèi)進行測量, 按照測量出的數(shù)據(jù)信息的經(jīng)緯度和平均值, 再進行換算, 最終, 得到真實的數(shù)據(jù)量, 提升定位的速度以及有效程度。
2.3 以基站的經(jīng)緯度為基礎(chǔ)的初步定位
用機器學(xué)習(xí)算法來進行移動終端定位, 其復(fù)雜性也是比較大的, 一旦區(qū)域面積增加, 那么模型和分類也相應(yīng)增加, 而且更加復(fù)雜, 所以, 利用機器學(xué)習(xí)算法來進行移動終端定位的過程, 會隨著定位區(qū)域面積的增大, 而耗費更多的時間。利用基站的經(jīng)緯度作為基礎(chǔ)來進行早期的定位, 則需要以下幾個步驟:要將邊長為十千米的正方形分割成一千米的小柵格, 如果想要定位數(shù)據(jù)集內(nèi)的相關(guān)信息, 就要選擇對邊長是一千米的小柵格進行計算, 而如果是想要獲得邊長一千米的大柵格, 就要對邊長是一千米的柵格精心計算。
2.4 以向量機為基礎(chǔ)的二次定位
在完成初步定位工作后, 要確定一個邊長為兩千米的正方形, 由于第一級支持向量機定位的區(qū)域是四百米, 定位輸出的是以一百米柵格作為中心點的經(jīng)緯度數(shù)據(jù)信息, 相對于一級向量機的定位而言, 二級向量機在定位計算的時候難度是較低的, 更加簡便。后期的預(yù)算主要依賴決策函數(shù)計算和樣本向量機計算。隨著柵格的變小, 定位的精準度將越來越高, 而由于增加分類的問題數(shù)量是上升的, 所以, 定位的復(fù)雜度也是相對增加的。
2.5 以K-近鄰法為基礎(chǔ)的三次定位
第一步要做的就是選定需要定位的區(qū)域面積, 在二次輸出之后, 確定其經(jīng)緯度, 然后依賴經(jīng)緯度來確定邊長面積, 這些都是進行區(qū)域定位的基礎(chǔ)性工作, 緊接著就是定位模型的訓(xùn)練。以K-近鄰法為基礎(chǔ)的三次定位需要的是綜合訓(xùn)練信息數(shù)據(jù), 對于這些信息數(shù)據(jù), 要以大小為選擇依據(jù)進行篩選和合并, 這樣就能夠減少計算的重復(fù)性。當(dāng)然了, 選擇的區(qū)域面積越大, 其定位的速度和精準性也就越低。
3 結(jié)語
近年來, 隨著我國科學(xué)技術(shù)的不斷發(fā)展和進步, 數(shù)據(jù)挖掘技術(shù)愈加重要。根據(jù)上面的研究, 我們證明了, 在數(shù)據(jù)挖掘的過程中, 應(yīng)用機器學(xué)習(xí)算法具有舉足輕重的作用。作為一門多領(lǐng)域互相交叉的知識學(xué)科, 它能夠幫助我們提升定位的精準度以及定位速度, 可以被廣泛的應(yīng)用于各行各業(yè)。所以, 對于機器學(xué)習(xí)算法, 相關(guān)人員要加以重視, 不斷的進行改良以及改善, 切實的發(fā)揮其有利的方面, 將其廣泛應(yīng)用于智能定位的各個領(lǐng)域, 幫助我們解決關(guān)于戶外移動終端的定位的問題。
參考文獻
[1]陳小燕, CHENXiaoyan.機器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用[J].現(xiàn)代電子技術(shù), 2015, v.38;No.451 (20) :11-14.
[2]李運.機器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用[D].北京郵電大學(xué), 2014.
[3]莫雪峰.機器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用[J].科教文匯, 2016 (07) :175-178.
數(shù)據(jù)挖掘論文五： 題目：軟件工程數(shù)據(jù)挖掘研究進展
摘要：數(shù)據(jù)挖掘是指在大數(shù)據(jù)中開發(fā)出有價值信息數(shù)據(jù)的過程。計算機技術(shù)的不斷進步, 通過人工的方式進行軟件的開發(fā)與維護難度較大。而數(shù)據(jù)挖掘能夠有效的提升軟件開發(fā)的效率, 并能夠在大量的數(shù)據(jù)中獲得有效的數(shù)據(jù)。文章主要探究軟件工程中數(shù)據(jù)挖掘技術(shù)的任務(wù)和存在的問題, 并重點論述軟件開發(fā)過程中出現(xiàn)的問題和相關(guān)的解決措施。
關(guān)鍵詞：軟件工程; 數(shù)據(jù)挖掘; 解決措施;
在軟件開發(fā)過程中, 為了能夠獲得更加準確的數(shù)據(jù)資源, 軟件的研發(fā)人員就需要搜集和整理數(shù)據(jù)。但是在大數(shù)據(jù)時代, 人工獲取數(shù)據(jù)信息的難度極大。當(dāng)前, 軟件工程中運用最多的就是數(shù)據(jù)挖掘技術(shù)。軟件挖掘技術(shù)是傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在軟件工程方向的其中一部分。但是它具有自身的特征, 體現(xiàn)在以下三個方面:
(1) 在軟件工程中, 對有效數(shù)據(jù)的挖掘和處理;
(2) 挖掘數(shù)據(jù)算法的選擇問題;
(3) 軟件的開發(fā)者該如何選擇數(shù)據(jù)。
1 在軟件工程中數(shù)據(jù)挖掘的主要任務(wù)
在數(shù)據(jù)挖掘技術(shù)中, 軟件工程數(shù)據(jù)挖掘是其中之一, 其挖掘的過程與傳統(tǒng)數(shù)據(jù)的挖掘無異。通常包括三個階段:第一階段, 數(shù)據(jù)的預(yù)處理;第二階段, 數(shù)據(jù)的挖掘;第三階段, 對結(jié)果的評估。第一階段的主要任務(wù)有對數(shù)據(jù)的分類、對異常數(shù)據(jù)的檢測以及整理和提取復(fù)雜信息等。雖然軟件工程的數(shù)據(jù)挖掘和傳統(tǒng)的數(shù)據(jù)挖掘存在相似性, 但是也存在一定的差異, 其主要體現(xiàn)在以下三個方面:
1.1 軟件工程的數(shù)據(jù)更加復(fù)雜
軟件工程數(shù)據(jù)主要包括兩種, 一種是軟件報告, 另外一種是軟件的版本信息。當(dāng)然還包括一些軟件代碼和注釋在內(nèi)的非結(jié)構(gòu)化數(shù)據(jù)信息。這兩種軟件工程數(shù)據(jù)的算法是不同的, 但是兩者之間又有一定的聯(lián)系, 這也是軟件工程數(shù)據(jù)挖掘復(fù)雜性的重要原因。
1.2 數(shù)據(jù)分析結(jié)果的表現(xiàn)更加特殊
傳統(tǒng)的數(shù)據(jù)挖掘結(jié)果可以通過很多種結(jié)果展示出來, 最常見的有報表和文字的方式。但是對于軟件工程的數(shù)據(jù)挖掘來講, 它最主要的職能是給軟件的研發(fā)人員提供更加精準的案例, 軟件漏洞的實際定位以及設(shè)計構(gòu)造方面的信息, 同時也包括數(shù)據(jù)挖掘的統(tǒng)計結(jié)果。所以這就要求軟件工程的數(shù)據(jù)挖掘需要更加先進的結(jié)果提交方式和途徑。
1.3 對數(shù)據(jù)挖掘結(jié)果難以達成一致的評價
我國傳統(tǒng)的數(shù)據(jù)挖掘已經(jīng)初步形成統(tǒng)一的評價標(biāo)準, 而且評價體系相對成熟。但是軟件工程的數(shù)據(jù)挖掘過程中, 研發(fā)人員需要更多復(fù)雜而又具體的數(shù)據(jù)信息, 所以數(shù)據(jù)的表示方法也相對多樣化, 數(shù)據(jù)之間難以進行對比, 所以也就難以達成一致的評價標(biāo)準和結(jié)果。不難看出, 軟件工程數(shù)據(jù)挖掘的關(guān)鍵在于對挖掘數(shù)據(jù)的預(yù)處理和對數(shù)據(jù)結(jié)果的表示方法。
2 軟件工程研發(fā)階段出現(xiàn)的問題和解決措施
軟件在研發(fā)階段主要的任務(wù)是對軟件運行程序的編寫。以下是軟件在編碼和結(jié)果的提交過程中出現(xiàn)的問題和相應(yīng)的解決措施。
2.1 對軟件代碼的編寫過程
該過程需要軟件的研發(fā)人員能夠?qū)ψ约盒枰帉懙拇a結(jié)構(gòu)與功能有充分的了解和認識。并能夠依據(jù)自身掌握的信息, 在數(shù)據(jù)庫中搜集到可以使用的數(shù)據(jù)信息。通常情況下, 編程需要的數(shù)據(jù)信息可以分為三個方面:
(1) 軟件的研發(fā)人員能夠在已經(jīng)存在的代碼中搜集可以重新使用的代碼;
(2) 軟件的研發(fā)人員可以搜尋可以重用的靜態(tài)規(guī)則, 比如繼承關(guān)系等。
(3) 軟件的開發(fā)人員搜尋可以重用的動態(tài)規(guī)則。
包括軟件的接口調(diào)用順序等。在尋找以上信息的過程中, 通常是利用軟件的幫助文檔、尋求外界幫助和搜集代碼的方式實現(xiàn), 但是以上方式在搜集信息過程中往往會遇到較多的問題, 比如:幫助文檔的準確性較低, 同時不夠完整, 可利用的重用信息不多等。
2.2 對軟件代碼的重用
在對軟件代碼重用過程中, 最關(guān)鍵的問題是軟件的研發(fā)人員必須掌握需要的類或方法, 并能夠通過與之有聯(lián)系的代碼實現(xiàn)代碼的重用。但是這種方式哦足跡信息將會耗費工作人員大量的精力。而通過關(guān)鍵詞在代碼庫中搜集可重用的軟件代碼, 同時按照代碼的相關(guān)度對搜集到的代碼進行排序, 該過程使用的原理就是可重用的代碼必然模式基本類似, 最終所展現(xiàn)出來的搜索結(jié)果是以上下文結(jié)構(gòu)的方式展現(xiàn)的。比如:類與類之間的聯(lián)系。其實現(xiàn)的具體流程如下:
(1) 軟件的開發(fā)人員創(chuàng)建同時具備例程和上下文架構(gòu)的代碼庫;
(2) 軟件的研發(fā)人員能夠向代碼庫提供類的相關(guān)信息, 然后對反饋的結(jié)果進行評估, 創(chuàng)建新型的代碼庫。
(3) 未來的研發(fā)人員在搜集過程中能夠按照評估結(jié)果的高低排序, 便于查詢, 極大地縮減工作人員的任務(wù)量, 提升其工作效率。
2.3 對動態(tài)規(guī)則的重用
軟件工程領(lǐng)域內(nèi)對動態(tài)規(guī)則重用的研究已經(jīng)相對成熟, 通過在編譯器內(nèi)安裝特定插件的方式檢驗代碼是否為動態(tài)規(guī)則最適用的, 并能夠?qū)⒉贿m合的規(guī)則反饋給軟件的研發(fā)人員。其操作流程為:
(1) 軟件的研發(fā)人員能夠規(guī)定動態(tài)規(guī)則的順序, 主要表現(xiàn)在:使用某一函數(shù)是不能夠調(diào)用其他的函數(shù)。
(2) 實現(xiàn)對相關(guān)數(shù)據(jù)的保存, 可以通過隊列等簡單的數(shù)據(jù)結(jié)構(gòu)完成。在利用編譯拓展中檢測其中的順序。
(3) 能夠?qū)㈠e誤的信息反饋給軟件的研發(fā)人員。
3 結(jié)束語
在軟件工程的數(shù)據(jù)挖掘過程中, 數(shù)據(jù)挖掘的概念才逐步被定義, 但是所需要挖掘的數(shù)據(jù)是已經(jīng)存在的。數(shù)據(jù)挖掘技術(shù)在軟件工程中的運用能夠降低研發(fā)人員的工作量, 同時軟件工程與數(shù)據(jù)挖掘的結(jié)合是計算機技術(shù)必然的發(fā)展方向。從數(shù)據(jù)挖掘的過程來講, 在其整個實施過程和周期中都包括軟件工程。而對數(shù)據(jù)挖掘的技術(shù)手段來講, 它在軟件工程中的運用更加普遍。在對數(shù)據(jù)挖掘技術(shù)的研究過程中可以發(fā)現(xiàn), 該技術(shù)雖然已經(jīng)獲得一定的效果, 但是還有更多未被挖掘的空間, 還需要進一步的研究和發(fā)現(xiàn)。
參考文獻
[1]王藝蓉.試析面向軟件工程數(shù)據(jù)挖掘的開發(fā)測試技術(shù)[J].電子技術(shù)與軟件工程, 2017 (18) :64.
[2]吳彥博.軟件工程中數(shù)據(jù)挖掘技術(shù)的運用探索[J].數(shù)字通信世界, 2017 (09) :187.
[3]周雨辰.數(shù)據(jù)挖掘技術(shù)在軟件工程中的應(yīng)用研究[J].電腦迷, 2017 (08) :27-28.
[4]劉桂林.分析軟件工程中數(shù)據(jù)挖掘技術(shù)的應(yīng)用方式[J].中國新通信, 2017, 19 (13) :119.
【數(shù)據(jù)挖掘論文論文】相關(guān)文章：
數(shù)據(jù)挖掘論文07-16
數(shù)據(jù)挖掘論文錦集15篇07-29
基于數(shù)據(jù)挖掘的高校教務(wù)系統(tǒng)設(shè)計論文09-02
大數(shù)據(jù)挖掘在智游應(yīng)用中的探究論文01-13