關(guān)于搜索引擎的研究論文
摘要：搜索引擎的出現(xiàn)， 把互聯(lián)網(wǎng)產(chǎn)品的技術(shù)水平提高到了一個(gè)新的高度。本文首先介紹搜索引擎技術(shù)的發(fā)展歷程， 其次簡(jiǎn)要介紹了搜索引擎關(guān)鍵技術(shù)和產(chǎn)品；隨著移動(dòng)終端智能化和互聯(lián)網(wǎng)用戶個(gè)性化以及社交化為中心的融合趨勢(shì)下的發(fā)展， 催生了很多新型應(yīng)用。結(jié)合目前管理信息系統(tǒng)互聯(lián)網(wǎng)化的發(fā)展方向， 詳細(xì)介紹了搜索引擎在管理信息系統(tǒng)中的一整套應(yīng)用案例。
關(guān)鍵詞：搜索引擎； 搜索引擎技術(shù)； 搜索引擎產(chǎn)品； 搜索引擎在管理信息系統(tǒng)中案例； 搜索引擎發(fā)展趨勢(shì)；
Discussion on search engine
Abstract:The emergence of search engine takes the Internet product technology to a new level. This article first introduces the development of search engine technology, then introduces search engine's key technologies and products.With the intelligent mobile terminals, services users personalized services, and social network integration as the center of the trend, a lot of new applications have emerged. Combined with the development direction of the current management MIS system, this article introduces the application case of search engine in MIS system.
Keyword:search engine; search engine technology; search engine product; search engine in management information system case; search engine development trend;
1、引言
搜索引擎的誕生源自互聯(lián)網(wǎng)最根本的用途之一：信息獲取。
在搜索引擎出現(xiàn)之前， 互聯(lián)網(wǎng)缺少入口， 用戶往往需要自己記住有用的網(wǎng)站和網(wǎng)頁(yè)。為了滿足這種需求， 最早的“搜索引擎”, 即分類(lèi)目錄瀏覽式的引擎便出現(xiàn)了， Yahoo就是其中的代表。最初只是采用把一些有用的網(wǎng)站通過(guò)分類(lèi)的方式手工組織起來(lái)， 便于用戶找到有用的信息。能夠手工組織也是基于早年整個(gè)互聯(lián)網(wǎng)的網(wǎng)站數(shù)量也非常少， 可以通過(guò)人工方式實(shí)現(xiàn)組織。
隨著互聯(lián)網(wǎng)的壯大， 網(wǎng)頁(yè)網(wǎng)站數(shù)量越來(lái)越多， 手工組織的方式變?yōu)椴豢尚校?于是由機(jī)器實(shí)現(xiàn)的全文檢索引擎便出現(xiàn)了。用戶可以通過(guò)關(guān)鍵字查詢來(lái)獲取相關(guān)的網(wǎng)頁(yè)。又隨著網(wǎng)頁(yè)數(shù)量的不斷增多， 任何關(guān)鍵字查詢都會(huì)返回大量的相關(guān)網(wǎng)頁(yè)， 如果對(duì)網(wǎng)頁(yè)進(jìn)行評(píng)分和排序， 返回給用戶真正有價(jià)值的網(wǎng)頁(yè)便成為重點(diǎn)。基于網(wǎng)頁(yè)之間的鏈接關(guān)系為網(wǎng)頁(yè)進(jìn)行評(píng)分， 成為很多搜索引擎的網(wǎng)頁(yè)排序算法基礎(chǔ)， Google的Page Rank算法便是其中的代表者。
Google也以此為基礎(chǔ)成為搜索引擎產(chǎn)品中的領(lǐng)先者， 為用戶提供了更好的搜索結(jié)果相關(guān)性。現(xiàn)代搜索引擎基本上也由此基本成型， 雖然后來(lái)的技術(shù)創(chuàng)新和改進(jìn)很多， 但主要的思路基本上沒(méi)有變。
搜索引擎發(fā)展到今天， 基礎(chǔ)架構(gòu)和算法在技術(shù)上都已經(jīng)基本成型和成熟。搜索引擎已經(jīng)發(fā)展成為根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息， 在對(duì)信息進(jìn)行組織和處理后， 為用戶提供檢索服務(wù)， 將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。
2、搜索引擎技術(shù)
搜索引擎所涉及和涵蓋的技術(shù)范圍非常廣， 涉及到了系統(tǒng)架構(gòu)和算法設(shè)計(jì)等許多方面。可以說(shuō)由于搜索引擎的出現(xiàn)， 把互聯(lián)網(wǎng)產(chǎn)品的技術(shù)水平提高到了一個(gè)新的高度；搜索引擎無(wú)論是在數(shù)據(jù)和系統(tǒng)規(guī)模， 還是在算法技術(shù)的研究應(yīng)用深度上， 都遠(yuǎn)超之前簡(jiǎn)單的互聯(lián)網(wǎng)產(chǎn)品。
搜索引擎涉及的關(guān)鍵技術(shù)點(diǎn)包含：爬蟲(chóng) （Crawling） 、索引結(jié)構(gòu) （Inverted Index） 、檢索模型 （VSM&TF-IDF） 、搜索排序 （Relevance Ranking&Evaluation） 、鏈接分析 （Link Analysis） 、分類(lèi) （Document&Query Classification） 、自然語(yǔ)言處理 （NLP:Tokenization, Lemmatization, POS Tagging, NER, etc.） 、分布式系統(tǒng) （Distributed Processing&Storage） .
雖然搜索引擎涉及的技術(shù)方方面面， 但歸結(jié)起來(lái)最關(guān)鍵的幾點(diǎn)在于：
●系統(tǒng)：大規(guī)模分布式系統(tǒng)， 支撐大規(guī)模的數(shù)據(jù)處理容量和在線查詢負(fù)載。
●數(shù)據(jù)：數(shù)據(jù)處理和挖掘能力。
●算法：搜索相關(guān)性排序、查詢分析、分類(lèi)等。
由此可見(jiàn)搜索引擎系統(tǒng)是一個(gè)由許多模塊組成的復(fù)雜系統(tǒng)， 核心模塊通常包括爬蟲(chóng)、索引、檢索和排序， 除了必需的核心模塊之外， 通常還需要一些支持輔助模塊， 常見(jiàn)的有鏈接分析、去重、反垃圾、查詢分析等。搜索引擎中各關(guān)鍵功能模塊功能簡(jiǎn)介如下：
（1） 爬蟲(chóng)：從互聯(lián)網(wǎng)爬取原始網(wǎng)頁(yè)數(shù)據(jù)， 存儲(chǔ)于文檔知識(shí)庫(kù)服務(wù)器。
（2） 文檔知識(shí)庫(kù)服務(wù)器：存儲(chǔ)原始網(wǎng)頁(yè)數(shù)據(jù)， 通常是分布式Key-Value數(shù)據(jù)庫(kù)， 能根據(jù)URL/UID快速獲取網(wǎng)頁(yè)內(nèi)容。
（3） 索引：讀取原始網(wǎng)頁(yè)數(shù)據(jù)， 解析網(wǎng)頁(yè)， 抽取有效字段， 生成索引數(shù)據(jù)。索引數(shù)據(jù)的生成方式通常是增量的， 分塊/分片的， 并會(huì)進(jìn)行索引合并、優(yōu)化和刪除。生成的索引數(shù)據(jù)通常包括：字典數(shù)據(jù)、倒排表、正排表、文檔屬性等。生成的索引存儲(chǔ)于索引服務(wù)器。
（4） 索引服務(wù)器：存儲(chǔ)索引數(shù)據(jù)， 主要是倒排表， 通常是分塊、分片存儲(chǔ)， 并支持增量更新和刪除。數(shù)據(jù)內(nèi)容量非常大時(shí)， 還根據(jù)類(lèi)別、主題、時(shí)間、網(wǎng)頁(yè)質(zhì)量劃分?jǐn)?shù)據(jù)分區(qū)和分布， 更好地服務(wù)在線查詢。
（5） 檢索：讀取倒排表索引， 響應(yīng)前端查詢請(qǐng)求， 返回相關(guān)文檔列表數(shù)據(jù)。
（6） 排序：對(duì)檢索器返回的文檔列表進(jìn)行排序， 基于文檔和查詢的相關(guān)性、文檔的鏈接權(quán)重等屬性。
（7） 鏈接分析：收集各網(wǎng)頁(yè)的鏈接數(shù)據(jù)和錨文本 （Anchor Text） , 以此計(jì)算各網(wǎng)頁(yè)鏈接評(píng)分， 最終會(huì)作為網(wǎng)頁(yè)屬性參與返回結(jié)果排序。
（8） 網(wǎng)頁(yè)去重：提取各網(wǎng)頁(yè)的相關(guān)特征屬性， 計(jì)算相似網(wǎng)頁(yè)組， 提供離線索引和在線查詢的去重服務(wù)。
（9） 網(wǎng)頁(yè)反垃圾：收集各網(wǎng)頁(yè)和網(wǎng)站歷史信息， 提取垃圾網(wǎng)頁(yè)特征， 從而對(duì)在線索引中的網(wǎng)頁(yè)進(jìn)行判定， 去除垃圾網(wǎng)頁(yè)。
（10） 查詢分析：分析用戶查詢， 生成結(jié)構(gòu)化查詢請(qǐng)求， 指派到相應(yīng)的類(lèi)別、主題數(shù)據(jù)服務(wù)器進(jìn)行查詢。
（11） 頁(yè)面描述/摘要：為檢索和排序完成的網(wǎng)頁(yè)列表提供相應(yīng)的描述和摘要。
（12） 前端：接受用戶請(qǐng)求， 分發(fā)至相應(yīng)服務(wù)器， 返回查詢結(jié)果。
3、搜索引擎產(chǎn)品介紹
搜索引擎產(chǎn)品其實(shí)包括很多種類(lèi)， 并不限于我們最熟悉的全網(wǎng)搜索引擎。具體包含如下幾種：
●全網(wǎng)搜索：包括市場(chǎng)份額最高的幾大搜索引擎巨頭， 如Google、Yahoo、Bing.
●中文搜索：在中文搜索市場(chǎng)中， 百度一家獨(dú)大， 其他幾家如搜狗、搜搜、有道的市場(chǎng)份額相對(duì)還比較小。全網(wǎng)搜索和中文搜索屬于傳統(tǒng)的搜索引擎， 它們經(jīng)過(guò)了十幾年的發(fā)展， 目前在技術(shù)和產(chǎn)品上都已走向逐漸穩(wěn)定和成熟， 通用搜索的市場(chǎng)也基本進(jìn)入飽和， 不像早些年一直呈現(xiàn)高增長(zhǎng)率。
●垂直搜索：傳統(tǒng)搜索引擎穩(wěn)定成熟的同時(shí)， 在各個(gè)垂直領(lǐng)域， 也出現(xiàn)了很多和產(chǎn)品結(jié)合得很好的垂直搜索產(chǎn)品， 比如淘寶的購(gòu)物搜索、大眾點(diǎn)評(píng)的美食搜索、去哪兒和酷訊的旅游搜索等， 也都在各自領(lǐng)域占據(jù)了相當(dāng)大的市場(chǎng)， 成為除了通用搜索引擎之外的重要的用戶入口。
●問(wèn)答搜索：專(zhuān)注于為問(wèn)句式提供有效的答案， 比如Ask.com;其他的如問(wèn)答社區(qū)像Quora和國(guó)內(nèi)的知乎， 應(yīng)該也會(huì)往這方面發(fā)展。
●知識(shí)搜索：典型代表就是Wolfram Alpha, 區(qū)別于提供搜索結(jié)果列表， 它會(huì)針對(duì)查詢提供更詳細(xì)的整合信息。
●云搜索平臺(tái)：為其他產(chǎn)品和應(yīng)用提供搜索服務(wù)托管平臺(tái) （Saa S或是Paa S） , Amazon剛剛推出它的Cloud Search, Index Tank在被Linkedin收購(gòu)之前也是做這項(xiàng)服務(wù)的。
●其他：比如Duck Duck Go, 主打隱私保護(hù)， 也有部分用戶買(mǎi)賬。
各種搜索產(chǎn)品在各自領(lǐng)域都需要解決特定的技術(shù)和業(yè)務(wù)問(wèn)題， 所以也可以建立相對(duì)通用搜索的優(yōu)勢(shì)， 來(lái)得到自己的市場(chǎng)和用戶。在開(kāi)源領(lǐng)域， 各種開(kāi)源產(chǎn)品和解決方案也逐漸發(fā)展成熟， 通用搜索技術(shù)不再為大公司所專(zhuān)有， 中小企業(yè)能夠以較低的成本實(shí)現(xiàn)自己的搜索應(yīng)用。現(xiàn)在搜索引擎產(chǎn)品之間的競(jìng)爭(zhēng)更多的在數(shù)據(jù)、應(yīng)用方式和產(chǎn)品形態(tài)上， 在系統(tǒng)架構(gòu)和基本算法上區(qū)分并不大。
搜索引擎在未來(lái)發(fā)展上， 一是搜索將不僅僅以獨(dú)立產(chǎn)品的形式出現(xiàn)， 更多的會(huì)作為搜索功能整合到更多的產(chǎn)品和應(yīng)用中。在產(chǎn)品形態(tài)上， 基于傳統(tǒng)的搜索引擎， 會(huì)演化出像推薦引擎、知識(shí)引擎、決策引擎等形式的產(chǎn)品， 更好地滿足和服務(wù)用戶需求。而搜索引擎所涉及和發(fā)展起來(lái)的各種技術(shù)， 會(huì)更廣泛地應(yīng)用到各種其他產(chǎn)品上， 比如自然語(yǔ)言處理、推薦和廣告、數(shù)據(jù)挖掘等。
總之， 搜索引擎對(duì)互聯(lián)網(wǎng)技術(shù)和產(chǎn)品帶來(lái)的影響是巨大的`， 未來(lái)也仍將有很大的發(fā)展和應(yīng)用空間。
4、搜索引擎未來(lái)發(fā)展的趨勢(shì)
搜索引擎的快速發(fā)展就是近15年發(fā)生的， 這與互聯(lián)網(wǎng)的發(fā)展趨勢(shì)密切相關(guān)。最近幾年， 互聯(lián)網(wǎng)在經(jīng)過(guò)了Web2.0的市場(chǎng)培育階段后， 迎來(lái)了以互聯(lián)網(wǎng)用戶的個(gè)性化和社交化為中心的趨勢(shì)。同時(shí)， 移動(dòng)設(shè)備的逐漸流行及兩大趨勢(shì)的融合， 催生了很多新型應(yīng)用， 為了迎接和順應(yīng)這種趨勢(shì)， 對(duì)搜索引擎來(lái)說(shuō)， 也產(chǎn)生了新的挑戰(zhàn)。
（1） 社會(huì)化搜索
隨著Facebook的流行， 社交網(wǎng)絡(luò)平臺(tái)和應(yīng)用占據(jù)了互聯(lián)網(wǎng)的主流， 社交網(wǎng)絡(luò)平臺(tái)強(qiáng)調(diào)用戶之間的聯(lián)系和交互， 這對(duì)傳統(tǒng)的搜索技術(shù)提出了新的挑戰(zhàn)。
傳統(tǒng)搜索技術(shù)強(qiáng)調(diào)搜索結(jié)果和用戶需求的相關(guān)性， 社會(huì)化搜索除了相關(guān)性外， 還額外增加了一個(gè)維度， 即搜索結(jié)果的可信賴性。對(duì)某個(gè)搜索結(jié)果， 傳統(tǒng)的結(jié)果可能成千上萬(wàn)， 但如果處于用戶社交網(wǎng)絡(luò)內(nèi)其他用戶發(fā)布的信息、點(diǎn)評(píng)或驗(yàn)證過(guò)的信息則更容易信賴， 這是與用戶的心里密切相關(guān)的。社會(huì)化搜索為用戶提供更準(zhǔn)確、更值得信任的搜索結(jié)果。
國(guó)外的Dogpile等元搜索引擎能夠得到發(fā)展和壯大， 主要得益于國(guó)外傳統(tǒng)搜索過(guò)多， 并且企業(yè)實(shí)現(xiàn)共贏的理念， 但在國(guó)人思考的是如何把所有資源都掌握在自己手中， 百度、Google、Yahoo是不會(huì)看著自己在未來(lái)發(fā)展中落伍， 成為跟潮人， 現(xiàn)在這幾家都在不斷豐富自己的產(chǎn)品線， 并且觸及社會(huì)化搜索， 來(lái)保證自己在這個(gè)行業(yè)中的地位。
（2） 實(shí)時(shí)搜索
隨著微博的個(gè)人媒體平臺(tái)興起， 對(duì)搜索引擎的實(shí)時(shí)性要求日益增高， 我想這也是搜索引擎未來(lái)的一個(gè)發(fā)展方向。
實(shí)時(shí)搜索最突出的特點(diǎn)是時(shí)效性強(qiáng)， 越來(lái)越多的突發(fā)事件首次發(fā)布在微博上， 實(shí)時(shí)搜索核心強(qiáng)調(diào)的就是“快”, 用戶發(fā)布的信息第一時(shí)間能被搜索引擎搜索到。
不過(guò)在國(guó)內(nèi)， 實(shí)時(shí)搜索由于各方面的原因無(wú)法普及使用， 比如Google的實(shí)時(shí)搜索是被重置的， 百度也沒(méi)有明顯的實(shí)時(shí)搜索入口。
（3） 移動(dòng)搜索
隨著智能手機(jī)的快速發(fā)展， 基于手機(jī)的移動(dòng)設(shè)備搜索日益流行， 但移動(dòng)設(shè)備有很大的局限性， 比如屏幕太小， 可顯示的區(qū)域不多， 計(jì)算資源能力有限， 打開(kāi)網(wǎng)頁(yè)速度很慢， 手機(jī)輸入繁瑣等問(wèn)題都需要解決。
目前， 隨著智能手機(jī)的快速普及， 移動(dòng)搜索一定會(huì)更加快速的發(fā)展， 所以移動(dòng)搜索的市場(chǎng)占有率會(huì)逐步上升， 而對(duì)于沒(méi)有移動(dòng)版的網(wǎng)站來(lái)說(shuō)， 百度也提供了“百度移動(dòng)開(kāi)放平臺(tái)”來(lái)彌補(bǔ)這個(gè)缺失。
（4） 個(gè)性化搜索
個(gè)性化搜索主要面臨兩個(gè)問(wèn)題：如何建立用戶的個(gè)人興趣模型？在搜索引擎里如何使用這種個(gè)人興趣模型？
個(gè)性化搜索的核心是根據(jù)用戶的網(wǎng)絡(luò)行為， 建立一套準(zhǔn)確的個(gè)人興趣模型。而建立這樣一套模型， 就要全民收集與用戶相關(guān)的信息， 包括用戶搜索歷史、點(diǎn)擊記錄、瀏覽過(guò)的網(wǎng)頁(yè)、用戶E-mail信息、收藏夾信息、用戶發(fā)布過(guò)的信息、博客、微博等內(nèi)容。比較常見(jiàn)的是從這些信息中提取出關(guān)鍵詞及其權(quán)重。
為不同用戶提供個(gè)性化的搜索結(jié)果， 是搜索引擎總的發(fā)展趨勢(shì)， 但現(xiàn)有技術(shù)有很多問(wèn)題， 比如個(gè)人隱私的泄露， 而且用戶的興趣會(huì)不斷變化， 太依賴歷史信息， 可能無(wú)法反映用戶的興趣變化。
（5） 地理位置感知搜索
目前， 很多手機(jī)已經(jīng)有GPS的應(yīng)用了， 這是基于地理位置感知的搜索， 而且可以通過(guò)陀螺儀等設(shè)備感知用戶的朝向， 基于這種信息， 可以為用戶提供準(zhǔn)確的地理位置服務(wù)以及相關(guān)搜索服務(wù)。目前， 此類(lèi)應(yīng)用已經(jīng)大行其道， 比如手機(jī)地圖APP.
（6） 跨語(yǔ)言搜索
這方面做得最好的是Google, Google目前已經(jīng)能提供多種語(yǔ)言之間的跨語(yǔ)言搜索， 比如搜索“麻省理工”, 排在第一位的則是麻省理工學(xué)院的主頁(yè)。
如何將中文的用戶查詢翻譯為英文查詢， 目前主流的方法有3種：機(jī)器翻譯、雙語(yǔ)詞典查詢和雙語(yǔ)語(yǔ)料挖掘。對(duì)于一個(gè)全球性的搜索引擎來(lái)說(shuō)， 具備跨語(yǔ)言搜索功能是必然的發(fā)展趨勢(shì)， 而其基本的技術(shù)路線一般會(huì)采用查詢翻譯加上網(wǎng)頁(yè)的機(jī)器翻譯這兩種技術(shù)手段。
（7） 多媒體搜索
目前， 搜索引擎的查詢還是基于文字的， 即使是圖片和視頻搜索也是基于文本方式。那么未來(lái)的多媒體搜索技術(shù)則會(huì)彌補(bǔ)查詢這一缺失。多媒體形式除了文字， 主要包括圖片、音頻、視頻。
多媒體搜索比純文本搜索要復(fù)雜許多， 一般多媒體搜索包含4個(gè)主要步驟：多媒體特征提取、多媒體數(shù)據(jù)流分割、多媒體數(shù)據(jù)分類(lèi)和多媒體數(shù)據(jù)搜索引擎。
例如圖片搜索， 一般的步驟為：第一步， 縮小尺寸；第二步， 簡(jiǎn)化色彩；第三步， 計(jì)算平均值；第四步， 比較像素的灰度；第五步， 計(jì)算哈希值 （詳情可參見(jiàn)Google圖片搜索的原理一文） .
（8） 情境搜索
情境搜索是融合了多項(xiàng)技術(shù)的產(chǎn)品， 上面介紹的社會(huì)化搜索、個(gè)性化搜索、地點(diǎn)感知搜索等都是支持情境搜索的， 目前Google在大力提倡這一概念。
所謂情境搜索， 就是能夠感知人與人所處的環(huán)境， 針對(duì)“此時(shí)此地此人”來(lái)建立模型， 試圖理解用戶查詢的目的， 根本目標(biāo)還是要理解人的信息需求。比如某個(gè)用戶在蘋(píng)果專(zhuān)賣(mài)店附近發(fā)出“蘋(píng)果”這個(gè)搜索請(qǐng)求， 基于地點(diǎn)感知及用戶的個(gè)性化模型， 搜索引擎就有可能認(rèn)為這個(gè)查詢是針對(duì)蘋(píng)果公司的產(chǎn)品， 而非對(duì)水果的需求。
5、搜索引擎在應(yīng)用系統(tǒng)中的應(yīng)用現(xiàn)狀
伴隨應(yīng)用系統(tǒng) （例如OA系統(tǒng)） 的規(guī)模正在不斷擴(kuò)大， 在互聯(lián)網(wǎng)上得到了成熟穩(wěn)定發(fā)展的搜索引擎技術(shù)可以大大提高應(yīng)用系統(tǒng)的辦公使用效率。
5.1 重點(diǎn)關(guān)注的功能需求
搜索引擎在管理信息系統(tǒng)中的部署關(guān)注以下幾點(diǎn)的功能需求：
●通過(guò)整合多種數(shù)據(jù)源， 提供統(tǒng)一的搜索服務(wù)， 達(dá)到促進(jìn)廣泛的信息交流和知識(shí)共享的目的， 實(shí)現(xiàn)跨系統(tǒng)、平臺(tái)、應(yīng)用、地域之間以及互聯(lián)網(wǎng)信息的整合。
●提供統(tǒng)一、安全的信息檢索接口系統(tǒng)， 為所有結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)提供標(biāo)準(zhǔn)的數(shù)據(jù)源輸出接口功能。
●處理各種類(lèi)型的文檔， 并實(shí)現(xiàn)全文檢索。
●保證信息檢索的迅速、準(zhǔn)確， 提供高并發(fā)率的處理能力。
●系統(tǒng)提供關(guān)鍵的維護(hù)、管理、控制和監(jiān)測(cè)功能， 采用統(tǒng)一的方式， 通過(guò)集中監(jiān)控管理模塊與所有搜索服務(wù)進(jìn)行通訊；同時(shí)， 提供圖形化的管理界面， 使系統(tǒng)管理員能夠?qū)λ心K （或服務(wù)） 進(jìn)行本地或遠(yuǎn)程管理操作。
●系統(tǒng)支持負(fù)載均衡和高可用性， 支持建立分布式的內(nèi)部數(shù)據(jù)索引， 并實(shí)現(xiàn)對(duì)搜索服務(wù)器的集群化部署， 支持水平靈活擴(kuò)展。
5.2 建議包含的主要功能
搜索系統(tǒng)將提供高效率的搜索功能， 用戶通過(guò)在單一搜索界面上的操作， 可以在最短時(shí)間內(nèi)， 完整、準(zhǔn)確、及時(shí)地得到所需信息。建議主要包括以下功能：
（1） 提供信息的全文檢索
檢索范圍除各類(lèi)文件、信息等的要素、關(guān)鍵字以外， 提供包括文件正文內(nèi)容和附件內(nèi)容在內(nèi)的全文檢索功能， 以滿足用戶對(duì)文件檢索的要求。
（2） 支持各類(lèi)文件格式
支持HTML、PDF、ASCIIText、XML、MS Office格式 （Word、Power Point、Excel） 、壓縮文件格式 （Zip、Gzip、Tar） 等格式的檢索。
（3） 兼容各類(lèi)數(shù)據(jù)源系統(tǒng)
可以采集、處理和索引的信息系統(tǒng)包括：網(wǎng)站 （HTML、J2EE、ASP、NET、PHP） 、文件系統(tǒng) （Windows、Linux、Unix） 、數(shù)據(jù)庫(kù) （Oracle、SQL Server、DB2、Sybase、My SQL） 、公文流轉(zhuǎn)和郵件系統(tǒng)、門(mén)戶系統(tǒng)等， 以保證增加和更新的文檔能夠及時(shí)地被搜索到， 刪除的文檔及時(shí)地從索引平臺(tái)中去除。增量索引支持可調(diào)度模式。增量索引時(shí)， 應(yīng)不影響搜索。
（4） 減少檢索功能對(duì)各系統(tǒng)的影響
搜索系統(tǒng)與各系統(tǒng)采用松耦合的集成方式， 選擇在非工作時(shí)間更新數(shù)據(jù)庫(kù)索引， 從而避免在文件、信息生成時(shí)同步數(shù)據(jù)各系統(tǒng)帶來(lái)不利影響。
（5） 具備良好的系統(tǒng)擴(kuò)展性與靈活性
通過(guò)搜索系統(tǒng)的建立， 將對(duì)各類(lèi)管理信息提供統(tǒng)一的檢索。同時(shí)， 能夠靈活擴(kuò)展， 快速、簡(jiǎn)便地與各類(lèi)新數(shù)據(jù)源系統(tǒng)進(jìn)行檢索集成。
（6） 搜索結(jié)果集的相關(guān)性排序
平臺(tái)支持將檢索結(jié)果按相關(guān)度排序后交付給用戶， 以適應(yīng)不同應(yīng)用。
（7） 支持搜索結(jié)果的個(gè)性化定制和動(dòng)態(tài)更新
搜索系統(tǒng)可以根據(jù)用戶個(gè)人的需要進(jìn)行個(gè)性化定制搜索。
（8） 結(jié)合權(quán)限進(jìn)行采集和搜索
5.3 搜索引擎在應(yīng)用平臺(tái)中的技術(shù)架構(gòu)
搜索引擎在應(yīng)用平臺(tái)上的技術(shù)架構(gòu)總體上可以劃分為門(mén)戶、數(shù)據(jù)同步、語(yǔ)言處理、業(yè)務(wù)處理、系統(tǒng)調(diào)度、搜索服務(wù)、數(shù)據(jù)反饋、統(tǒng)計(jì)分析、運(yùn)營(yíng)維護(hù)、系統(tǒng)管理等十大模塊， 各模塊之間在功能上相對(duì)獨(dú)立， 業(yè)務(wù)上又相互聯(lián)系相互支撐， 共同協(xié)作從而實(shí)現(xiàn)了搜索引擎應(yīng)用平臺(tái)的整體服務(wù)架構(gòu)。基于對(duì)業(yè)務(wù)需求的分析， 搜索系統(tǒng)的技術(shù)架構(gòu)如圖1所示。
門(mén)戶模塊主要涵蓋了門(mén)戶、對(duì)外接口服務(wù)、對(duì)內(nèi)接口服務(wù)、第三方開(kāi)發(fā)接口、API等功能。
數(shù)據(jù)同步模塊支持OA數(shù)據(jù)、關(guān)系形數(shù)據(jù)、文檔形數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)爬取、論壇數(shù)據(jù)、知識(shí)庫(kù)等多種數(shù)據(jù)形式。該模塊是搜索引擎平臺(tái)數(shù)據(jù)獲取模塊， 通過(guò)數(shù)據(jù)同步將其他業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)作為數(shù)據(jù)源提供給搜索引擎應(yīng)用平臺(tái)。
語(yǔ)言處理模塊：主要功能包括分詞、糾錯(cuò)、轉(zhuǎn)換、擴(kuò)展及詞庫(kù)學(xué)習(xí)等。
業(yè)務(wù)處理模塊：主要提供對(duì)搜索請(qǐng)求及業(yè)務(wù)數(shù)據(jù)的處理， 包括搜索任務(wù)封裝、結(jié)果過(guò)濾、數(shù)據(jù)關(guān)聯(lián)、編審支撐、缺失計(jì)算、數(shù)據(jù)排重等功能。
系統(tǒng)調(diào)度模塊：提供了負(fù)載均衡、分布緩存、任務(wù)分配、數(shù)據(jù)分析、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)備份、任務(wù)監(jiān)控等功能， 主要負(fù)責(zé)將用戶的查詢?nèi)蝿?wù)進(jìn)行分析、搜索結(jié)果進(jìn)行緩存， 并監(jiān)控管理整個(gè)搜索周期。
搜索引擎模塊：提供數(shù)據(jù)索引的創(chuàng)建和管理、分布式存儲(chǔ)、任務(wù)處理、語(yǔ)義分析、數(shù)據(jù)分類(lèi)、搜索、排序、監(jiān)控及日志等功能。
統(tǒng)計(jì)分析模塊：包括熱詞統(tǒng)計(jì)、趨勢(shì)統(tǒng)計(jì)、訪問(wèn)量統(tǒng)計(jì)、業(yè)務(wù)統(tǒng)計(jì)、排行榜、性能統(tǒng)計(jì)等。主要提供搜索應(yīng)用平臺(tái)各項(xiàng)數(shù)據(jù)的統(tǒng)計(jì)分析服務(wù)。
運(yùn)營(yíng)維護(hù)模塊：包括詞庫(kù)管理、排序管理、數(shù)據(jù)管理、同步管理、過(guò)濾管理、抓取管理等。主要提供運(yùn)營(yíng)業(yè)務(wù)系統(tǒng)的管理和配置服務(wù)。
系統(tǒng)管理模塊：包括接口管理、權(quán)限管理、日志管理、安全管理、備份管理等。主要提供系統(tǒng)的基本管理及安全審計(jì)服務(wù)。
6、結(jié)束語(yǔ)
綜上所述， 搜索引擎技術(shù)在移動(dòng)終端智能化和互聯(lián)網(wǎng)用戶個(gè)性化以及社交化為中心的融合趨勢(shì)下的發(fā)展， 催生了很多新型應(yīng)用。搜索引擎技術(shù)的發(fā)展直接推動(dòng)了互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展和互聯(lián)網(wǎng)+應(yīng)用的擴(kuò)展， 伴隨著管理信息系統(tǒng)和業(yè)務(wù)應(yīng)用系統(tǒng)的互聯(lián)網(wǎng)化， 搜索引擎技術(shù)將廣泛地應(yīng)用于管理信息系統(tǒng)和業(yè)務(wù)應(yīng)用系統(tǒng)中。本文結(jié)合搜索引擎在管理信息系統(tǒng)中的應(yīng)用給大家提供了一個(gè)實(shí)用方案， 可供參考。
【搜索引擎的研究論文】相關(guān)文章：
基于lucene的垂直搜索引擎的研究與設(shè)計(jì)論文11-02
基于語(yǔ)義技術(shù)的搜索引擎平臺(tái)搭建的可行性研究論文10-26
關(guān)于研究論文的研究07-08
逃稅的研究的論文10-27
單擺研究的論文10-28
蕭紅研究的論文10-28
論文的研究方法02-23