搜索引擎的工作原理及分類
搜索引擎由搜索器、索引器、檢索器和用戶接口四部分。它利用一個名為“蜘蛛”的機器人程序以一定的策略自動進行信息搜索,然后由索引器對信息進行理解、處理,從中抽取索引項,建立索引庫,再由檢索器根據用戶的查詢在索引庫中快速檢索文檔,進行相關度評價,將要輸出的結果排序,并按用戶的查詢需求合理反饋信息,由用戶接口來接納用戶查詢,顯示查詢結果,提供個性化查詢項。按照信息搜集的方法和服務提供方式的不同,搜索引擎可以分為:

1. 全文搜索引擎

全文搜索引擎是從各個網站提取信息,建立數據庫,檢索與用戶查詢條件相匹配的記錄后,按照一定的排列順序返回結果,是名副其實的搜索引擎。全文搜索引擎的自動信息搜集功能分2 種:一種是定期搜索,即每隔一段時間,搜索引擎主動派出“蜘蛛”程序,對一定IP 地址范圍的互聯網站進行檢索,一旦發現新的網站,它會自動提取網站的信息和網址加入自己的數據庫;另一種是提交網站搜索,即網站擁有者主動向搜索引擎提交網址,它在一定時間內(2 天到數月不等) 定向向你的網站派出“蜘蛛”程序。全文搜索引擎中最具代表性的有國外著名的Google 及國內的百度搜索。

2. 目錄索引

目錄索引是一種人工方式或半自動方式的搜索引擎,由編輯人員查看信息之后,人工形成信息摘要,并將信息置于事先確定的分類框架中。由于目錄索引只是一個按目錄分類的網站鏈接列表,因此不能稱為嚴格意義上的搜索引擎。由于目錄索引中加入了人的智能,所以導航質量高,信息更準確,但也正因為如此,使得維護費用偏大,信息更新不及時。目錄索引中最具代表性的為yahoo 、新浪。

3. 元搜索引擎

元搜索引擎沒有自己的數據,而是將用戶的查詢請求同時向多個搜索引擎遞交,將返回的結果處理后,作為自己的結果返回給用戶。元搜索引擎返回結果的信息量更大、更全,但是不能夠充分使用所使用搜索引擎的功能,用戶需要做更多的篩選。元搜索引擎的代表是WebCrawler、info market 等。

搜索引擎的發展現狀及技術展望
目前,搜索引擎一般提供的是關鍵詞的全文檢索和分類瀏覽的查詢方式,檢索方式單一。分類目錄瀏覽常常檢索到很多無關的信息,查全率、查準率不高;關鍵詞檢索僅僅是機械的詞語匹配,缺乏知識處理能力和理解能力,信息檢索質量不高。此外,數據庫檢索功能和應用上的局限性、排序技術指標單一、分類目標體系缺乏規范、信息加工深度不夠,這些都嚴重影響著搜索引擎的發展。因此,必須增加檢索途徑,加強網絡信息資源的科學標引和組織,推動網絡資源標準化進程,積極推進搜索引擎的發展。

1. 精確搜索技術

采用基于自然語言理解技術的智能化搜索引擎,加深理解用戶搜索請求; 通過對用戶的不斷了解、分析,提供個性化搜索;利用XML 等技術使信息結構化,查詢結構化,提高檢索的速度和性能;針對某一行業,某一主題和某一地區的信息而建立專業化搜索,提高搜索的準確度。

2. 對等搜索技術

對等搜索P2P(Peer To Peer) 技術是以用戶為中心,通過P2P 共享硬盤上的文件、目錄甚至整個硬盤,將這一理念具體運用到搜索引擎技術上,使用戶無須通過Web 服務器,不受信息文檔格式和宿主設備的限制,進行深度搜索,網上信息的價值得到極大的提升。

3. 交叉語言檢索技術

交叉語言信息檢索是指用戶用母語提交查詢,搜索引擎在多種語言的數據庫中進行信息檢索,返回能夠回答用戶問題的所有語言的文檔。如果再加上機器翻譯,返回結果可以用母語顯示。該技術目前還處于初步研究階段,主要的困難在于語言之間在表達方式和語義對應上的不確定性。但對于經濟全球化、互聯網跨越國界的今天,無疑具有很重要的意義。

4. 移動代理技術

移動代理(Mobile Agent) 技術是一種新型分布式計算技術,是指網絡上具有移動功能的、能夠自主運行的,按照用戶的要求完成指定任務的程序。在移動代理模式下,客戶機向服務器提交的不再是一些簡單的請求,而是包含代碼和數據的移動對象,移動對象代表用戶,按照“程序靠近數據”的原則,在服務器間自主的移動,完成數據處理的任務。基于移動代理的模式之上的應用程序可以大大節省網絡寬帶,有效克服網絡延時帶來的種種問題,可以智能化地自主異步執行,它克服了搜索引擎傳統的“數據靠近程序”的運行模式,大大降低了網絡的數據流量,節省了網絡資源。