国产日本欧美在线观看乱码_亚洲国产精品久久久久_国产午夜精品免费一二区_国产一级强片在线观看

摘  要

互聯網以其便捷、虛擬化、傳播快等特點使大眾更樂于通過網絡方式發表各自看法，形成網絡輿情。政府通過構建網絡輿情系統，及時了解社情民意，主導網絡輿情。本文從網絡輿情系統技術實現方面，介紹了輿情系統進行輿情收集、分析、預警、報告的整個過程，詳細論述各個過程實現的關鍵技術，從而為理解和構建政府輿情監控系統提供參考。

關鍵詞：網絡輿情；輿情監控系統；電子政務

[1] Realization of the government network monitoring system based on publicopinion

Mei  Song

（Information and Network Center, Hubei PartyInstitute & Hubei Administration Institute , Wuhan 430022）

Abstract: People are more willing to expresstheir views through the network for its convenience, virtualization, spreadquickly.So It is easy to form a network public opinion. Through building anetwork monitoring system for public opinion, the government can keep abreastof public sentiment and lead the network of public opinion.Based on the implementation technology of government network monitoring system, thisarticle describes the whole process applications of the system and discusses indetail the key technologies of each process, so as to provide a reference for understandingand building the government network public opinion monitoring system.

Key words:  Internet public opinion；Network public opinion monitoring system；E-government

一、我國網絡輿情現狀及對政府的影響

1.1網絡輿情現狀

近兩年網絡熱點事件爆發頻繁，主要有三個方面的原因：一是網民人數增長迅速，據中國互聯網信息中心今年7月發布的第26次互聯網發展狀況統計報告顯示：截至2010年6月30日，中國網民規模已達到4.2億人，普及率達到31.8%，從而擴大了網絡輿情形成的基礎。二是網絡的虛擬化、即時性、傳播快的特點，使其成為社情民意的首選表達平臺。三是在世界金融危機的背景下，中國改革近30年經濟增長和社會轉型所積累的各種矛盾而引發的現實問題傾向于通過網絡凸顯，如果控制不當容易導致現實事件的激化態勢。2009年網絡熱點事件為數眾多。根據對五大網絡社區熱點事件發帖數量的統計，發帖超過5000份的熱點事件有16項（見表1），其中發帖過萬份的事件有5項 ^[1]。[2]

表1：2009年度網絡熱點事件排行榜

1.2網絡輿情對政府形象的影響

從表格數據可以看出，當前形成網絡輿情的熱點事件呈現兩個方面的特點：一方面，事件主要涉及公民權利保護、公共權力監督、公共道德伸張等一系列重大社會公共問題，往往反映的是負面信息。另一方面，排名前20位的事件中，與政府直接相關的有15件，占總事件數的75%，其中負面事件14件，占政府事件總數的93%。說明當前受大眾最為關注的熱點事件往往反映的是政府的負面信息，直接影響了政府及領導干部的形象。

十六屆四中全會在《中共中央關于加強黨的執政能力建設的決定》中提出：“高度重視互聯網等新型傳媒對社會輿論的影響，加快建立法律規范、行政監管、行業自律、技術保障相結合的管理體制，加強互聯網宣傳隊伍建設，形成網上正面輿論的強勢。”“建立輿情匯集和分析機制，暢通社情民意反映渠道”，把建立和完善輿情信息匯集和分析機制作為一種制度性的設計和安排，標志著黨對輿情研究重要性的進一步認識。

隨著網絡媒體逐漸成為反映社情民意主要載體，網絡輿情已經越來越成為政府各部門關注的焦點。輿情監控系統的構建為政府相關部門提供了智能化全時段的電子監控技術，信息主管部門可用其跟蹤網絡熱點事件、主導網絡文化陣地。對公職能部門可利用它實時監控網上對本部門的相關信息，隨時獲知公眾對本部門的意見或看法，對于不利于本部門的負面信息給予自動報警，即時分析處理，判別事件處理優先級，作出相應對策處理，緩解輿論壓力，避免事態惡化，從而變被動為主動，維護政府部門的良好形象。

二、網絡輿情監測系統的總體框架

網絡輿情監測系統的功能包括：輿情規劃、輿情收集、輿情分析、輿情控制、輿情評估。相應地分別由以下五個子系統組成：

1、輿情規劃子系統。確定監控的主題，設定監控的對象（國內主要網站、論壇、博客）。日常一般設置為本部門的機構名稱或部門領導名字即可；在輿情爆發期，可根據輿情主題關鍵詞來進行設置，準確捕獲輿情動態信息。

2、輿情收集子系統。從指定的所有監控對象中，實時自動獲取指定主題的網頁信息，存入本地信息庫中。

3、輿情分析子系統。對信息庫中的所有信息，實時分析處理，包括主題識別、信息分類、數量統計、重要性分級，同時通過與之前信息分析結果相比較，自動研判相關輿情的主題及熱度變化趨勢。

4、輿情控制子系統。實現輿情預警通報、應急方案制定、部門應急聯動等管理內容。通過設定一定闕值，超過闕值范圍系統自動報警，繼而引入人工干預，啟動政府應急方案。

5、輿情評估子系統。主要是輿情事件的事后分析備案和總結，為輿情監控系統的優化及應急預案評估和修訂提供參考依據。

系統總體框架圖示如下：

三、監測系統實現的關鍵技術

針對上述輿情監測系統各部分的功能組成，結合系統總體框架圖，下面我們詳細介紹各功能的關鍵技術實現。

3.1Web信息采集技術

選定監控目標對象集（網站、論壇、博客等信息來源地址），設置主題關鍵詞，進行信息捕獲并存入輿情信息庫。采集技術利用搜索引擎中的網絡爬蟲技術，根據http協議檢索Web文檔信息，自動提取網頁，實現對主題網頁的抓取。采集時需關注三個方面的策略問題：

在采集效率上，為保證輿情監控的實時性，可根據需要設定下載網頁的層數，同時實現多對象、多線程并行采集。其次，為避免因抓取速度過快、抓取頻度過高造成目標網站服務器拒絕服務的問題，需根據目標網站的下載速度決定下載的線程數及請求的頻率。最后，初次遍歷目標對象后，下次遍歷時，只需對新更新的頁面進行下載，提高效率。

在采集算法上，通過引入具有頁面采集順序及主題相關性識別機制的主題網絡爬蟲技術，定向抓取目標網頁資源。它主要基于Web頁面間鏈接結構的分析確定頁面的重要性，進而決定采集順序的策略。通常認為有較多入鏈或出鏈的頁面具有較高的價值。Page Rank和Hits是其中具有代表性的算法^[2]。著名的GOOGLE搜索引擎就是使用這一算法。

在采集周期上，需根據目標網站的信息量、訪問量、信息更新頻率等因素自動設定信息采集的周期，例如新聞類網站的更新頻率（以分鐘或小時計算）高，抓取的間隔時間就要短些。

3.2Web文本預處理技術

在信息分析之前，需要對搜集到的所有網頁進行去重、內容提取、中文分詞、文本特征提取等預處理工作，為下階段的輿情信息分析做好基礎工作。

3.2.1網頁內容提取技術

與普通文本相比，網頁包含了除正文以外的大量其他信息，如廣告鏈接、網頁格式標記等。與傳統數據庫中的結構化數據相比，網頁上多是無結構或半結構化的信息，其數據格式多樣化，格式信息和內容數據參雜在一起，因此需要提取網頁中的正文內容，再進行后續的內容分析。具體過程為：對通篇文檔進行HTML源碼掃描，提取網頁中的3種信息：

1)文檔標題：通過提取出置標命令〈Title〉與〈/Title〉之間字串而得到；

2)文檔內容：通過提取出置標命令〈Body〉與〈/Body〉之間所有正文文本得到；

3)新的鏈接：通過提取出置標命令〈Ahref =“字串” 〉中引號部分的字符串得到；

設置一些字符串變量，如STR：存儲HTML文檔中的正文部分；TitleStr：存儲標題部分的內容。過濾掉如“<script>”和“</script>”之間字符串(一般是系統函數或者過程)，“<style>”和“</style>”之間的字符串(一般是對于頁面風格的設置)等不需要的信息。最后，將Titlestr和STR輸出，就可以得到網頁標題及正文信息 ^[3]。

3.2.2文本分詞技術

文檔內容提取完成后,就可以開始進行分詞處理。文本分詞是信息相關度和重要性分析以及文本特征表示的基礎，原理是將一篇文檔轉化為詞庫的形式。建立停用詞表，去除相關停用詞。分詞方法主要有下面3種：

基于規則的分詞方法，又稱機械分詞方法，是按一定的算法從待分析的文本中提取一系列的字符串，依次與預先建立的詞典中的詞條進行匹配，若在詞典中找到某個字符串，則匹配成功(識別出一個詞)。其局限性在于詞典的完備性。

基于統計的分詞方法，是基于(兩個或多個)漢字同時出現的概率，通過對語料庫(經過處理的大量領域文本的集合)中的文本進行有監督或無監督的學習，從而獲取該類文本的某些整體特征。

基于理解分詞，又稱知識分詞，是一種理想的分詞方法，利用句法和語義信息或者從大量語料中找出漢字組詞的結合特點來進行評價，找到最貼近于原句語義的分詞結果。

3.2.3文本特征抽取

文本特征抽取是信息分析的關鍵，將文本通過一定模型進行表示，挖掘信息隱含語義特征，從而達到文本標識的目的。文本特征是指關于文本的元數據，特征表示是指以一定特征項(如詞條或描述)來代表文檔，在文本分類或聚類時只需對這些特征項進行處理，從而實現對非結構化的文本的處理，這是一個非結構化向結構化轉化的處理步驟^[4]。

特征表示模型有多種，常用的有布爾邏輯模型、概率型、向量空間模型(Vector Space Model，VSM)等。近年來應用較好的是向量空間模型，其基本思想是將文本看作特征詞的集合，并使用特征詞的加權向量表示文本，將文本轉換成易為數學處理的向量模型，使得文本相似運算和排序成為可能。

具體處理過程為：從文本中提取可以代表文本內容的若干關鍵詞（t₁,t₂,t₃,…..,t_n）作為特征詞，根據特征詞在文本中的重要程度，給每個特征詞賦予一個權值Wi。若一篇文本用N個特征詞來表示，則可構造一個N維的向量空間，每個特征詞所對應的權值Wi即為該文本在向量空間中對應維的向量分量，即將文本表示為一個特征向量（W₁，W₂，W₃，……，W_n）。

由于Web文本的數據量非常大，表示文本的特征向量的維數很大，可能會達到幾萬維，如此高維的特征空間會使一些挖掘算法無法進行或效率很低，實際運用中還需要對特征空間進行降維處理。

3.3輿情信息分析跟蹤技術

3.3.1話題識別及跟蹤技術

話題識別與跟蹤(TDT)通過監測目標網站的信息，實現對輿情新話題的自動識別和對已知話題的動態跟蹤。包括5個方面工作：報道切分、話題關聯識別、新話題發現、話題識別和話題跟蹤^[5]。

報道切分是從一個信息源獲得的信息流切分為多個不同的話題相關的文檔。

話題關聯識別用于判斷兩篇文檔是否描述了同一個話題，多個文檔對按時間排序，順序處理。

新話題發現是對信息流中的每篇文檔，順序判斷其內容是否描述了一個新的話題，即是否為該信息流中描述某個話題的首篇文檔。新主題的識別是話題發現的第一步工作，被認為是TDT中最有難度的任務。

話題識別是對信息流建立一個簇劃分系統，簇內所有文檔描述同一話題，由新主題發現和話題追蹤兩方面技術共同實現。

話題跟蹤是給出一組種子報道，訓練得到話題模型，然后在后續報道中發現與這個話題相關的所有報道。

3.3.2 文本情感傾向分析

網絡文本的傾向性分析就是挖掘網絡文本內容蘊含的各種喜好態度、情感等非內容信息。由于網絡的虛擬性和匿名性，使得網絡輿情在大多數情況下真實地表達出了民眾的態度和情緒。通過傾向性分析可以明確網絡傳播者的意圖和傾向，可以判斷某一信息屬于正面信息還是負面信息，例如若是針對政府某部門或某領導的負面信息，系統自動報警，從而使相關部門及時了解網情，做好應對措施。

當前流行的語義傾向性分析系統可以分為2個步驟，首先是識別詞匯的語義(短語)傾向性，然后利用不同的策略，根據詞匯(短語)的傾向性給出整篇文本的語義傾向評價。目前主要有兩種研究思路。第一種，是對所有詞匯的傾向性評分進行統計求和，根據最終的得分正負來評價文本的傾向性。第二種，是采用機器學習的方式根據詞匯的傾向性訓練出語義傾向分類器，這是目前比較流行的思路，總體效果比統計求和要好。

四、結 語

本文闡述了政府網絡輿情監控系統的實現，主要從監控流程、總體框架、關鍵技術三個方面對輿情監控系統進行了全面的解構。輿情監控的關鍵技術涉及信息檢索學、自然語言處理、Web信息搜索、數據挖掘、信息學等多個領域，其算法和模型的研究又是具體技術實現效果的關鍵。輿情監控系統實際運行中具體效果的評估及技術改進，是今后進一步研究的方向。

參考文獻：

【1】 2009年中國互聯網輿情分析報告  https://yq.people.com.cn/htmlArt/Art392.htm

【2】 劉世濤.簡析搜索引擎中網絡爬蟲的搜索策略【J】 阜陽師范學院學報(自然科學版) 2006(9)

【3】 蘇芳仲，林世平. Web文本挖掘中的一種中文分詞算法研究及其實現【J】 福州大學學報(自然科學版)2004(12)

【4】胡靜，蔣外文，朱華. Web文本挖掘中數據預處理技術研究【J】 現代計算機 2009（3）

【5】張壓，劉云. 話題識別與跟蹤技術的發展與研究【J】 北京電子科技學院學報 2008 (6)