網(wǎng)絡(luò)輿情分析研究現(xiàn)狀匯總十篇

序論：好文章的創(chuàng)作是一個不斷探索和完善的過程，我們?yōu)槟扑]十篇網(wǎng)絡(luò)輿情分析研究現(xiàn)狀范例，希望它們能助您一臂之力，提升您的閱讀品質(zhì)，帶來更深刻的閱讀感受。

篇（1）

中圖分類號：TP311 文獻標(biāo)識碼：A文章編號：2095-2163（2013）02-0050-04

0引言

目前，隨著網(wǎng)絡(luò)全球化的進程加快以及移動技術(shù)的推廣，微博已經(jīng)成為了網(wǎng)絡(luò)輿情的主要源頭和有效傳播路徑。由于微博具有的進入門檻低、操作便捷、互動性強等特點，近兩年在全國得到了迅速的普及，獲得廣泛的應(yīng)用。但是不可忽視的隱患也隨之呈現(xiàn)。微博已經(jīng)成為了各種謠言和違法信息滋生、蔓延的主要平臺，對社會也造成了無法預(yù)知的不良影響。因此，開展微博的輿情監(jiān)控和分析研究已是大勢所趨，勢在必行。

1研究現(xiàn)狀

目前，已有針對網(wǎng)絡(luò)輿情分析和挖掘的軟件產(chǎn)品，較典型的有 Autonomy 網(wǎng)絡(luò)輿情聚成系統(tǒng)、Goonie 互聯(lián)網(wǎng)輿情監(jiān)測系統(tǒng)、TRS 互聯(lián)網(wǎng)輿情信息監(jiān)控系統(tǒng)、方正智思輿情預(yù)警輔助決策支持系統(tǒng)、中科點擊（北京）科技有限公司研發(fā)的軍犬網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)等。這些系統(tǒng)均能對網(wǎng)絡(luò)輿情發(fā)揮一定的監(jiān)測、分析和預(yù)警的作用，為社會和諧穩(wěn)定提供了有效的技術(shù)和決策支持。雖然如此，但針對微博輿情監(jiān)測和分析的大部分系統(tǒng)卻沒有充分考慮到微博用戶基數(shù)大、覆蓋面廣、數(shù)據(jù)量巨大、更新速度快的特點，而在這種情況下，采用普通的關(guān)系數(shù)據(jù)庫顯然無法滿足要求，因此，引入NoSQL技術(shù)存儲數(shù)據(jù)則是一個頗有前景的發(fā)展方向。

2微博輿情傳播特點

基于上述對微博使用方式的分析，決定了微博輿情的傳播將具有如下特點：

（1）信息生成和傳播簡便。只要簡單操作，就可以第一時間關(guān)注微博新聞中的相關(guān)人物，或轉(zhuǎn)發(fā)傳統(tǒng)新聞和論壇中的內(nèi)容，而且由于移動終端對微博的支持，微博就超越了時間與地域的限制，完全實現(xiàn)了微博的簡便簡易性。

（2）傳播信息快捷。僅以“7 .23”動車事件為例，2011 年7 月23 日晚20 點38 分事故發(fā)生，4分鐘后網(wǎng)友發(fā)出了第一條微博，比傳統(tǒng)媒體提早了兩個多小時。

（3）病毒爆發(fā)式的信息傳播模式。消息一經(jīng)發(fā)出，用戶的所有關(guān)注者都能收到，而這一群體再亦如此繼續(xù)向外傳播，則微博信息就呈現(xiàn)了病毒爆發(fā)式擴散傳播的態(tài)勢。

3基于noSQL的數(shù)據(jù)庫設(shè)計

NoSQL最初出現(xiàn)于2009年6月11日由Oskarsson在舊金山發(fā)起并組織的一個非正式會議上。NoSQL是當(dāng)下數(shù)據(jù)庫家族的外來者，雖然有些通用的特征，但卻沒有一個特征得到了明確定義。

根據(jù)輿情監(jiān)控系統(tǒng)的數(shù)據(jù)實際情況，在其系統(tǒng)的數(shù)據(jù)庫設(shè)計中引入NoSQL，當(dāng)寫入數(shù)據(jù)時，可在MySQL、NoSQL中分別寫入一條數(shù)據(jù)的不同字段，而讀取數(shù)據(jù)時，則從MySQL、NoSQL組合字段完成讀取。這一讀/寫過程如圖1所示。

在如圖1所示的組合結(jié)構(gòu)中，MySQL中存儲著需要查詢字段中的數(shù)字、時間等類型的小字段，其后按照查詢建立相應(yīng)的索引，而NoSQL中則存儲著包括大文本字段在內(nèi)的其他并不需要的字段。查詢過程可描述為，首先將數(shù)據(jù)主鍵從MySQL中查詢出來，再從NoSQL中直接取出對應(yīng)的數(shù)據(jù)。

文中設(shè)計的架構(gòu)模式使得MySQL和NoSQL能夠各自發(fā)揮所長，即由MySQL實現(xiàn)關(guān)系存儲，而NoSQL則實現(xiàn)數(shù)據(jù)存儲。這種設(shè)計的優(yōu)點如下：節(jié)省MySQL的IO開銷、提高MySQl Query Cache緩存命中率、改進了MySQL主從同步效率、提升了MySQL數(shù)據(jù)備份和恢復(fù)的速度、具有更好的擴展性。

還需一提的是，這種以MySQL為主、NoSQL為輔的架構(gòu)設(shè)計與MySQL的單體架構(gòu)相比，系統(tǒng)的多樣性能和可擴展性均得到了有效提高。

4基于微博的Scool輿情監(jiān)測分析系統(tǒng)設(shè)計與實現(xiàn)

基于微博的Scool輿情監(jiān)測分析系統(tǒng)旨在取代傳統(tǒng)的人工收集和監(jiān)控工作，實現(xiàn)深入、高效挖掘，并實時得到微博網(wǎng)絡(luò)中相對敏感的輿論信息，以警示管理人員及時采取相應(yīng)措施。

基于微博的Scool輿情監(jiān)測分析系統(tǒng)的實現(xiàn)過程是，每日需定時、周期地對新浪微博、騰訊微博、網(wǎng)易微博、搜狐微博進行網(wǎng)頁抓取后，并對其內(nèi)容實行解析后存入數(shù)據(jù)庫，而后通過分詞索引以建立搜索引擎，實現(xiàn)數(shù)據(jù)索引，再通過用戶設(shè)定的關(guān)鍵詞庫對采集的數(shù)據(jù)進行關(guān)鍵詞集過濾，由此獲得敏感輿情信息文本返回給用戶界面。系統(tǒng)還應(yīng)對收集的信息進行自然語言處理，從而識別得到熱點話題和熱門事件。

4.1軟件體系結(jié)構(gòu)

系統(tǒng)分為后臺數(shù)據(jù)分析模塊和前臺數(shù)據(jù)展示模塊。后臺模塊負責(zé)實現(xiàn)數(shù)據(jù)抓取與分析，是系統(tǒng)的核心。前臺模塊負責(zé)完成微博、Web數(shù)據(jù)展示和基本維護操作。

4.1.1前臺結(jié)構(gòu)

前臺展示程序分為四大塊，分別是：輿情信息展示、輿情搜索、用戶監(jiān)控網(wǎng)址和關(guān)鍵詞設(shè)置、用戶登錄與管理。其中，輿情整體全面展示則按五類來進行和表現(xiàn)，分別是：最新輿情展示、按網(wǎng)站類型展示、按監(jiān)控網(wǎng)址展示、按話題事件展示和輿情統(tǒng)計。前臺模塊的結(jié)構(gòu)框架如圖2所示。

前臺展示程序主要基于JAVA開源SSH框架來進行構(gòu)建而得以實現(xiàn)，其設(shè)計結(jié)構(gòu)如圖3所示。

在本系統(tǒng)的架構(gòu)設(shè)計中，將在表示層上構(gòu)設(shè)的Struts框架，在業(yè)務(wù)邏輯層構(gòu)設(shè)的Spring框架以及在數(shù)據(jù)訪問層構(gòu)設(shè)

（1）表現(xiàn)層使用JSP來實現(xiàn)構(gòu)建，為客戶端提供對應(yīng)用程序的訪問；

（2）控制層接受客戶端的請求，并根據(jù)不同的請求調(diào)用相應(yīng)的事務(wù)邏輯，再將處理結(jié)果返回到相關(guān)的頁面；

（3）業(yè)務(wù)邏輯層用來提供相關(guān)的業(yè)務(wù)邏輯；

（4）數(shù)據(jù)訪問層提供對數(shù)據(jù)庫的各種操作。

系統(tǒng)設(shè)計中的三大框架有機配合、協(xié)調(diào)統(tǒng)一，其各自實現(xiàn)功能為：

在表現(xiàn)層中，由Struts框架負責(zé)處理JSP頁面的請求和轉(zhuǎn)發(fā)工作；在系統(tǒng)中用Hibernate來封裝數(shù)據(jù)庫的連接類，通過該框架所提供的注解方式實現(xiàn)了實體類與數(shù)據(jù)庫表結(jié)構(gòu)間的映射關(guān)系，并由該框架完成在數(shù)據(jù)訪問層與數(shù)據(jù)庫間的交互工作，再通過Hibernate框架的二級緩存EHCache提供對用戶關(guān)鍵詞和行業(yè)惡劣情感詞的高效緩存。此外，系統(tǒng)使用Spring框架作為系統(tǒng)運行輕量級的容器，負責(zé)在業(yè)務(wù)邏輯層處理業(yè)務(wù)邏輯工作。通過在配置文件中設(shè)置對象的創(chuàng)建方式及對象之間的關(guān)系，即可由Spring框架的IoC的容器來創(chuàng)建對象，同時也維護對象之間的依賴關(guān)系。通過這三大框架的整合，有效降低了系統(tǒng)中各模塊之間的相關(guān)性，由此形成一個結(jié)構(gòu)科學(xué)、功能強大和層次清晰的框架體系。

4.1.2后臺結(jié)構(gòu)

由圖6可知道，后臺結(jié)構(gòu)可分為數(shù)據(jù)緩沖池隊列，線程池線程和數(shù)據(jù)庫三部分。其中，緩存隊列負責(zé)數(shù)據(jù)流的來源，關(guān)鍵處理流程則拆分至各個線程中獨立實現(xiàn)；線程控制數(shù)據(jù)緩存池中數(shù)據(jù)流的走向，各線程本身的并發(fā)運行均交由線程池實現(xiàn)統(tǒng)一管理。數(shù)據(jù)庫則采用上述的NoSQL與關(guān)系數(shù)據(jù)庫相結(jié)合的對應(yīng)技術(shù)來主導(dǎo)實現(xiàn)。

4.2系統(tǒng)實現(xiàn)

用戶注冊、登錄系統(tǒng)后，可以點擊頁面上的相應(yīng)標(biāo)簽來查看有關(guān)的輿情記錄。同時，系統(tǒng)也會將每天最新的輿情記錄完整、清晰地呈現(xiàn)。用戶還可以點擊更多的輿情鏈接來查看當(dāng)日之前任何一天的輿情記錄。

可以點擊系統(tǒng)主頁上的輿情搜索標(biāo)簽來進行包含指定關(guān)鍵詞的輿情記錄，搜索頁面如圖7所示。在輸入框中輸入關(guān)鍵詞，就可以看到相關(guān)的信息。

5.結(jié)束語

在Scool輿情監(jiān)測和分析系統(tǒng)設(shè)計與實現(xiàn)過程中，有關(guān)信息存儲方面，本文主要提出了NoSQL和MySQL相結(jié)合的方法。實驗證明，采用這種信息存儲的方法可節(jié)省MySQL的IO開銷、提高MySQL數(shù)據(jù)備份和恢復(fù)的速度、且比以前更容易實現(xiàn)擴展。對其后類似系統(tǒng)的設(shè)計提供了有益借鑒，并顯示了一定參考價值。由于時間及技術(shù)的限制，測試和抓取的數(shù)據(jù)還不夠連續(xù)和充分，下一步仍可繼續(xù)完善和推進這一方面的工作。

參考文獻：

[1]賈焰，劉江寧. 微博的輿情特點及其謠言治理[J]. 圖書情報知識，2012（6）：7-9.

[2]張玉峰，何超. 基于Web挖掘的網(wǎng)絡(luò)智能分析研究[J]. ITA，2011（4）：64-68.

[3]汝艷紅. 微博信息傳播的特點及發(fā)展趨勢[J]. 青年記者，2012（8）：27-30.

[4]鐘瑛，劉利芳. 微博傳播的輿論影響力[J]. 新聞與傳播研究，2013（2）：8-12.

[5]FOWLER M. NoSQL Distilled[M]. 2009：1-20

篇（2）

中圖分類號：TP3911 文獻標(biāo)識碼：A文章編號：2095-2163（2013）02-0011-05

0引言

依存句法分析模型可用于精確地自動構(gòu)建給定句子中詞匯之間的依存關(guān)系[1]。該類模型可大致分為基于有監(jiān)督學(xué)習(xí)和基于文法規(guī)則兩類模型。基于有監(jiān)督學(xué)習(xí)的依存句法分析模型是指使用統(tǒng)計機器學(xué)習(xí)方法，通過從大量標(biāo)注語料中學(xué)習(xí)參數(shù)而相應(yīng)構(gòu)建的依存句法分析模型。而基于文法規(guī)則的依存句法分析模型則指依據(jù)專家提煉或數(shù)據(jù)挖掘的文法規(guī)則而憑此構(gòu)建的依存句法分析模型。兩種模型各有優(yōu)缺點，前者一般可以獲得較高的預(yù)測精度，但卻需要設(shè)計大量的標(biāo)注依存結(jié)構(gòu)的句子作為學(xué)習(xí)樣本訓(xùn)練模型；后者通常不需要設(shè)計大量訓(xùn)練樣本，但由于專家的知識受限，規(guī)則領(lǐng)域適應(yīng)性較差，導(dǎo)致該種模型預(yù)測精度并不高。藉此分析，基于有監(jiān)督學(xué)習(xí)的依存句法分析模型具有較高的預(yù)測精度，因此，本文將圍繞該類模型的研究現(xiàn)狀而展開綜述。具體內(nèi)容如下。

基于有監(jiān)督學(xué)習(xí)的依存句法分析模型的構(gòu)建過程一般可分為兩步[2]：

（1）學(xué)習(xí)。給定一個標(biāo)注依存結(jié)構(gòu)的句子集合，人工構(gòu)建依存特征模板，再從集合中抽取依存特征。其后，設(shè)定模型參數(shù)，并在有限步驟內(nèi)推導(dǎo)得出一個依存句法分析模型；

（2）評價。給定測試集合及評價方法，若該模型的預(yù)測結(jié)果滿足期望值，模型構(gòu)建完成，否則進入步驟（1）。

有監(jiān)督學(xué)習(xí)的依存句法分析模型又可分為基于移近規(guī)約和基于圖兩類。其中，基于圖的依存句法分析模型在效率和精確度都有良好表現(xiàn)，因而廣受關(guān)注。基于圖的依存句法分析模型的原理是借助最大生成樹算法，實現(xiàn)句子的依存句法分析。例如句子“漢族/nR 醫(yī)學(xué)/n 又/d 有/v 中醫(yī)/n 之/uJDE 稱/n”的依存句法分析結(jié)果如圖1所示。

在構(gòu)建基于有監(jiān)督學(xué)習(xí)的依存句法分析模型時，主要集中于兩個方面：資源建設(shè)和特征工程。針對其相關(guān)研究，本文給出了較為系統(tǒng)、詳盡的綜述。在資源建設(shè)研究方面，人們通過依存關(guān)系映射和主動學(xué)習(xí)兩種方法緩解語料匱乏的困境。通過將源領(lǐng)域中標(biāo)注依存關(guān)系的映射到目標(biāo)領(lǐng)域?qū)崿F(xiàn)目標(biāo)領(lǐng)域的依存關(guān)系自動化標(biāo)注，達到自動化構(gòu)建目標(biāo)領(lǐng)域語料的目的，進而在目標(biāo)領(lǐng)域借助自動標(biāo)注的語料構(gòu)建依存句法分析模型；而借助主動學(xué)習(xí)思想，一方面可選擇頗具價值的人工標(biāo)注對象進行人工標(biāo)注，擴充標(biāo)注集合，另一方面也可降低人工標(biāo)注的工作量。在特征工程研究方面，人們分析了不同特征對構(gòu)建依存句法分析模型的貢獻，涉及的特征包括詞匯特征、句子特征，以及語言形態(tài)特征等，同時介紹了如何因解決特征稀疏而導(dǎo)致的模型性能下降的問題。此外，具體而深入地分析、評價了依存句法分析模型一體化的優(yōu)勢和不足。

本文的組織結(jié)構(gòu)如下：第二部分針對語料匱乏、特征選擇和獲取、以及模型一體化問題，詳細比較和分析了現(xiàn)有模型的研究現(xiàn)狀；第三部分從事件抽取、產(chǎn)品評論分析，以及輿情分析角度說明了現(xiàn)有模型最近的應(yīng)用情況；最后總結(jié)現(xiàn)有模型研究并對未來可能研究方向給予展望。

1基于有監(jiān)督學(xué)習(xí)的依存句法分析模型

1.1標(biāo)注語料匱乏

近年來，在標(biāo)注語料匱乏研究方面，人們借助依存關(guān)系映射和主動學(xué)習(xí)方法改進標(biāo)注語料不足的狀況。在依存關(guān)系映射研究方面，已有學(xué)者采用規(guī)則過濾[3]、適應(yīng)性標(biāo)注方法[4]、動態(tài)規(guī)劃方法[5]解決源領(lǐng)域和目標(biāo)領(lǐng)域之間的差異，但效果并不明顯。Jiang等[6]采用一種依存結(jié)構(gòu)映射策略，將源領(lǐng)域中豐富的依存關(guān)系映射到資源短缺的目標(biāo)領(lǐng)域中，實現(xiàn)目標(biāo)領(lǐng)域依存關(guān)系語言的自動構(gòu)建。例如，將標(biāo)注依存關(guān)系的英語語料中的依存關(guān)系映射到中文語料中，實現(xiàn)中文語料的自動標(biāo)注。實現(xiàn)依存映射時，若采用詞對齊方法實現(xiàn)依存關(guān)系映射，映射過程中會產(chǎn)生詞對齊的錯誤和不同語言之間因句法差異產(chǎn)生的錯誤。與已有方法不同，作者采用的映射方法不是將整棵句子依存樹映射到目標(biāo)領(lǐng)域，而是映射詞匯依存關(guān)系。給定詞對齊雙語語料，源領(lǐng)域的句子標(biāo)注了依存句法結(jié)構(gòu)，其中的依存關(guān)系是布爾型，表示是否存在依存關(guān)系。而后將源領(lǐng)域中詞對的依存關(guān)系映射為目標(biāo)領(lǐng)域的詞對。在目標(biāo)領(lǐng)域產(chǎn)生依存關(guān)系的實例過程中，最先獲得詞對齊的映射，采用映射矩陣而不是單個的詞對齊，這樣可以減少詞對齊的錯誤。而且詞對齊的映射不是一一映射，因而能夠獲得多種映射組合。假設(shè)詞對（a， b），其中，詞a有n種映射射結(jié)果，詞b有m種映射結(jié)果，則詞對（a， b）就存在n×m種映射可能。然后，根據(jù)源端句法樹庫以及映射矩陣計算目標(biāo)領(lǐng)域存在依存關(guān)系的概率。最后，設(shè)定閾值T確定在目標(biāo)領(lǐng)域是否產(chǎn)生依存關(guān)系。大于閾值T，則存在依存關(guān)系，即為正例；若小于（1 - T），則不存在依存關(guān)系，即為反例。如此就獲得了大量目標(biāo)領(lǐng)域的依存關(guān)系樣例。通過在目標(biāo)領(lǐng)域產(chǎn)生的樣例上訓(xùn)練最大熵分類器實現(xiàn)目標(biāo)端的依存關(guān)系預(yù)測。該種映射方法降低了依存關(guān)系映射時產(chǎn)生錯誤關(guān)系的概率，并且一定程度上借助英文標(biāo)注語料應(yīng)對中文依存分析語料匱乏的狀況。但該模型仍然無法避免兩種語言在句法差異上導(dǎo)致的錯誤的關(guān)系映射。此外，也難以精確設(shè)定閾值來判定映射結(jié)果是否為依存關(guān)系。

其中，si表示n-best的句法分析結(jié)果中第i個預(yù)測結(jié)果分值，n表示利用DP預(yù)測得到的句法分析樹的數(shù)量。當(dāng)n-best的句法分析結(jié)果的分值互相之間越發(fā)接近時，熵值也將越高。這時，句法分析器預(yù)測結(jié)果“徘徊”在n-best之中，即根據(jù)句法分析器預(yù)測結(jié)果是很難選擇得到最好的句法分析樹的，因此，句子s需要人工標(biāo)注依存句法結(jié)構(gòu)。依據(jù)上述思想，可從未標(biāo)注集合中挑選k個不確定性最高的樣本進行人工依存句法結(jié)構(gòu)標(biāo)注。

此后，將標(biāo)記結(jié)果加入到標(biāo)注集合中，重新訓(xùn)練句法分析器，獲得新的句法分析器。上述過程反復(fù)迭代，直到未標(biāo)注集合為空。通過這種方式擴充標(biāo)注集合來解決語料匱乏問題。

另外，句子中只有部分依存關(guān)系不確定，通過標(biāo)注這些不確定的依存關(guān)系就可以完成句子的依存結(jié)構(gòu)標(biāo)注。借助依存關(guān)系熵來度量依存關(guān)系的不確定性，具體計算如式（3）所示。

由圖2可知，首先根據(jù)標(biāo)注集合訓(xùn)練得到依存句法分析器DP，借助DP構(gòu)建未標(biāo)注集合中句子依存句法分析樹，再根據(jù)句子不確定函數(shù)選擇k個不確定句子，同時根據(jù)依存關(guān)系不確定函數(shù)選擇k’個依存關(guān)系并人工標(biāo)注，由此將標(biāo)注結(jié)果加入標(biāo)注集合，重新訓(xùn)練構(gòu)建依存句法分析器，上述過程反復(fù)進行，直到未標(biāo)注集合為空。

1.2特征提取與選擇

在特征提取與選擇研究方面，人們分別從不同特征對構(gòu)建依存句法分析模型的貢獻角度，以及特征稀疏對構(gòu)建模型產(chǎn)生的影響角度展開研究。其中的特征主要分為：句子級特征、詞類別特征、語言形態(tài)特征、以及高階特征等，下面對其相關(guān)工作分別作以綜合分析。

在句子級特征研究方面，Gadde[8]等使用短句信息提高句法分析性能。將短句的邊界信息作為依存關(guān)系的限制特征來豐富特征集合，并提高依存關(guān)系預(yù)測精度。將ICON2009的數(shù)據(jù)集作為測試集，使用MSTParser[1]作為依存句法分析器，在無標(biāo)記和有標(biāo)記的評測中預(yù)測精度分別為87%和77%。在詞類別特征提取研究方面，Agirre等[9]嘗試從WordNet中獲得詞匯的基本語義類作為依存特征，同時采用詞義消歧算法減少詞義歧義帶來的噪聲，以此提升依存句法關(guān)系預(yù)測精度。Haffari等[10]在MSTParser依存句法分析器框架下提出將詞匯表示為句法和語義兩種表示方式，并采用線性加權(quán)方式將這兩種表示形式的特征信息相融合，由此將依存句法分析精度則從90.82%提升到92.13%。在利用語言形態(tài)特征研究方面， Marton等[11]探索了形態(tài)學(xué)特征對句法分析的貢獻，并發(fā)現(xiàn)時態(tài)、單復(fù)數(shù)、詞綴均可提升阿拉伯語的依存句法分析精度。而在利用高階特征研究方面，Massimiliano Ciaramita等[12]使用依存語言模型和beam搜索構(gòu)建高階特征。采用大量基準(zhǔn)依存句法分析器自動分析語句構(gòu)建依存句法語言模型，并借助依存語言模型構(gòu)建高階特征，再使用beam搜索在解碼階段將特征有效整合至依存句法分析模型中。模型中考慮了原始模型（MSTParser）中最大生成樹的分值，同時考慮依存語言模型的分值，具體計算如式（5）所示。

由式（5）可知，該模型在解碼階段不僅考慮了MSTParser預(yù)測結(jié)果，同時考慮了依存語言模型對依存句法分析的貢獻。實驗結(jié)果顯示中文句法分析達到了最高精度，而且在英語上也獲得了與已知最好系統(tǒng)的可比精度。在特征稀疏研究方面， Zhou[13]結(jié)合從網(wǎng)絡(luò)獲取的詞匯搭配偏好來提高依存句法分析精度。通過從網(wǎng)絡(luò)語料Google hits和Google V1構(gòu)建詞匯之間的搭配偏好。實驗結(jié)果表明，借助搭配偏好提升了依存句法分析性能。更重要的，在處理新領(lǐng)域數(shù)據(jù)時，使用網(wǎng)絡(luò)獲取的詞匯搭配偏好可使模型具有更好的健壯性。另外，在網(wǎng)絡(luò)數(shù)據(jù)上抽取詞匯搭配偏好還可以避免數(shù)據(jù)稀疏問題，而且已在特征稀疏的生物醫(yī)療領(lǐng)域驗證了吃方法的有效性。

1.3一體化模型

詞性標(biāo)注是依存句法分析中必不可少的一個基礎(chǔ)步驟。當(dāng)前的研究將依存句法分析和詞性標(biāo)注分開建模，這就可能導(dǎo)致底層的詞性標(biāo)注錯誤向高層依存句法分析傳播，進而降低依存句法分析精度。實驗表明，由于詞性標(biāo)注的錯誤，將造成句法分析精度大約下降6%。為了解決這個問題，李正華等[14]提出詞性標(biāo)注和依存句法分析的聯(lián)合模型。模型采用剪枝策略來減小候選詞性標(biāo)簽空間，大大提高了句法分析速度。其基本思想是同時最大化詞性標(biāo)注和依存句法分析性能。在這個模型中，詞性標(biāo)注和依存句法分析的特征權(quán)重做以同步調(diào)整，借助詞性和句法特征交互來確定優(yōu)化的聯(lián)合結(jié)果。在中文賓州樹庫上進行測試實驗，其結(jié)果表明依存句法分析精度提高1.5%。而在此基礎(chǔ)上，Hatori等[15]提出第一個分詞、詞性標(biāo)注以及句法分析的一體化模型。通過結(jié)合分詞、詞性標(biāo)注和依存分析模型的特征構(gòu)建一體化模型，并提出基于字符的解碼方法。此外，Li， Zhongguo等[16]提出一體化中文依存句法分析模型，將未分詞的句子作為輸入，其輸出即為句法結(jié)構(gòu)。通過移除中間分詞步驟，一體化句法分析器不再需要單詞和短語的分割標(biāo)記，因特征提取錯誤而導(dǎo)致的性能下降也將為之得到控制。但是一體化模型雖然提升了依存句法分析的精度，但卻同時增加了解碼復(fù)雜度。

1.4其他

此外，人們在改善依存分析效率，以及借助機器翻譯技術(shù)提升依存句法分析精度方面也同樣開展了廣泛研究。在改善依存分析效率研究中，研究人員發(fā)現(xiàn)構(gòu)建依存樹的過程中會產(chǎn)生大量錯誤的依存關(guān)系，過濾這些依存關(guān)系可以提高依存分析效率。Bergsma等[17]采用級聯(lián)式過濾模型過濾錯誤的依存關(guān)系。可采用三種方法實現(xiàn)過濾：基于規(guī)則過濾、借助線性過濾器和二次型過濾器過濾錯誤的依存關(guān)系。在基于規(guī)則過濾研究方面，訓(xùn)練支持向量機依存關(guān)系分類器，特征只包括頭或依存關(guān)系中的詞性，由此利用學(xué)習(xí)得到的特征權(quán)重過濾詞性或詞性對。例如，如果一個詞性標(biāo)記在非頭詞的分類器中的權(quán)重為正，則以這個節(jié)點作為頭的所有弧都將被過濾。這樣借助學(xué)習(xí)得到的權(quán)重構(gòu)建一組高精度的過濾規(guī)則，即真正實現(xiàn)了依存關(guān)系的過濾。在線性過濾器研究方面，首先構(gòu)建8個分類器作為過濾器，分別針對如下8種節(jié)點分類問題：

（1）節(jié)點是否為頭（例如節(jié)點是葉子節(jié)點）；

（2）節(jié)點的頭是否在左側(cè)；

（3）節(jié)點的頭是否在右側(cè)；

（4）節(jié)點的頭是否在左側(cè)5個節(jié)點距離之內(nèi)；

（5）節(jié)點的頭是否在右側(cè)5個節(jié)點距離之內(nèi)；

（6）節(jié)點頭是否在左側(cè)第一個節(jié)點；

（7）節(jié)點的頭是否在右側(cè)第一個節(jié)點；

（8）節(jié)點是否是根節(jié)點。

使用相同的特征模板，得到8種不同的特征權(quán)重，分別對應(yīng)8種不同的分類，并且每一種過濾器的輸入均是上一種過濾器輸出的結(jié)果。通過這種方式實現(xiàn)過濾，構(gòu)建二次型支持向量機分類器決定過濾哪些頭—依賴對。實驗結(jié)果表明，基于規(guī)則過濾可以過濾占據(jù)25%的潛在依存關(guān)系。線性過濾器能夠過濾高達54.2%的潛在依存關(guān)系。而二次型過濾器則能夠過濾具體為22%的潛在依存關(guān)系。

在借助機器翻譯技術(shù)提升依存句法分析精度研究方面，Chen等[18]提出使用統(tǒng)計機器翻譯系統(tǒng)提高雙語句法分析精度的方法。假設(shè)在源端存在模糊的依存關(guān)系判定，在目標(biāo)端可能就是清晰的依存關(guān)系判定，因而可根據(jù)目標(biāo)端來修正源端的依存關(guān)系預(yù)測結(jié)果。首先，使用統(tǒng)計機器翻譯系統(tǒng)將源端的單語樹庫譯為目標(biāo)端的語言。然后，在目標(biāo)端采用目標(biāo)端依存句法分析器進行句法分析，構(gòu)建依存句法分析樹。由此獲得雙語樹庫，即在源端是人工標(biāo)記的樹庫，在目標(biāo)端就是自動生成的樹庫。盡管在目標(biāo)端的句子和生成樹并不完備，但是采用這些自動生成的雙語樹庫，從中抽取出目標(biāo)端的依存限制來修正源端依存分析性能，實現(xiàn)雙語句法分析性能的改進和提升。實驗結(jié)果顯示該方法的表現(xiàn)則要顯著優(yōu)于基準(zhǔn)方法。更進一步，當(dāng)使用一個更大規(guī)模的單語樹庫，句法分析的性能也得到了較大提高。

2相關(guān)應(yīng)用

基于有監(jiān)督學(xué)習(xí)的依存句法分析模型能夠構(gòu)建句子的依存樹，而依存樹則表明了詞匯間的依存關(guān)系，并且在不同問題中表現(xiàn)了其有效性與實用性，例如關(guān)系獲取[19]、復(fù)述獲取[20]和機器翻譯[21]等。此外，近年來該類模型在解決事件抽取、產(chǎn)品評論挖掘、以及輿情分析問題方面也發(fā)揮了主體重要作用。

在事件抽取研究方面，人們發(fā)現(xiàn)事件之間存在聯(lián)系，例如一個犯罪事件會引起調(diào)查事件，并且還將最終引發(fā)逮捕事件。由此可知，事件之間多存在一定的依賴關(guān)系。但現(xiàn)有的事件抽取方法并未考慮事件間的依存關(guān)系，而是孤立抽取每一個事件。David McClosky等[22]借助依存句法分析器構(gòu)建事件的依賴關(guān)系。首先，將事件及其對應(yīng)的謂詞轉(zhuǎn)化為依存樹，樹中節(jié)點包括實體、事件錨和一個虛擬根節(jié)點，各邊則表示三者間的依存關(guān)系，其中的事件錨識別常采用回歸模型運行實現(xiàn)，使用的特征包括字符級別。生成依存樹時，可采用兩步排序方法：

（1）根據(jù)句法分析器得到n-best結(jié)果；

（2）采用最大熵模型實現(xiàn)第二次排序，由此將建立事件間的依存關(guān)系。

在產(chǎn)品評論分析研究方面，Zhang等[23]借助淺層依存句法分析來構(gòu)建產(chǎn)品屬性及其評價之間關(guān)系。其中包含三個步驟：

（1）根據(jù)淺層短語結(jié)構(gòu)分析和依存句法分析構(gòu)建淺層的依存樹。可采用淺層句法分析器Sundance實現(xiàn)組塊分析，并且采用Stanford句法分析器實現(xiàn)依存樹的構(gòu)建。其中，組塊作為依存樹中的節(jié)點，邊表示組塊之間的依存關(guān)系；

（2）識別產(chǎn)品屬性和候選評價。首先，使用觀點詞典以過濾候選評價，觀點詞典包含著8 221個觀點表達。其次，假設(shè)與候選評價越近似的組塊，自身是產(chǎn)品屬性的可能就越大，憑此識別產(chǎn)品屬性；

（3）構(gòu)建產(chǎn)品屬性和評價之間的關(guān)系。可將關(guān)系構(gòu)建視為一個分類任務(wù)，而將所有的產(chǎn)品屬性和候選評價視為潛在關(guān)系。可采用支持向量機分類器實現(xiàn)關(guān)系構(gòu)建，特征包括上下文和詞性。現(xiàn)已在手機和數(shù)碼相機領(lǐng)域驗證了此方法的可行性和有效性。

在輿情分析研究方面，Wu等[24]提出基于圖的句級情感分析模型。引入了線性規(guī)劃結(jié)構(gòu)學(xué)習(xí)方法產(chǎn)生輸入句子的圖形表示。圖中節(jié)點包括評價目標(biāo)、觀點表達和觀點修飾。邊表示節(jié)點之間的關(guān)系，具體包括觀點表達和修飾之間的關(guān)系，以及觀點表達之間的關(guān)系，并且包含單個觀點之間的語義關(guān)系。通過圖，可以將之前被忽略的各種信息融合進來。該模型的優(yōu)勢在于，借助觀點之間的關(guān)系，可更加精確地判定句子的整體情感極性。Nakagawa等[25]提出借助依存分析結(jié)果實現(xiàn)中文和日文主觀句情感分類。主觀句通常包括將情感極性反轉(zhuǎn)的詞匯。包含積極（或消極）的情感詞的句子不一定表達與情感詞相同的極性。因此在情感分析中需要考慮詞匯之間的修飾對詞匯情感極性的影響，但是采用詞袋的方法很難解決這個問題。若采用規(guī)則方法實現(xiàn)句子極性判斷，則不能從語料中學(xué)習(xí)情感信息，而且規(guī)則的適用性十分有限，同時需要大量的人力、物力構(gòu)建規(guī)則。嘗試借助依存句法分析解決這個問題。句子的情感標(biāo)注不應(yīng)該只標(biāo)注句子的整體情感極性，而應(yīng)該存在句子的局部情感極性標(biāo)注，并且利用這些局部標(biāo)注信息來實現(xiàn)情感分類。在該方法中，將句子轉(zhuǎn)化為依存樹結(jié)構(gòu)，再將句子的依存樹中每一個依存子樹的情感極性表示為隱式變量，整句的情感極性則可由隱式變量之間的交互而共同決定。

3結(jié)束語

本文重點總結(jié)了在構(gòu)建基于有監(jiān)督學(xué)習(xí)的依存句法分析模型時面對的語料匱乏和特征選擇兩個問題的相關(guān)研究。此外，分析和總結(jié)了依存句法分析模型一體化的優(yōu)缺點。最后，介紹了如何應(yīng)用現(xiàn)有模型解決事件抽取、產(chǎn)品評論挖掘、以及輿情分析問題。盡管現(xiàn)有模型在依存句法分析方面取得了一定成功，但也存在相應(yīng)不足。首先，現(xiàn)有模型需要大規(guī)模的標(biāo)注語料用于訓(xùn)練與評價，這種需求并且隨著互聯(lián)網(wǎng)的發(fā)展日益增長，由此產(chǎn)生嚴(yán)重的標(biāo)注語料匱乏問題，僅靠上述方法無法從根本上獲得解決。其次，盡管基于有監(jiān)督學(xué)習(xí)的依存句法分析模型性能最佳，但該模型只能在有限的數(shù)據(jù)集合上完成一次模型參數(shù)學(xué)習(xí)，在其后的使用過程中無法自動調(diào)節(jié)模型參數(shù)來適應(yīng)領(lǐng)域和用戶個人興趣的變化。經(jīng)由本文研究，可得只有借助用戶反饋，構(gòu)建連續(xù)學(xué)習(xí)的依存句法分析模型才能解決上述問題。根據(jù)用戶反饋無間斷地調(diào)整模型參數(shù)，以此適應(yīng)領(lǐng)域和用戶興趣的變化，同時用戶在使用該模型時也一并完成完了語料標(biāo)注工作，從而克服了標(biāo)注語料缺乏的困境。

參考文獻：

[1]KBLER S， MCDONALD R， NIVRE J. Dependency Parsing [M]. Synthesis Lectures of Human Language Technologies， 2009： 1-20.

[2]NIVRE J. Dependency grammar and dependency parsing [R]. Technical Report， 2005： 1-32.

[3]HWA R， RESNIK P， WEINBERG A， et al. Bootstrapping parsers via syntactic projection across parallel texts[J]. In Natural Language Engineering， 2005，11： 311-325.

[4]SMITH D， EISNER J. Parser adaptation and projection with quasi-synchronous grammar features [C]// Proceedings of EMNLP， 2009： 822-831.

[5]JIANG Wenbin， LIU Qun. Automatic adaptation of annotation standards for dependency parsing using projected treebank as source corpus [C]//Proceedings of IWPT， 2009： 25-28.

[6]JIANG Wenbin， LIU Qun. Dependency parsing and projection based on word-pair classification [C]// Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics （ACL '10）， Stroudsburg， PA， USA， 2010： 12-20.

[7]MIRROSHANDEL S A， NASR A. Active learning for dependency parsing using partially annotated sentences [C]//Proceedings of IWPT， 2011： 140-149.

[8]GADDE P， JINDAL K， HUSAIN S， et al. Improving data driven dependency parsing using clausal information [C]//Human Language Technologies： The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics （HLT '10）， Stroudsburg， PA， USA， 2010： 657-660.

[9]AGIRRE E， BENGOETXEA K， GOJENOLA K， et al. Improving dependency parsing with semantic classes [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies： short papers - Volume 2 （HLT '11）， Stroudsburg， PA， USA， 2011： 699-703.

[10]HAFFARI G， RAZAVI M， SARKAR A. An ensemble model that combines syntactic and semantic clustering for discriminative dependency parsing [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies： short papers - Volume 2 （HLT '11）， Stroudsburg， PA， USA， 2011： 710-714.

[11]MARTON Y， HABASH N， RAMBOW O. Improving Arabic dependency parsing with form-based and functional morphological features [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies - Volume 1 （HLT '11）， Stroudsburg， PA， USA， 2011： 1586-1596.

[12]CIARAMITA M， ATTARDI G. Dependency parsing with second-order feature maps and annotated semantic information [C]//Proceedings of the 10th International Conference on Parsing Technologies （IWPT '07）， Stroudsburg， PA， USA， 2007： 133-143.

[13]ZHOU Guangyou， ZHAO Jun， LIU Kang， et al. Exploiting web-derived selectional preference to improve statistical dependency parsing [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies - Volume 1 （HLT '11）， Stroudsburg， PA， USA， 2011： 1556-1565.

[14]LI Zhenghua， ZHANG Min， CHE Wanxiang， et al. Joint models for Chinese POS tagging and dependency parsing [C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing （EMNLP '11）， Stroudsburg， PA， USA， 2011： 1180-1191.

[15]HATORI J， MATSUZAKI T， MIYAO Y， et al. Incremental joint POS tagging and dependency parsing in Chinese [C]//Proceedings of the 5th International Joint Conference on Natural Language Processing， 2011： 1216-1224.

[16]LI Zhongguo， ZHOU Guodong. Unified dependency parsing of Chinese morphological and syntactic structures [C]//Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning （EMNLP-CoNLL '12）， Stroudsburg， PA， USA， 2012： 1445-1454.

[17]BERGSMA S， CHERRY C. Fast and accurate arc filtering for dependency parsing [C]//Proceedings of the 23rd International Conference on Computational Linguistics （COLING '10）， Stroudsburg， PA， USA， 2010： 53-61.

[18]CHEN Wenliang， KAZAMA J， ZHANG Min， et al. SMT helps bitext dependency parsing[C]// Proceedings of the Conference on Empirical Methods in Natural Language Processing （EMNLP '11）， Stroudsburg， PA， USA， 2011： 73-83.

[19]CULOTTA A， SORENSEN J. Dependency tree kernels for relation extraction [C]//Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics （ACL '04）， Stroudsburg， PA， USA， Article 423， 2004.

[20]SHINYAMA Y， SEKINE S， SUDO K. Automatic paraphrase acquisition from news articles [C]// Proceedings of the second international conference on Human Language Technology Research （HLT '02）， San Francisco， CA， USA， 2002： 313-318.

[21]DING Yuan， PALMER M. Machine translation using probabilistic synchronous dependency insertion grammars[C]//Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics （ACL '05）， Stroudsburg， PA， USA， 2005： 541-548.

[22]MCCLOSKY D， SURDEANU M， CHRISTOPHER D. Manning. event extraction as dependency parsing [C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies - Volume 1 （HLT '11）， Stroudsburg， PA， USA， 2011： 1626-1635.

篇（3）

中圖分類號：TP3-05文獻標(biāo)識碼：A文章編號：16727800（2012）009000303

1文本情感研究的背景

所謂文本情感分析（Sentiment Analysis），就是對說話人的觀點、態(tài)度和情感傾向性進行分析，即分析文本中表達的主觀性信息。根據(jù)立場、出發(fā)點、個人態(tài)度和喜好的不同，人們對各種對象和事件表達的信念、態(tài)度、意見和情感的傾向性不可避免地存在差異。在論壇、微博等反映人們觀點的網(wǎng)絡(luò)媒體上，尤其表現(xiàn)出了這種差異。

文本情感分析在實際生活中有著廣泛的應(yīng)用，可以應(yīng)用于產(chǎn)品推薦系統(tǒng)、有害信息過濾、社會輿情分析、產(chǎn)品在線跟蹤和質(zhì)量評價、影視評價、Blogger聲譽評價、新聞報道評述、事件分析、股票評論、圖書推薦、敵對信息檢測、企業(yè)情報系統(tǒng)等方面。

在已有研究中，文本情感分析也被稱作觀點鑒別（Opinion Classification）、流派分類（Genre classification）、情感的極性（Sentiment polarity）、語義傾向（semantic orientation）、觀點挖掘（opinion mining）、觀點抽取（opinion extractive）等，為了表述的一致性，本文中將其統(tǒng)一表述為情感分析。

文本情感分析通常包含4個子問題：①確定文本情感的類別有多少；②文本的主客觀區(qū)分，即區(qū)分出文本內(nèi)容是主觀評論還是客觀陳述；③文本的極性分類（Polarity Classification），又稱為正負面傾向性分類，即判別文本內(nèi)容是肯定贊賞的，還是否定批判的；④文本情感強度分類，即判定文本情感傾向性的強弱程度，如強烈貶義、一般貶義、客觀、一般褒揚、強烈褒揚5個類別，這一問題通常又被稱為等級推理（Rating Inference）。

2文本情感分析整體研究現(xiàn)狀

目前，公認的關(guān)于文本情感分析的研究工作開始于Pang在2002年提出的基于文本的N元語法（Ngram）和詞類（POS）等特征，分別使用樸素貝葉斯（Naive Bayes），最大熵（Maximum Entropy）和支持向量機（Support Vector Machine，SVM）將電影評論文本的傾向性分為正向和負向兩類。此外還有Turney在2002年提出的基于無監(jiān)督學(xué)習(xí)（Unsupervised Learning）對文本情感傾向性分類的研究。同時他們在實驗中使用的電影評論數(shù)據(jù)集目前已成為廣泛使用的情感分析的測試集。

如今，國內(nèi)外都已經(jīng)掀起了文本情感的研究熱潮，很多研究團體、科研院校、公司已經(jīng)對文本情感展開了研究。把這些相關(guān)的研究分為4個階段：①語料階段；②文本的預(yù)處理階段；③特征標(biāo)注與特征選擇階段；④情感分類階段。

2.1語料階段

目前絕大部分語料都來自博客、專業(yè)的評論站點、新聞?wù)军c、電子商務(wù)站點。而其中影評資料、產(chǎn)品的用戶評論、Web 2.0博客文章是研究者的首選。

康奈爾大學(xué)的電影評論數(shù)據(jù)集以及Theresa Wilson等建立的MPQA庫是目前研究者廣泛使用的兩類情感分析數(shù)據(jù)集。

2.2文本的預(yù)處理階段

文本情感分析的預(yù)處理包括：停用詞、詞綴修剪、N元詞、詞性標(biāo)準(zhǔn)、簡化替換（如書替換為NOUN、照相機替換產(chǎn)品名）等，但這些有意“美化”的處理都會降低情感分析的準(zhǔn)確率。

此外，主觀句識別也屬于文本情感分析的預(yù)處理階段。該研究的目標(biāo)是需要提取文本的真正表達情感的句子。Pang于2004年提出基于文本中的主觀句的選擇和Wilson等人于2005年開創(chuàng)了在短語層進行主觀性分析的研究工作，提出基于文本中中性實例（Neutral Instances）的分析，他們根據(jù)28個混合特征訓(xùn)練了一個分類器，都是為了能夠盡量獲得文本中真正表達情感的句子。Abbasi于2008年提出通過信息增益（Information Gain，簡稱IG）的方法來選擇大量特征集中對于情感分析有益的特征。

2.3特征標(biāo)注與特征選擇階段

情感特征的標(biāo)注方法目前主要包括：

（1）監(jiān)督機器學(xué)習(xí)的方法，由已有的電子詞典或詞語知識庫擴展生成的情感傾向詞典。情感詞就是指具有情感傾向的詞語以名詞、動詞、形容詞和副詞為主，包括人名、機構(gòu)名、產(chǎn)品名、事件名等命名實體。其中，部分詞語的褒貶性（或稱為極性，通常分為褒義、貶義和中性）可以通過查字典獲得，其它的極性與情感傾向性的強烈程度都無法直接獲得。

使用情感詞作為特征的研究有：

朱嫣嵐等人提出了基于知網(wǎng)的兩種詞匯語義傾向計算方法，即基于語義相似度的方法和基于語義相關(guān)場的方法。

婁德成和姚天昉也是通過計算文本中詞匯與知網(wǎng)中已標(biāo)注褒貶性詞匯間的相似度，來獲取詞匯的語義傾向性。

目前，依靠語料或字典語料結(jié)合構(gòu)建意見詞典成為主流。由于目前用于情感分析的中文標(biāo)注語料較少，即當(dāng)目標(biāo)領(lǐng)域不存在標(biāo)注語料時，Xiaojun Wan通過谷歌翻譯等機器翻譯服務(wù)，利用英語標(biāo)注語料和中文未標(biāo)注語料彌補中文標(biāo)注語料不足的問題。此外，還有Danushka Bollegala等提出算法可以通過其它領(lǐng)域標(biāo)注語料和目標(biāo)領(lǐng)域的未標(biāo)注語料生成意見挖掘所需的情感敏感詞典。

（2）無監(jiān)督機器學(xué)習(xí)的方法。Turney在2002年基于點互信息（PMI）計算文本中抽取的關(guān)鍵詞和情感基準(zhǔn)詞（Excellent， Poor）的相似度來對文本的情感傾向性進行判別（SOPMI算法）。實現(xiàn)方法簡單，此算法得到了很多研究者的推薦。

Yuan等人在Turney的研究工作的基礎(chǔ)上，對漢語極性詞的自動獲取進行了研究，發(fā)現(xiàn)采用一個字符的漢語情感詞比漢語情感詞的效果要好。

（3）情感特征的選擇方法。目前很多情感分析的研究基于機器學(xué)習(xí)，那么特征選擇就是一個很重要的問題，N元語法等句法特征是使用最多的一類特征，Wilson等人于2009年提出混合單詞特征、否定詞特征、情感修飾特征、情感轉(zhuǎn)移特征等各類句法特征的情感分析，Abbasi等人于2008年提出混合句子的句法（N元語法、詞類、標(biāo)點）和結(jié)構(gòu)特征（單詞的長度、詞類中單詞的個數(shù)、文本的結(jié)構(gòu)特征等）的情感分析。Melville等人于2009年提出結(jié)合情感詞的先驗的基于詞典的情感傾向性和訓(xùn)練文本中后驗的基于上下文的情感傾向性共同判斷文本的情感傾向性。

另外，傳統(tǒng)的文本特征選擇方法有監(jiān)督特征選擇方法CHI、IG、MI和無監(jiān)督特征選擇方法DF、TS、TC、En。這些方法應(yīng)用到這些情感特征選擇上的效果如何還有待實驗驗證。

2.4情感分類階段

（1）情感建模的方法。基于監(jiān)督學(xué)習(xí)算法的情感分析仍然是主流，Zhang等人于2009年提出基于非負矩陣三分解（Nonnegative Matrix Trifactorization），Abbasi等人于2008年提出基于遺傳算法（Genetic Algorithm）的情感分析之外，使用最多的監(jiān)督學(xué)習(xí)算法是樸素貝葉斯、k最近鄰（KNearest Neighbor，KNN）、最大熵和支持向量機等。

此外還有基于規(guī)則和無監(jiān)督的建模方法。婁德成等人于2006年利用句法結(jié)構(gòu)和依存關(guān)系對中文句子語義進行了情感分析，Zagibalov等人于2008年在SOPMI算法的基礎(chǔ)上通過對于中文文本特征的深入分析以及引入迭代機制在很大程度上提高了無監(jiān)督學(xué)習(xí)情感分析的準(zhǔn)確率。

（2）情感分析的其它研究點。除以上介紹的情感分析關(guān)注情感的分類以外，還有評論對象的識別、情感傾向性論述的持有者識別、抽取句子中評價詞語和目標(biāo)對象之間的關(guān)聯(lián)關(guān)系、評價傾向極性的強度等研究方向等等。

（3）目前已有系統(tǒng)。目前很多系統(tǒng)已經(jīng)問世，例如：日本富士通公司開發(fā)了從中、日、英三國語言的博客和論壇中提取對企業(yè)及其產(chǎn)品的評價信息的技術(shù)，根據(jù)從萬維網(wǎng)上抓取的大量用戶的評論得到產(chǎn)品的整體信譽度。

上海交通大學(xué)開發(fā)了一個用于“漢語汽車論壇”的意見挖掘系統(tǒng)。目的是在電子公告板、門戶網(wǎng)站的各大論壇上挖掘并且概括顧客們對各種汽車品牌的不同性能指標(biāo)的評論和意見，并判斷這些意見的褒貶性和強度。然后，通過對文本處理的綜合統(tǒng)計，給出可視化的結(jié)果。該系統(tǒng)仍需要在特征獲取、權(quán)重計算等方面進行完善。

綜合以上研究現(xiàn)狀，對比國內(nèi)外的研究進展，對于國內(nèi)來講，中文文本情感分析可以說剛剛起步，與國外的主要差距表現(xiàn)在：①在基礎(chǔ)資源建設(shè)方面，還沒有建立起一個公開、公用、權(quán)威、標(biāo)準(zhǔn)的詞典資源和具有一定規(guī)模的標(biāo)準(zhǔn)語料資源；②在研究方案方面，從詞語、短語、搭配、句子到文本，主要跟蹤借鑒國外研究思路與技術(shù)路線進行嘗試。

3中文文本情感分析亟待解決的問題

相比傳統(tǒng)的文本分類，情感分類有先天的困難和挑戰(zhàn)，主要表現(xiàn)在：①自然文本中表達方式的多樣化：比喻、附和、諷刺、正話反說等；②句式的復(fù)雜性：比較型的句子、各種不同的習(xí)慣用語、句式的不同搭配等；③訓(xùn)練數(shù)據(jù)的稀疏性和不均衡性。這些都造成了目前較為狹窄的應(yīng)用領(lǐng)域，不能同時獲得較高的準(zhǔn)確率和召回率。

中文文本情感分析研究方興未艾，仍然存在很多問題亟待解決，未來的研究將主要圍繞以下幾個方向展開：

（1）建立標(biāo)準(zhǔn)的中文文本情感詞庫及標(biāo)準(zhǔn)的文本情感測試語料庫。標(biāo)準(zhǔn)完善的數(shù)據(jù)庫是驗證算法的有力工具。因此創(chuàng)建更大規(guī)模且更標(biāo)準(zhǔn)的中文文本情感數(shù)據(jù)庫是下一步工作的重中之重。

（2）選擇最優(yōu)文本情感特征集。文本情感特征是中文文本情感分析研究的第一步，在很大程度上影響最終的列表識別結(jié)果。一個詞存在多維度的情感，因此，單純依靠情感詞并不能準(zhǔn)確判定所有情況下的情感和意見。所以，對于情感特征集選擇技術(shù)需要我們進一步的研究和完善。

（3）選擇合理有效的文本情感分類方法。情感特征的權(quán)重簡單累加并不意味著情感表達能力的累加，緊致有效的特征表達方法是跨越“語義鴻溝”的重要手段。人們往往通過各種手段多渠道地獲取各種各樣的情感特征，并通過不同分類器的融合表示它們。但這方法需要在更多的情感分析領(lǐng)域進行實驗驗證，未來還需要開展融合多方面文本情感特征的工作。

（4）可靠性研究。文本情感中評論的真實性通過信用評價來衡量，不真實甚至是混淆視聽的評論稱為意見垃圾（Opinion Spam）或虛假評論，也將是未來研究的方向之一。

參考文獻：

[1]LIU B. Web data mining： exploring hyperlinks， contents [M].Usage Data. Springer，2011.

[2]PANG B， LEE L， VAITHYANATHAN S. Thumbs sentiment classification using machine learning techniques[C]. EMNLP，2002.

[3]TURNEY P D. Thumbs up or thumbs down semantic orientation applied to unsupervised classification of reviews[C]. ACL，2002.

[4]PANG B， LEE L. A sentiment education： sentiment analysis using subjectivity summarization based on minimum cuts[C]. ACL，2004.

[5]WILSON T， WIEBE J， HOFFMANN P. Recognizing contextual polarity in phraselevel sentiment analysis [C]. HLTEMNLP，2005.

[6]ABBASI A， CHEN H， SALEM A. Sentiment analysis in multiple languages： feature selection for opinion classification in Web forums[C].ACM Transaction on Information Systems，2008.

[7]朱嫣嵐，閔錦，周雅倩，等.基于HowNet的詞匯語義傾向計算[J].中文信息學(xué)報，2006（1）.

[8]婁德成，姚天昉.漢語句子語義極性分析和觀點抽取方法的研究[J].計算機應(yīng)用，2006（11）.

[9]XIAOJUN WAN. Bilingual cotraining for sentiment classification of Chinese product reviews[J]. Computational Linguistics，2011（3）.

[10]CLIFTON， ANN AND SARKAR， ANOOP. Combining morphemebased machine translation with postprocessing morpheme prediction[C]. ACL HLT，2011.

[11]YUAN R W M， CHAN T Y W， LAI T B Y， KWONG O Y. Morphemebased derivation of bipolarsemantic rientation of chinese words[C]. COLING.2004.

[12]MELVILLE P， GRYC W， LARENCE R D. Sentiment analysis of blogs by combining lexical knowledge with text classification [C]. KDD，2009.

[13]ZHANG T L Y， SINDHWANI V. A nonnegative matrix trifactorization approach to sentiment classification with lexical Prior knowledge[C]. ACL，2009.