中文微網誌情感分析評測大綱.docx

中文微網誌情感分析評測大綱評測對象本次評測的對象是面向中文微網誌的情感分析中的核心技術，包括觀點句識别、情感傾向性分析和情感要素抽取。任務設定本評測設定了如下3個子任務，其中任務1是必選任務，任務2和任務3都是基于任務1的，參賽隊伍可以選作。觀點句識别針對每條微網誌中的各個句子，本任務要求判斷出該句是觀點句還是非觀點句。送出格式:idrun-tagweibo-idsentence-id opinion說明id：結果序号run-tag：隊伍辨別weibo-id：微網誌idsentence-id：句子idopinion：觀點句辨別，是觀點句則為Y，非觀點句則為N例如如下兩條微網誌：weibo1：weibo id=”1”sentence id=”1” 渭南城管撕春聯事件在成都公共汽車上的分衆傳媒大肆報道！ /sentence sentence id=”2” 渭南城管傷不起啊！/sentence /weiboweibo2:weibo id=”2”sentence id=”1”LinkedIn在2011年6月份的時候，中國大陸地區使用者大約有100萬，目前則是200多萬。/sentencesentence id=”2”LinkedIn應該沒做過一分錢的廣告吧, 或許IPO就是非常好的宣傳廣告。

/sentence/weiboweibo1中有兩個句子，第一句是非觀點句，第二句是觀點句。weibo2中有4個句子，其中第一句是非觀點句，第二句觀點句。則正确的輸出結果為：1xyz11N2xyz12Y3xyz21N4xyz22Y注：本評測的觀點句的定義不包括表達自我情感的句子，比如“我感到很高興。”這樣的句子是情感句，但不屬于本評測定義的觀點句。本評測定義的觀點句隻限定于對其它對象的評價，不包括内心自我情感。不同字段之間用\t隔開，下同。評價标準本任務使用正确率（Precision），召回率（Recall）和F值（F-measure）來評價各個參賽隊伍的系統。其計算公式如下：#gold是人工标注的結果情感傾向性判斷本任務要求判斷微網誌中每條觀點句的情感傾向。觀點句的情感傾向可以分為正面（positive），負面（negative）和中性（neural）。送出格式：idrun-tagweibo-idsentence-id polarity說明id：結果序号run-tag：隊伍辨別weibo-id：微網誌idsentence-id：觀點句idpolarity：情感傾向辨別，正面為POS，負面為NEG，中性為NEU。

比如：上面weibo1和weibo2兩條微網誌中，weibo1的第二句是觀點句，情感傾向為中性。weibo2的第二句是觀點句，情感傾向為正面。則其結果應如下：1xyz12NEU2xyz22POS注：對于無法明确分類到正面或負面的觀點句應歸類到中性類别中。評價标準本任務同樣使用正确率（Precision），召回率（Recall）和F值（F-measure）作為評價标準。情感要素抽取本任務要求找出微網誌中每條觀點句作者的評價對象，即情感對象。每條觀點句可能含有若幹情感對象。同時判斷針對情感對象的觀點極性。注：隻對微網誌中的觀點句進行情感對象的抽取。本任務屬于句子級任務，情感對象隻能從目前句子中抽取。對于那些沒有情感對象(有些情況情感對象是隐含的)的觀點句，參賽隊伍可以不進行抽取。對于情感對象文本長短的定義本評測采用靈活的方式，比如“渭南城管傷不起啊！”情感對象可以是：“城管”或“渭南城管”；但“南城”或“南城管”則不屬于本例句的情感對象。對于情感對象是代詞的情況，參賽隊伍可以做指代消解，也可以不做。比如“小明就讀于北京大學，他是名優秀的學生。”情感對象可以是“他”或“小明”送出格式idrun-tagweibo-idsentence-idbegin-offset end-offset polarity說明id：結果序号run-tag：隊伍辨別weibo-id：微網誌idsentence-id：句子idbegin-offset: 情感對象的起始位置end-offset：情感對象的終止位置polarity：對情感對象的觀點極性，POS代表正面，NEG代表負面， NEU代表中性。

比如weibo1和weibo2的情感要素如下：1xyz1203NEU2xyz2207NEG3xyz222416 POS注：對于無法明确分類為正面或負面的觀點極性應歸類為中性。檔案采用unicode（utf-16）編碼，每個字元都占兩個位元組，任意句子中第一個字元的offset為0，第二個字元的offset為1，以此類推。比如：weibo1第二句開始位置的“渭南城管”這四個字元對應的offset分别為0,1,2,3。評價标準：本任務同樣采用準确率（Precision）、召回率（Recall）以及F值（F-measure）作為評價标準。評測資料集本次評測資料來自騰訊微網誌。評測資料全集包括20個話題，每個話題采集大約1000條微網誌，共約20000條微網誌。資料采用xml格式，已經預先切分好句子。樣例：weibo1：weibo id=”1”sentence id=”1” 渭南城管撕春聯事件在成都公共汽車上的分衆傳媒大肆報道！ /sentence sentence id=”2” 渭南城管傷不起啊！/sentence /weiboweibo2:weibo id=”2”sentence id=”1”LinkedIn在2011年6月份的時候，中國大陸地區使用者大約有100萬，目前則是200多萬。

/sentencesentence id=”2”LinkedIn應該沒做過一分錢的廣告吧, 或許IPO就是非常好的宣傳廣告。/sentence/weibo其中，每條微網誌對應一個weibo元素，每個句子對應一個sentence元素。檔案采用unicode（utf-16）編碼。評測方法本次評測為離線評測。參評機關自行處理資料，生成相應結果後送出。答案采用人工标注的方法确定。參賽機關需要處理全部評測資料，但用于實際評測的人工标注資料僅為評測資料全集的10%左右。具體評測步驟為：評測機關預先提供測試樣例（包括答案）評測機關給出測試資料參評機關運作被測系統，得出測試結果參評機關送出測試結果評測機關标注答案，運作自動評測程式，統計評測結果 評測要求參評機關應當采用自動的方法，針對微網誌進行情感分析。參評系統應當預先訓練模型、調整好所有參數，運作過程中不得有人工幹預。本次評測不限制使用各種語義資源。對于每個子任務，參評機關至多送出2組結果。評測日程2012/1/1-2/29：起草評測大綱，征求各方意見；2012/3/1-3/31：修訂完善評測大綱，确定評測資料；2012/4/1：釋出評測任務，接受評測報名；2012/5/1：釋出評測樣例資料集。

2012/5/2-7/15：建構評測資料集，制定标準答案；2012/7/16-7/31：釋出評測資料集，送出運作結果；2012/8/1-8/31：組織專家評測小組進行結果評判，釋出評測結果；2012/9/1-9/24：征集評測論文；2012/9/25-9/30：确定受邀報告；2012/10/29-11/6：宣讀報告，交流經驗和技術；如何注冊參加評測的機關需要在接受報名的時間内到如下評測首頁下載下傳報名表，并在截止日期前通過電子郵件或傳真方式發送給評測組織者。報名應以研究機構或公司為機關,暫不接收個人報名。/conference/2012/如果你有任何關于本次評測的問題請發郵件至：huangxiaojiang@本次評測的組織主辦機關中國計算機學會(CCF)承辦機關北京大學MSRA協辦機關數字出版國家重點實驗室評測委員會（按照姓氏拼音排序）李壽山、劉群、萬小軍、韋福如、吳雲芳