標籤: 簡歷

  • 結合BERT與BiLSTM的中文文本情緒分析:語境與情感詞彙識別的強化

    本研究旨在藉由BERT和BiLSTM兩種深度學習模型來進行情感分析。結合BERT 在語意理解上的優勢與 BiLSTM 在捕捉文本前後文訊息的能力,同時融入情感詞典以強化低頻情感詞的識別,更全面的理解和解讀網路上的情感訊息。


    第一節 研究背景與動機

    隨著網路社群媒體蓬勃發展,現代人愈發傾向於在網路上以文字形式表達個人情感與發表看法。文字不僅是語意的傳遞者,更是情感的載體,每個字詞都蘊含著作者的情感和觀點。因此,當我們閱讀一段文字時,我們同時在理解語意和感知作者抒發的情感。情緒可以分為正向情緒(如快樂、喜悅等)和負向情緒(如憂鬱、焦慮等)兩個獨立的向度,兩者並非互相排斥的(陳皎眉、楊家雯,2009),而是在同一個情境可能同時存在多個情緒。舉例而言,在畢業典禮上,一個人可能同時感到喜悅與不捨,和對未來感到焦慮。

    透過文字,我們可以察覺作者的情緒變化。這種情感偵測有助於我們更好的理解彼此,提供情感上的支持和連結(塗珮瓊、許文耀,2008)。現今社會網路平臺不僅成為了公眾發表對社會時事、經濟發展等議題意見的重要場所,同時也成為個體抒發內在情感、釋放壓力的重要出口。這些豐富且多元的文本資料中蘊含著大量情緒資訊,若能有效自動擷取並分析其中的情感詞彙,不僅能瞭解公眾對特定議題的情緒態度與趨勢,還能應用於商業評價、輿情監測以及心理健康預警等多個領域。

    倘若能從個人網路發表簡短訊息識別其可能隱藏的負面情緒狀況,還能及時發現個人的情緒偏向或心理健康問題,及早針對個人的狀況提供必要的協助和支援。比如,若系統檢測到作者在社交媒體貼文中負向情感詞的出現明顯高於標準,這可能暗示著作者正在經歷情緒困擾甚至憂鬱症等情況。這時,系統可以主動提醒作者注意自己的心理狀態,並推薦相應的諮詢管道。

    第二節 研究目的與問題

    目前針對中文文本的情感分析技術仍面臨多重挑戰。首先,中文斷詞問題與一詞多義現象,使得從文本中正確判斷並擷取情緒詞彙成為一大技術瓶頸;其次,同一情感詞在不同語境下可能呈現正向、負向甚至中性的情緒傾向,亦即情緒詞傾向會受前後文的語意和語法結構影響。因此,需結合上下文資訊以精準判斷詞彙情緒屬性。所以模型需結合語境、語法與語意等多層次語言特徵才能進行準確辨識。此外,傳統的深度學習模型(如 LSTM、CNN 或其混合模型)雖能處理部分長距離依賴與局部特徵,但往往在面對低頻卻情感表達強烈的詞彙時表現不足(例如:「你就是兇手」中的「兇手」、「簡直讓人崩潰」中的「崩潰」)。為解決此問題,情感詞典提供了先驗知識,能補足模型在訓練資料中可能忽略的細微情感訊息。基於以上考量,本研究計畫聚焦於下列核心研究問題:

    1. 情緒詞彙的準確擷取:如何精確辨識並抽取出頻率較低但情感表達強烈的詞彙,以克服中文斷詞不完整和多義性的挑戰?

    2. 情緒分類與語境辨識:如何結合 BERT 全域語意理解與 BiLSTM 對上下文建模的能力,準確判斷同一情緒詞在不同語境中的情緒傾向?

    第三節 研究範圍與限制

    一、研究範圍

    本研究之主要研究範圍如下:

    1. 研究對象與資料來源  

    本研究以中文網路文本為主要分析對象,資料來源包含公開之社群媒體貼文、論壇留言及評論等非結構化文字資料,僅聚焦於個人情感表達相關之文本內容。

    2. 研究方法與技術範圍  

    本研究使用自然語言處理技術,以深度學習模型 BERT 與 BiLSTM 為主要分析架構,並結合情感詞典進行情緒辨識與分類。研究範圍限於文本層級的情感分析,不涉及語音、影像或多模態資料之分析。

    3. 情緒分類範圍

    本研究情緒分類以「正向」、「負向」與「中性」三類為主,不進一步區分細緻情緒(如喜悅、悲傷、憤怒、焦慮等),以維持模型訓練的穩定性與資料一致性。

    二、研究限制

    本研究之限制如下:

    1. 資料語料限制

     由於資料主要蒐集自特定網路平台,文本語氣、用詞習慣及情感表達方式可能具有平台偏差,未必能代表整體中文語言使用情境。

    2. 模型侷限

     雖然 BERT 與 BiLSTM 皆具備強大的語意理解與上下文捕捉能力,但對於隱晦、反諷或多層次語意的文本仍可能出現誤判。

    3. 情感詞典依賴性

     情感詞典雖能補足模型對低頻情感詞的識別,但若詞典未涵蓋新興網路用語或語義轉變的詞彙,仍可能導致分析結果不準確。

    4. 訓練資料與標註誤差

     情感標註具有主觀性,標註者之背景與判斷標準可能影響資料品質,進而影響模型訓練與預測效能。

    第四節 名詞解釋

    以下針對本研究中使用之主要名詞與相關理論概念加以說明:

    一、情感分析(Sentiment Analysis)

     情感分析又稱為意見探勘(Opinion Mining),是自然語言處理的一項重要應用。其主要目的在於自動辨識與分析文本中所蘊含的情緒傾向,如正向、負向或中性情感(Liu, 2012)。情感分析可應用於社群輿情監測、產品評論分析及心理健康輔助等領域。

    二、自然語言處理(Natural Language Processing, NLP)

     自然語言處理是人工智慧(AI)的一個分支,旨在讓電腦能理解、分析及生成自然語言(Jurafsky & Martin, 2023)。NLP 涵蓋多項技術,包括中文斷詞、詞性標註、命名實體辨識、語意理解與文本分類等,是進行情感分析的技術基礎。

    三、BERT(Bidirectional Encoder Representations from Transformers)

     BERT 是由 Google AI 在 2018 年提出的深度學習語言模型(Devlin et al., 2019),基於 Transformer 架構並具備雙向編碼能力,能同時考慮上下文雙向資訊,捕捉更完整的語意關係。BERT 在多項自然語言處理任務中表現優異,如文本分類、問答系統與情感分析。

    四、BiLSTM(Bidirectional Long Short-Term Memory)

     BiLSTM 是一種雙向長短期記憶網路(Hochreiter & Schmidhuber, 1997),屬於循環神經網路(RNN)的一種,能同時考慮序列資料的前後文特徵。相較於傳統單向 LSTM,BiLSTM 更能捕捉文本中語義的完整脈絡,因此被廣泛應用於語音辨識、機器翻譯及情感分析等任務(Graves & Schmidhuber, 2005)。

    五、情感詞典(Sentiment Lexicon)

     情感詞典是一種包含情緒相關詞彙及其情感極性的辭典,用以輔助情感分析任務(Taboada et al., 2011)。它能提供詞彙的正負極性資訊等先驗知識,例如「開心」屬於正向詞、「失望」屬於負向詞,來協助模型辨識低頻或新詞的情緒傾向,至於中性詞在情感辭典中並不明顯,可能需要觀察上下文,作為判斷依據。

    六、Transformer

    Transformer 是一種基於注意力機制(Attention Mechanism)的深度學習模型(Vaswani et al., 2017),取代傳統 RNN 架構,能更有效的捕捉長距離語意關係。BERT 即建立於 Transformer 的 Encoder 結構之上。

    七、中文斷詞(Chinese Word Segmentation)

     由於中文文本中詞與詞之間沒有明顯分隔符號,需透過斷詞技術將連續的字串切分為意義完整的詞語,為中文自然語言處理的基礎步驟(Huang & Zhao, 2007)。準確的斷詞結果對於後續的語意分析及情感判斷具有關鍵影響。

    八、詞向量(Word Embedding)

    詞向量是將詞語轉換為向量的技術,用以捕捉詞與詞之間的語意關係(Mikolov et al., 2013)。例如 Word2Vec 或 GloVe 模型,皆能將「快樂」與「開心」映射至相近的向量空間位置。

    九、情緒傾向分類(Sentiment Polarity Classification)

     情緒傾向分類是情感分析的核心任務之一,旨在將文本內容歸類為正向、負向或中性等情緒類別(Pang & Lee, 2008)。本研究即以此分類結果作為模型訓練與預測的目標,針對網路上的中文文本進行情感分析,以評估模型之情感辨識效能。

    參考文獻

    Devlin, J., Chang, M., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. North American Chapter of the Association for Computational Linguistics.

    Graves, A., & Schmidhuber, J. (2005). Framewise phoneme classification with bidirectional LSTM networks. Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., 4, 18(5–6), 602–610.

    Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    Huang, C. R., & Zhao, H. (2007). Chinese word segmentation: A decade review. Journal of Chinese Information Processing, 21(3), 8–20. Jurafsky, D., & Martin, J. H. (2023). Speech and language processing (3rd ed.). Prentice Hall.

    Liu, B. (2012). Sentiment analysis and opinion mining. Synthesis Lectures on Human Language Technologies, 5(1), 1–167.

    Pang, B., & Lee, L. (2008). Opinion mining and sentiment analysis. Foundations and Trends in Information Retrieval, 2(1–2), 1–135.

    Taboada, M., Brooke, J., Tofiloski, M., Voll, K., & Stede, M. (2011). Lexicon- based methods for sentiment analysis. Computational Linguistics, 37(2), 267–307.

    陳皎眉、楊家雯(2009)。情緒調解與情緒管理。T&D 飛訊,81,1-18。

    塗珮瓊、許文耀(2008)。反芻的多向度對大學生負向情緒變化之影響。中華心理學刊,50(3),271-287。