【論文翻譯】KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships _生活百科

KLMo：建模細粒度關系的知識圖增強預訓練語言模型
(KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships)

論文地址：https://aclanthology.org/2021.findings-emnlp.384.pdf

摘要

知識圖譜（KG）中實體之間的交互作用為語言表征學習提供了豐富的知識。然而，現有的知識增強型預訓練語言模型（PLMS）只關注實體信息，而忽略了實體之間的細粒度關系。在這項工作中，我們建議將KG（包括實體和關系）納入語言學習過程中，以獲得KG增強的預訓練語言模型，即KLMo 。具體來說，設計了一種新的知識聚合器來顯式建模文本中的實體片段（entity span）和上下文KG中的所有實體和關系之間的交互。利用一個關系預測目標，通過遠程監督來合并關系信息。進一步利用鏈接目標的實體來將文本中的實體跨鏈接到KG中的實體。這樣，結構化的知識就可以有效地集成到語言表示形式中。實驗結果表明，與最先進的知識增強型PLMs相比， KLMo在實體類型和關系分類等知識驅動任務上取得了很大的進步。

01引言

帶有實體和關系的知識圖（KG）為語言學習提供了豐富的知識（Wang et al. ， 2017,2014）。最近，研究人員探索了將KG信息納入PLMs中來增強語言表征，比如ERNIE-THU (Zhang et al., 2019), WKLM (Xiong et al.,2019) , KEPLER (Wang et al., 2019), KnowBERT (Peters et al., 2019), BERT-MK (He et al., 2019) and KALM (Rosset et al., 2020), .但是，它們只利用實體信息，而忽略了實體之間的細粒度關系。實體間關系的細粒度語義信息對語言表示學習也是至關重要的。
2001年，郎朗參加了BBC的畢業舞會，但他在中國直到2012年在《幸福三重奏》中亮相才很受歡迎。

【論文翻譯】KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships

文章插圖
圖1：將知識合并到PLMs中的一個示例。KG中的關系對于正確預測Trio of Happiness的類型至關重要。
【【論文翻譯】KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships】以圖1為例，實體類型，沒有明確地知道細粒度Lang Lang和Trio of Happiness的關系是客人（Guest），這是不同于關系表演者（Performer）LangLang和BBC Proms ，不可能正確預測Trio of Happiness作為電視節目的類型，因為輸入句子字面上意味著Trio of Happiness和BBC Proms屬于同一類型。KG中實體之間的細粒度關系為實體提供了特定的約束，從而在知識驅動任務的語言學習中發揮重要作用。為了明確地將KG中的實體和細粒度關系合并到PLMs中，我們面臨的一個主要挑戰是文本-知識對齊（TKA）問題：很難為文本和知識的融合進行token-關系和token-實體對齊。為了解決這個問題，我們提出了KG增強的預訓練語言模型（KLMo）來將KG（即實體和細粒度關系）集成到語言表示學習中。KLMo的主要組件是一個知識聚合器，它負責從兩個單獨的嵌入空間即token嵌入空間和KG嵌入空間，進行文本和知識信息的融合。知識聚合器通過實體片段級的交叉KG注意力機制，建模文本中實體片段和所有實體和關系之間的交互，使tokens注意KG中高度相關的實體和關系。基于KG增強的token表示，利用關系預測目標，基于KG的遠程監督，預測文本中每對實體的關系。關系預測和實體鏈接目標是將KG信息集成到文本表示中的關鍵。