本文版權(quán)為《郵電設(shè)計(jì)技術(shù)》所有，如需轉(zhuǎn)載請(qǐng)聯(lián)系《郵電設(shè)計(jì)技術(shù)》編輯部
摘要：針對(duì)反詐騙信息識(shí)別，對(duì)大型語(yǔ)言模型（LLMs）的微調(diào)技術(shù)進(jìn)行了深入的實(shí)驗(yàn)研究。選取了3種不同規(guī)模的LLMs基礎(chǔ)模型，并采用了LoRA和p-tuningv22種先進(jìn)的微調(diào)技術(shù)，以適應(yīng)特定的反詐騙信息識(shí)別任務(wù)。通過(guò)多個(gè)維度的實(shí)驗(yàn)評(píng)估，微調(diào)策略不僅能夠顯著提升模型在反詐騙信息識(shí)別上的性能，還能夠在一定程度上保持模型的通用性。此外，探討了LLMs在少樣本情況下的學(xué)習(xí)能力，并分析了不同微調(diào)策略下的資源消耗情況。
關(guān)鍵詞：大型語(yǔ)言模型；微調(diào)技術(shù)；反詐騙信息識(shí)別；LoRA；p-tuning v2；少樣本學(xué)習(xí)
doi：10.12045/j.issn.1007-3043.2024.08.011
前言
在數(shù)字化時(shí)代，網(wǎng)絡(luò)詐騙給信息安全帶來(lái)了挑戰(zhàn)。大型語(yǔ)言模型（Large Language Models，LLMs）在自然語(yǔ)言處理（Natural Language Processing，NLP）領(lǐng)域，特別是基于Transformer的模型，對(duì)文本分析和模式識(shí)別顯示出潛力。然而，直接訓(xùn)練LLMs成本高，微調(diào)成為適應(yīng)特定任務(wù)的有效策略。本研究評(píng)估了LoRA（Low-Rank Adaptation）和p-tuning v2微調(diào)技術(shù)，為L(zhǎng)LMs在反詐騙任務(wù)中的應(yīng)用提供了實(shí)證基礎(chǔ)和研究方向。
