解决LLM中的偏见：策略及其在公平AI招聘中的应用
论文信息
原始标题：Addressing Bias in LLMs: Strategies and Application to Fair AI-based Recruitment
作者：Alejandro Peña, Julian Fierrez, Aythami Morales, Gonzalo Mancera, Miguel Lopez, Ruben Tolosana
主题：Artificial Intelligence, Computation and Language
摘要
英文摘要
The use of language technologies in high-stake settings is increasing in recent years, mostly motivated by the success of Large Language Models (LLMs). However, despite the great performance of LLMs, they are are susceptible to ethical concerns, such as demographic biases, accountability, or privacy. This work seeks to analyze the capacity of Transformers-based systems to learn demographic biases present in the data, using a case study on AI-based automated recruitment. We propose a privacy-enhancing framework to reduce gender information from the learning pipeline as a way to mitigate biased behaviors in the final tools. Our experiments analyze the influence of data biases on systems built on two different LLMs, and how the proposed framework effectively prevents trained systems from reproducing the bias in the data.
中文摘要
近年来，在关键场景中使用语言技术的趋势日益增长，这主要得益于大型语言模型(LLMs)的成功。然而，尽管LLMs表现出色，但它们容易受到伦理问题的影响，如人口统计偏见、问责制或隐私问题。本研究旨在分析基于Transformer的系统学习数据中人口统计偏见的能力，并以AI自动化招聘为案例进行研究。我们提出了一个隐私增强框架，通过从学习流程中减少性别信息来减轻最终工具中的偏见行为。我们的实验分析了数据偏见对基于两种不同LLMs构建的系统的影响，以及所提出的框架如何有效防止训练后的系统重现数据中的偏见。
关键问答
这篇论文试图解决大型语言模型(LLMs)在高风险场景（如基于人工智能的招聘）中可能存在的性别偏见问题。具体而言，它关注以下几个关键问题：
-
性别偏见在语言模型中的学习能力：研究基于Transformer的系统（如BERT和RoBERTa）是否能够从数据中学习到性别偏见，并在最终的工具中表现出这种偏见。
-
偏见对招聘工具的影响：分析当训练数据中存在性别偏见时，如何影响基于LLMs的招聘工具的预测结果，以及这种偏见如何导致不公平的招聘决策。
-
隐私增强框架的应用：提出一种隐私增强框架，通过减少学习过程中性别信息的使用，来减轻最终工具中的偏见行为。
-
偏见缓解方法的有效性：评估所提出的框架和方法在减少性别偏见方面的有效性，并分析这些方法对系统性能（如预测准确性和公平性）的影响。
论文中提到了多个与性别偏见和公平性在自然语言处理（NLP）领域相关的研究，这些研究为本文的研究提供了背景和基础。以下是一些主要的相关研究：
性别偏见在语言表示中的研究
-
Bolukbasi et al. (2016): 研究了词嵌入中的性别偏见，提出了通过修改词嵌入来减少偏见的方法。
-
Caliskan et al. (2017): 提出了用于分析词嵌入中人类偏见的度量方法，并发现这些嵌入能够很好地捕捉人类的偏见。
-
Garg et al. (2018): 研究了100年文本数据训练的词嵌入如何量化历史人口统计学刻板印象，例如职业率。
-
May et al. (2019): 发现基于Transformer的编码器表示中存在社会偏见，包括交叉偏见，例如黑人女性刻板印象。
性别偏见在NLP任务中的研究
-
Rudinger et al. (2017): 分析了自然语言推理中的性别偏见。
-
Sheng et al. (2019): 研究了语言生成中的性别偏见。
-
Kiritchenko and Mohammad (2018): 分析了情感分析中的性别偏见。
-
Sap et al. (2019): 研究了仇恨言论检测中的性别偏见。
-
Stanovsky et al. (2019): 评估了机器翻译中的性别偏见。
偏见缓解方法的研究
-
De-Arteaga et al. (2019): 提出了从输入文本中移除敏感指标的方法来减少偏见。
-
Romanov et al. (2019): 提出了减少模型输出与敏感词嵌入之间相关性的方法。
-
Qian et al. (2022): 提出了数据增强技术来缓解偏见。
-
Ge et al. (2023): 提出了依赖对抗性提示和安全响应生成的方法来缓解偏见。
公平性研究在NLP中的应用
-
Blodgett et al. (2020): 对NLP中的偏见进行了批判性综述，强调了偏见概念的模糊性以及系统行为可能有害的情况。
-
Cheng et al. (2021): 讨论了社会负责任的AI算法的问题、目的和挑战。
-
Hardt et al. (2016): 提出了在监督学习中实现公平性的方法，包括统计平等和机会平等两个标准。
为了解决大型语言模型（LLMs）在招聘工具中可能存在的性别偏见问题，论文提出了一个隐私增强框架，旨在减少学习过程中的性别信息，从而减轻最终工具中的偏见行为。具体方法如下：
1. 问题定义
论文定义了一个基于Transformer的招聘工具，该工具接收包含结构化数据（如候选人能力）和非结构化文本数据（如简历简介）的多模态输入，并预测一个分数来评估候选人的适合度。作者假设在训练数据中存在性别偏见，即评分过程中对女性的评分低于男性，导致模型学习到这种偏见并在预测中复制它。
2. 偏见缓解方法
论文提出了两种方法来减少性别信息，从而防止模型学习和复制偏见：
方法1：通过模型可解释性（Integrated Gradients）
-
原理：利用Integrated Gradients技术检测输入文本中与性别相关的词汇，并将这些词汇从输入中移除，然后重新训练模型。
-
过程：
-
使用Integrated Gradients计算模型输出相对于Transformer嵌入层的归因。
-
选择与性别相关的词汇（如"children"、"family"等）并将其替换为掩码标记（[MASK]）。
-
使用修改后的输入重新训练模型。
-
效果：通过移除性别相关词汇，模型无法利用这些信息来学习偏见，从而在预测中减少性别偏见。
方法2：通过对抗学习（Learning Not To Learn, LNTL）
-
原理：基于Kim et al. (2019)提出的LNTL方法，通过对抗学习减少隐藏表示中的性别信息。
-
过程：
-
在模型的隐藏层添加一个辅助性别分类器，目标是预测隐藏表示中的性别信息。
-
使用对抗学习框架，同时训练主任务（分数预测）和辅助任务（性别预测），使模型在学习主任务的同时减少性别信息。
-
通过优化负条件熵减少隐藏表示中的性别信息。
-
效果：通过对抗学习，模型在隐藏表示中减少了性别信息，从而在预测中减少性别偏见。
论文中进行了以下实验来评估所提出的偏见缓解方法在减少性别偏见方面的有效性：
实验设置
-
数据集：使用FairCVdb数据集，包含24,000个合成简历，每个简历包含结构化数据（如候选人能力）和非结构化文本数据（如简历简介），以及两种评分（无偏见评分和性别偏见评分）。
-
模型：使用BERT和RoBERTa两种Transformer模型。
-
训练：使用均方根误差（RMSE）损失函数训练模型，训练10个epoch，使用AdamW优化器，学习率为1e-3，批量大小为32。
-
评估指标：使用统计平等（Statistical Parity）和机会平等（Equality of Opportunity）两个公平性指标评估模型的公平性，同时使用召回率（Recall）评估模型的效用。
实验部分1：性别信息分析
-
目的：评估系统在存在性别偏见时，是否能够从文本表示中检测到与敏感属性（性别）相关的信息。
-
方法：训练了四个不同的简历评分系统，分别使用BERT和RoBERTa模型，以及无偏见评分和性别偏见评分。
-
结果：
-
在无偏见评分下，BERT和RoBERTa模型的预测结果在性别比例上接近平衡，DKL值较低，表明性别信息未被利用。
-
在性别偏见评分下，两个模型的预测结果明显偏向男性，DKL值显著增加，表明模型利用了性别信息来学习偏见。
实验部分2：通过模型可解释性减少性别信息（方法1）
-
目的：通过检测和移除输入文本中的性别相关词汇，减少模型对性别信息的依赖。
-
方法：
-
使用Integrated Gradients技术计算模型输出相对于Transformer嵌入层的归因。
-
选择与性别相关的词汇并将其替换为掩码标记（[MASK]）。
-
使用修改后的输入重新训练模型。
-
结果：
-
重新训练后的模型在性别比例上更加平衡，DKL值显著降低，表明性别信息被有效减少。
-
模型的整体召回率有所提高，表明在减少性别偏见的同时，模型的效用也得到了提升。
