○ 根据自然语言处理领域中数据不平衡的问题，提出了文本数据增广方法作为解决方案。

○ 研究申请过程中的研究计划存在不平衡问题，这会影响下游主题模型对提案所属专业的推断结果。

○ 通过大型语言模型（LLM）生成器对研究提案进行增广，以纠正数据不平衡问题，并增强专家分配的公平性。

○ 通过在分层结构中对欠表示类别进行采样，并使用关键词为基础的研究提案生成方法，生成的数据能够有效解决上述问题，并生成高质量的科学文本数据。

研究论文关键词：科学文本、数据增广、分层多标签分类、大型语言模型

重要问题探讨

1. 为什么处理数据集中的不平衡问题对于研究提案分类模型的公正和准确性很重要？ 答：处理数据集中的不平衡问题对于研究提案分类模型的公正和准确性很重要，因为不平衡的类别分布会导致模型对多数类别的偏见，从而降低模型在少数类别上的分类准确性。当研究提案中的不同学科类别的分布不均衡时，模型可能无法准确地识别和分类属于少数类别的提案，这将导致专家评审系统的不公正和低效。

2. 结构化信息的少数类采样方法如何解决数据集中的不平衡问题？ 答：结构化信息的少数类采样方法通过在层次学科结构中寻找少数类别来解决数据集中的不平衡问题。首先，根据层次学科结构，迭代扫描标签集，统计每个学科类别相关提案的数量。然后，通过计算每个学科类别的少数类得分来评估其比例，少数类得分越高，表示该学科需要进行数据增强。最后，通过计算每个学科类别的生成数量，以确定每个学科类别需要生成的数据样本量。

3. 如何构建用于LLMs生成的prompt？ 答：为科学文本生成的LLMs构建prompt时，通常包括背景、原则、格式和语言风格四个主要部分。在背景部分，提供关于应用程序每个部分的具体摘要内容和相关长度信息。在原则部分，定义与LLMs的交互角色，指导内容（即提示生成文本的要求）以及对生成文本的一些正式限制。在格式部分，通过prompt严格约束生成文本的格式。在语言风格部分，通过prompt严格约束文本的语气和样式。这样构建的prompt可以引导LLMs生成高质量和多样化的科学文本数据。

4. 基于LLMs生成的合成样本如何解决数据不平衡问题？ 答：通过使用LLMs生成合成样本来解决数据不平衡问题表现出良好的效果。这种方法可以通过生成高质量的提案数据来增强少数类别，并提高模型的整体性能。通过实验证明，采用LLMs生成的合成样本可以显著提高模型的MicroF1、MacroF1和召回率等评估指标，并具有潜力解决数据不平衡问题。在确定生成样本数量时，需要综合考虑模型的性能和效率。

5. 提供关键词和不提供关键词两种策略生成研究提案，对比两种策略的效果如何？ 答：通过提供关键词和不提供关键词两种策略生成研究提案可以得到不同的效果。根据实验结果，通过提供关键词可以帮助LLMs生成更多样化的句子结构和更具创造力的内容，这可以提高生成文本的多样性和表达能力。相反，不提供关键词会导致生成的文本过于集中在提供的子学科领域，缺乏多样性。因此，提供关键词可以提高策略的有效性，并为进一步的研究提供启示。

6. LLMs在处理数据不平衡问题方面有哪些优势？ 答：LLMs在处理数据不平衡问题方面具有以下优势：

○ LLMs可以生成高质量的文本数据，并通过生成合成样本来增强少数类别，解决数据不平衡问题。

○ LLMs可以利用大规模的预训练模型，具有较强的语言生成能力和语义理解能力，可以生成具有丰富语义和结构的科学文本数据。

○ LLMs可以通过prompt engineering等技术手段，精确控制生成文本的格式、样式和内容，满足特定任务的需求。

7. LLMs在研究提案增强方面的应用有哪些潜在可能性？ 答：LLMs在研究提案增强方面具有以下潜在可能性：

○ LLMs可以根据给定的关键词生成高质量的研究提案，帮助研究人员快速生成和完善研究提案。

○ LLMs可以生成具有多样性和创新性的研究提案，促进学术研究的发展和创新。

○ LLMs可以根据特定领域的要求，生成符合格式和语言风格要求的研究提案，提高研究提案的质量和可读性。

○ LLMs可以通过与研究人员的交互，根据实际需求生成个性化的研究提案，满足不同研究人员的需求。

论文链接：https://arxiv.org/abs/2310.05318.pdf

读者可添加笔者微信fanqie6655

○ 该研究评估了大型语言模型（LLMs）在医学编码任务中的表现，使用真实噪声数据集进行实验。

○ 研究团队针对医学数据中普遍存在的极端类别不平衡问题，设计了一种新的损失函数——分割谐波损失，通过使用新的分割算法对数据集的共现类别进行分割和解耦。

○ 研究团队还提出了一种基于嵌入相似度的技术来处理噪声数据。

○ 实验结果表明，当使用提出的损失函数进行训练时，LLMs在噪声长尾数据集上取得了显著的性能提升，超过了现有技术的F1分数超过十个百分点。

重要问题探讨

问题提出 在医学编码的任务中，数据呈现极端的类别不平衡和长尾分布。这种分布给传统的机器学习模型带来了挑战，因为很难对少数类别进行准确的预测。本文通过使用大型语言模型（LLM）对医学编码任务进行评估，旨在研究LLM在处理这种长尾分布数据中的性能。同时，我们提出了一种新的损失函数，称为Segmented Harmonic Loss，用于处理多标签场景下的极端类别不平衡问题。通过对数据进行分段和分割，这种损失函数可以减轻类别之间的耦合性并提高模型的性能。我们在MIMIC III和IV数据集上进行了实验证明，使用这种损失函数训练的LLM可以在噪声数据上取得显著的性能提升。

解答 框架和库：

○ 输入层: 输入的是常规的 NLP 输入，即文本序列。

○ 嵌入层: 该层将文本序列作为输入，并将其转换为嵌入表示。

○ 编码层: 该层使用Transformer架构对嵌入表示进行编码。Transformer由多层自注意力机制和前馈神经网络组成。

○ 分割算法: 通过分割算法将数据集分成不同的段，每个段包含具有相似类别频率的类别。

○ 损失函数: 提出了一种新的损失函数，称为分段谐波损失（Segmented Harmonic Loss），用于处理多标签场景下的类别不平衡。该损失函数通过动态加权损失的贡献，平衡了模型对负样本的处理。

○ 评估指标: 使用微平均 F1 分数作为评估指标，该指标将每个样本的权重视为相同，并考虑所有样本的预测结果。

实验设置和结果:

○ 实验设置: 在MIMIC III和IV数据集上进行了实验，使用了BERT等编码器模型。数据集被分为训练集、验证集和测试集。使用AdamW优化器进行训练，损失函数为分段谐波损失。

○ 结果: 实验结果表明，使用分段谐波损失训练的LLM在长尾分布数据上取得了显著的性能提升，相比于其他方法的F1分数提高了超过10个百分点。

结论: 通过使用大型语言模型和分段谐波损失，可以在处理类别不平衡和长尾分布数据的医学编码任务中取得较好的性能。这对提高医学编码的准确性和效率具有重要意义。

论文链接：https://arxiv.org/abs/2310.04595.pdf