原理概述

古典阿拉伯诗歌创作是人工智能领域极具挑战性的任务，其核心难点在于需同时满足严格格律体系、复杂押韵规则及特定风格要求。当前主流语言模型虽能处理通用文本生成，但在垂直文学领域常因缺乏领域适配数据而表现欠佳。本文将深入解析某高校研究团队通过构建指令微调数据集，使模型掌握阿拉伯诗歌创作能力的技术原理，重点阐述数据工程、指令设计及模型训练的完整技术链路。

背景问题

古典阿拉伯诗歌遵循”海洋”（Bahr）格律体系，包含16种基础诗律（如Tawīl、Basīṭ等），每种诗律定义了诗句的音节数量、重音分布及停顿位置。以Tawīl诗律为例，其要求每行诗句包含12-20个音节，且需遵循”长-短-长”的韵律模式。这种复杂性导致：

1. 人工创作需数年专业训练
2. 现有模型生成的诗句常出现格律错误
3. 缺乏标准化评估基准

研究团队发现，问题根源在于缺乏面向AI训练的专用数据集。通用语料库虽包含大量阿拉伯文本，但仅0.3%符合诗歌格律要求，且缺乏风格、时代等元数据标注。

核心概念

1. 指令微调（Instruction Tuning）：通过添加任务描述、约束条件等自然语言指令，引导模型生成符合特定要求的输出
2. 诗律引擎（Bahr Engine）：自定义的格律验证模块，可实时检测诗句是否符合指定诗律
3. 多维度标注体系：包含诗律类型、创作时代、诗歌体裁、主题标签等12类元数据

系统组成

研究团队构建了包含三个核心层的技术架构：

1. 数据采集层

   • 诗歌爬虫系统：从5个专业诗歌平台抓取原始文本
   • 元数据提取器：解析诗歌的创作年代、作者、体裁等信息
   • 诗律分析模块：通过韵律分析算法识别诗句格律

2. 数据处理层

   • 数据清洗流水线：处理缺失值、重复数据及格式不一致问题
   • 指令生成引擎：基于诗歌特征自动生成训练指令
   • 质量评估模块：通过诗律引擎验证数据有效性

3. 模型训练层

   • 基础模型选择：采用1750亿参数的多语言模型
   • 微调策略：分阶段进行指令微调和风格迁移训练
   • 评估体系：构建包含6,984首诗歌的基准测试集

工作流程

数据构建过程可分为六个关键步骤：

1. 多源数据采集

   # 伪代码：诗歌爬虫示例
   def crawl_poetry(sources):
       poems = []
       for source in sources:
           raw_data = fetch_from_api(source['url'])
           poems.extend(parse_poetry(raw_data))
       return poems

   研究团队从Mawsooaa、Adab等平台采集427,337首诗歌，覆盖前伊斯兰时期至现代的作品。

2. 数据清洗与标准化

   • 去除单行残缺诗句（占比12.7%）
   • 统一换行符、标点符号等格式
   • 标准化诗律名称（如将”Al-Tawīl”和”Tawīl”统一为”Tawīl”）

3. 指令生成机制
   设计三类训练指令：

   • 基础创作指令：”创作一首符合Tawīl诗律的赞美诗”
   • 风格迁移指令：”将这首现代诗改写为古典风格”
   • 错误修正指令：”修正以下诗句的格律错误：[诗句文本]”

4. 诗律验证系统
   开发专用验证工具，通过以下规则检测诗句：

   • 音节计数算法
   • 重音位置分析
   • 韵脚匹配模型

5. 分层训练策略

   • 第一阶段：在通用语料上进行基础微调
   • 第二阶段：在诗歌数据上进行指令微调
   • 第三阶段：在特定风格数据上进行风格迁移训练

6. 多维度评估体系
   构建包含自动评估和人工评估的混合评估框架：

   • 自动指标：格律准确率、押韵正确率
   • 人工评估：文学性、风格符合度

关键机制

1. 动态指令生成
   系统根据诗歌特征自动生成训练指令，例如：

   输入：
   诗句："الشمس تشرق في الصباح"（太阳在早晨升起）
   诗律：Kāmil
   任务：改写为Basīṭ诗律，保持原意
   输出：
   "تشرق الشمس حين يطلع الفجر"

2. 渐进式训练策略
   采用课程学习（Curriculum Learning）方法，先训练简单任务（如格律识别），再逐步增加复杂度（如完整诗歌创作）。

3. 多模态验证机制
   结合规则引擎和神经网络进行双重验证：

   • 规则引擎：检查硬性格律要求
   • 神经网络：评估文学性和风格符合度

示例说明

以创作一首符合Basīṭ诗律的悼亡诗为例，系统处理流程如下：

1. 接收创作指令：”创作一首Basīṭ诗律的悼亡诗，主题为失去亲人”
2. 诗律引擎确认Basīṭ要求（每行16-20音节，韵律模式为”长-短-长-短”）
3. 模型生成候选诗句
4. 验证系统检查：
   • 格律准确性（通过音节分析）
   • 主题相关性（通过语义分析）
   • 文学性评分（通过风格模型）
5. 返回符合要求的完整诗歌

技术优势与限制

优势：

1. 解决垂直领域数据稀缺问题
2. 支持复杂文学创作任务
3. 具备风格迁移能力

限制：

1. 对超长诗歌（超过50行）支持有限
2. 罕见诗律的生成质量待提升
3. 需要持续更新数据集以覆盖新风格

常见误区

1. 数据量误区：并非数据越多越好，需保证数据多样性和标注质量
2. 指令设计误区：指令需明确具体要求，避免模糊描述
3. 评估误区：需结合自动指标和人工评估，不能仅依赖单一指标

总结

本研究通过构建指令微调数据集，成功解决了大语言模型在古典阿拉伯诗歌创作中的格律适配、风格迁移等核心问题。其技术原理可推广至其他垂直文学领域，为开发专业化语言模型提供了可复制的方法论。关键启示在于：垂直领域AI应用需构建从数据采集、指令设计到模型训练的完整技术链路，而非简单复用通用模型。未来工作将聚焦于提升超长诗歌生成能力和处理更复杂的文学修辞手法。