简介:本文用虚构人物示例,讲解人物档案数据从实体拆分、字段设计、清洗脱敏、校验规则配置到入库验证与质量治理的完整流程。读者能学会搭建可查询、可追溯的数据模型,并掌握先告警后阻断等通用质量策略。
本教程用一套虚构的人物示例,讲解如何把零散的人物信息整理成可校验、可查询、可维护的结构化数据。示例中的人物“示例球员A”、相关机构和时间均为虚构或已做泛化处理,不指向任何真实个人。
本文是数据工程教程,不是人物传记,也不是体育资讯。如果你要将真实公开资料纳入自己的系统,需要先完成本文第三部分的授权与合规审查,并按业务规则重新确定字段范围。
适合阅读本教程的读者包括:负责数据建模与数据治理的开发者、维护知识库或内容系统的运营人员、设计数据质量规则的技术负责人。读者应具备基础的数据库概念、字段设计和数据校验意识。
不适用的情况包括:需要记录个人隐私细节的业务、没有明确用途与访问范围的数据采集,以及希望绕过平台或来源方授权限制的抓取场景。
人物档案数据常见于体育数据管理、内容运营后台、知识库、搜索索引和推荐系统。这类数据通常字段多、来源杂、单位不统一。职业经历和事件记录需要分表管理,部分信息还具有时效性和敏感性。
如果直接用自由文本保存,后续的查询、统计、去重和权限控制都会变得困难。按本教程的方法,可以把姓名、国籍、出生地、出生日期、身高、体重、职业状态、职业经历、公开事件记录和来源记录拆分为结构化模型,并配置统一的校验规则。
开始实施前,需要完成以下准备工作。
在采集或存储任何人物资料之前,建议逐项确认以下内容,并留存审查人签字记录。
第一步是划分实体,而不是直接建表。建议拆成四类实体:人物主档、职业经历、事件记录和来源记录。
这样拆分的原因是:基础信息变动少,职业经历会随赛季更新,事件记录需要更严格的权限控制,来源记录用于质量追溯。若全部放在一张大表中,容易出现重复数据、更新冲突和权限过宽的问题。
示例人物的原始资料可能写作“198厘米”或“6英尺6英寸”,体重可能写作“95公斤”或“210磅”。入库前应统一转换为厘米和千克,同时保留原始单位,便于核对。
主档字段建议如下。
职业经历表建议包含:person_id、时间范围、组织类型、组织名称、出场次数、场均数据、合同类型和记录状态。
事件记录表建议包含:person_id、事件时间粒度、事件类型、处置结果、敏感等级、访问范围和记录状态。
来源记录表建议包含:person_id、来源类型、采集时间、版本号、校验状态和备注。
模型设计的关键是“稳定字段放主档,变化字段放子表,敏感字段单独控制”。访问范围字段应与敏感等级字段一起定义,并且不能为空。
清洗的目标是让字段可比较、可校验、可追溯。建议按以下顺序处理。
清洗后的示例记录如下,所有数据均为虚构:
person_profile:person_id: person_0001name_zh: 示例球员Aname_en: Sample Player Anationality: 示例国家birth_place: 示例市birth_date: 1998-11-05height_cm: 198weight_kg: 95sport: 篮球position: 小前锋status: 自由球员career_records:- person_id: person_0001period: 示例赛季一org_type: 大学校队org_name: 某大学校队games: 30notes: 场均得分与篮板处于校队前列- person_id: person_0001period: 示例年份org_type: 职业选秀org_name: 某职业联赛选秀games: 0notes: 未被选中- person_id: person_0001period: 示例赛季二org_type: 职业篮球俱乐部org_name: 某职业篮球俱乐部games: 8notes: 合同类型为短期合同event_records:- person_id: person_0001event_time: 2019-Q2event_type: 某类公开纠纷事件disposal: 已形成处理记录sensitivity: 高access_scope: 受限
校验规则分为四层。
示例校验伪代码如下:
rule_version: v1.0.0function validate_person(record):assert record.person_id is not emptyassert record.name_zh is not emptyassert record.birth_date matches yyyy-mm-ddassert record.birth_date < todayassert record.height_cm >= 150 and record.height_cm <= 250assert record.weight_kg >= 40 and record.weight_kg <= 150assert record.status in ["现役", "自由球员", "退役", "其他"]assert record.nationality is not emptyfunction validate_career(career, person):assert career.person_id == person.person_idassert career.period is not emptyif career.org_type == "职业篮球俱乐部":assert career.org_name is not emptyfunction validate_event(event, person):assert event.person_id == person.person_idassert event.event_time <= current_quarterassert event.access_scope is not emptyif event.sensitivity == "高":assert event.access_scope == "受限"
身高范围150至250厘米是成年人的业务口径,不适用于未成年人。换算误差允许在±0.5厘米内,体重换算误差允许在±1千克内。超出容差的记录进入告警队列。
建议为每条规则设置初始模式和阻断条件,并用测试集验证。
| 规则 | 类型 | 初始模式 | 阻断条件 | 容差 |
|---|---|---|---|---|
| person_id 非空 | 基础 | 阻断 | 为空即阻断 | 无 |
| 中文名非空 | 基础 | 阻断 | 为空即阻断 | 无 |
| 出生日期格式 | 基础 | 阻断 | 格式不符即阻断 | 无 |
| 身高范围 | 业务 | 告警 | 连续14天失败率超过0.5%后切为阻断 | ±0.5厘米 |
| 体重范围 | 业务 | 告警 | 同上 | ±1千克 |
| 职业经历 person_id 存在 | 关联 | 阻断 | 不存在即阻断 | 无 |
| 高敏感记录访问范围 | 权限 | 阻断 | 访问范围不是“受限”即阻断 | 无 |
规则测试集应包含至少50条虚构样本,其中正确样本与错误样本大致各半。错误样本需覆盖日期格式错误、单位混用、枚举值不在词表内、person_id 缺失和高敏感记录权限错误等情况。每次修改规则都要更新 rule_version,并保留旧版本,便于回滚。
配置时要注意:规则过严会导致正常数据频繁失败,规则过松则无法发现质量问题。建议先以告警模式运行,统计失败率和失败原因,再把关键字段切换为阻断模式。姓名、出生日期和person_id 通常直接阻断。身高体重的换算差异则先告警,避免因四舍五入策略不同造成误判。
入库顺序为:先校验,后写入;先主档,后子表;来源记录最后写入。
先写入人物主档并获得稳定的 person_id,再写入职业经历和事件记录。来源记录最后写入,用于记录本次采集的版本号和校验结果。
写入操作必须支持幂等,即同一来源版本重复写入时不产生重复记录。幂等键可设为“person_id + 来源版本号 + 记录类型 + 内容哈希”。
幂等键冲突的处理方式分三种情况。