特殊字符占比计算器
更新时间：2026-05-18
特殊字符占比计算器
简介
特殊字符占比计算器，统计文本中特殊字符（非字母、数字、空格的字符）占总字符数的比例，用于过滤符号密集型低质量文本。
功能描述
- 统计文本中特殊字符（标点、符号等）占总字符数的比例
- 空文本或 None 返回 None
- 无外部依赖
算子参数
输入
| 输入 | 含义 |
|---|---|
| texts | 文本字符串数组 |
输出
| 输出 | 含义 |
|---|---|
| special_ratio | 特殊字符占比（float64），范围 [0, 1]，空文本返回 None |
参数
无
调用示例
Plain Text
1from __future__ import annotations
2
3import os
4
5import daft
6from daft import col
7
8from daft.aihc.common.udf import aihc_udf
9from daft.aihc.functions.text.special_characters_ratio_calculator import SpecialCharactersRatioCalculator
10
11if __name__ == "__main__":
12 if os.getenv("DAFT_RUNNER", "native") == "ray":
13 import ray
14 ray.init(dashboard_host="0.0.0.0", ignore_reinit_error=True)
15 daft.set_runner_ray()
16 daft.set_execution_config(actor_udf_ready_timeout=6000, min_cpu_per_task=0)
17
18 samples = {"text": ["Normal text here.", "!!!@@@###$$$", "Mix of text! And symbols@"]}
19 ds = daft.from_pydict(samples)
20 ds = ds.with_column(
21 "special_ratio",
22 aihc_udf(
23 SpecialCharactersRatioCalculator,
24 num_cpus=1,
25 concurrency=4,
26 batch_size=1024,
27 )(col("text")),
28 )
29 ds = ds.where(col("special_ratio") < 0.3)
30 ds.show()评价此篇文章