CxOjWGukn9adoGGzNNzx9y6t4kZcBwcL8dLK4z9pTMpBlGZ5IPAaBKWmabBgFkrveLE2IU2ZybWF/FaTbKqaLex37hYLJNOetNtm7rqJ4nO0AuDoUHLTi5AaNBY+KmmpRGHx/yRupOiprOz4DWy0qSEx0jb72WRihcxrr6A8eS8+c7dcawKyUvf2QAOY+dv3rLdIXEhrr257lW1kmZ2UNIFri/wAfJAhzicx
hyMRvLZDLDGP29MXWN3JjNqdYX9Pv8d6TqyuzhmH2LXCC0cc3d9FD8WsTT+rUAgSCuBRPj0kx/dbH9kTkeft4BZHrasxXZJVmOoXIqeNa/AKI1vv+qSqzhGDCDZnlIldLMVXU1MYe/bU4w+4OJjvGwbhGBV/zhmEpyXx7U62zHHz8W+DJptfx8O3H2Y7ynZuOV1YIfcmYHSgss6Zg2mzoGO0f/wAfvmT0
其工作原理是将长文本分割成较小的部分,每个部分单独处理(Map阶段),然后将所有部分的结果合并成最终结果(Reduce阶段)。 这种方法允许在处理长文本时保持高效和准确。其优点是充分利用了map-reduce的并行输出能力,通过将长文本分割成更小的段落,每个段落独立处理,可以有效地克服模型的输入长度限制。这使得它能够处理超出单个模型输入限制的大文档。