跳转到内容

11.3.1 文本分类路线图:文本输入、标签输出

文本分类接收一段文本,预测一个标签,例如情感、主题、意图或风险类型。

文本分类章节学习顺序图

传统分类 baseline 图

神经分类 embedding pooling 图

复杂模型之前先做基线。大多数分类问题不是模型不够强,而是标签模糊或样本分布偏。

texts = ["great course and clear examples", "confusing setup error"]
positive_words = {"great", "clear", "good", "useful"}
for text in texts:
score = sum(word in positive_words for word in text.split())
label = "positive" if score > 0 else "needs_review"
print(label, "-", text)

预期输出:

Terminal window
positive - great course and clear examples
needs_review - confusing setup error

简单基线不是最终模型,但能快速暴露标签规则和失败案例。

步骤阅读实操产出
1传统方法构建 TF-IDF 或关键词基线
2深度学习方法比较 embeddings、pooling、CNN/RNN/Transformer 特征
3项目实战追踪划分、指标、标签歧义和错误样例

如果你能训练或模拟一个分类器,报告 accuracy/F1,并解释至少一个标签模糊案例,就通过了本章。

检查思路与讲解
  1. 合格答案要从文本单元和输出类型说起:token、span、句子标签、序列、embedding 或生成文本。
  2. 证据应包含小样本、模型或 pipeline 选择、评价指标,以及至少一个被检查过的错误案例。
  3. 自检时要能区分预处理问题和模型问题,例如分词错误、标签歧义、数据不平衡或生成幻觉。

学完这一页,至少保留这张证据卡:

标签模式
标签定义和边界示例
数据集划分
固定的训练/测试示例或评估集
预测
预测标签、期望标签以及置信度或分数
失败检查
类别不平衡、标签重叠、数据泄漏或措辞混淆
期望产出
按失败原因分组的指标和错误样本