导入余姚市通济医疗器械有限公司的22条产品资料时,遇到原始字段不统一、产品词标注错误、图片与产品词匹配偏差的问题,比如某条资料描述为“支具矫形鞋”被误标为“支具”,导致后续内容生成时遗漏核心产品词,因此设计了一套基于JSON结构化的处理流程。
标准化字段设计
针对测试样本的产品资料,设计7个核心字段实现结构化存储,字段定义如下:
| 字段名 | 类型 | 说明 |
|---|---|---|
| product_id | String | 资料唯一标识,格式为TJ_产品缩写_序号 |
| original_desc | String | 原始产品描述(保留完整信息) |
| standardized_product_term | String | 标准化产品词(从预设词库匹配) |
| material | String | 医用材质类型 |
| applicable_scenario | String | 适用场景 |
| image_filenames | Array | 关联图片文件名数组 |
| quality_check_status | String | 质检状态:pass/warn/fail |
处理流程
- 原始资料解析:从导入的CSV资料中抽取目标字段,生成初始JSON结构;
- 产品词标准化清洗:通过预设词库匹配过滤冗余修饰词,提取核心产品词;
- 图片-产品词匹配校验:验证图片文件名是否包含产品词拼音缩写;
- 质检规则执行:校验字段完整性与合规性。
核心技术实现
产品词抽取伪代码(Python)
importre# 预设产品词库(来自通济现有产品词)PRODUCT_TERM_DB={"矫形鞋","腰椎固定器","颈椎固定器","足部固定器","呼吸训练器"}defextract_standard_term(original_desc:str)->str:# 最长匹配优先,避免短词覆盖长词sorted_terms=sorted(PRODUCT_TERM_DB,key=len,reverse=True)pattern=re.compile(r'|'.join(sorted_terms))matches=pattern.findall(original_desc)returnmatches[0]ifmatcheselse""# 测试示例original="本产品为支具矫形鞋,采用医用级聚丙烯材质"std_term=extract_standard_term(original)print(std_term)# 输出:矫形鞋标准化JSON示例
{"product_id":"TJ_JX_001","original_desc":"本产品为支具矫形鞋,采用医用级聚丙烯材质,适用于骨科术后康复","standardized_product_term":"矫形鞋","material":"医用级聚丙烯","applicable_scenario":"骨科术后康复","image_filenames":["2022040659024249.jpg","jiaoxingxie_001.png"],"quality_check_status":"pass"}质检规则配置
设置3条可配置的质检规则,用于校验结构化后的数据:
- 标准化产品词必须在预设词库中,否则标记为
fail; - 图片文件名需包含产品词拼音缩写(如
jiaoxingxie对应JX),否则标记为warn; - 材质字段非空,否则标记为
warn。
这套方法有效解决了通济医疗器械产品资料的字段混乱与产品词匹配问题,为后续内容生成提供了标准化数据基础。后续可优化词库动态更新机制,适配新增产品词的场景。