企业官网建设流程全解析

当使用AutoTokenizer加载百川（Baichuan）模型时出现BaiChuanTokenizer相关报错，通常是由于库版本不兼容、代码问题或模型文件异常导致的。以下是常见原因和解决方法。

常见原因与解决方案

1. ‌库版本不兼容‌

   如果transformers库版本过高（如高于 4.33.3），可能导致BaiChuanTokenizer类无法正确识别。
2. ‌解决方法‌：降级transformers版本至 4.33.3，并同步调整torch版本至 2.0。

   pip install transformers==4.33.3 torch==2.0