UNUSED_TOKEN145

复现：

环境

transformers==4.33.1
tokenizers-0.13.3

输入：明天信阳天气如何？

输出：

InternLm2：
[UNUSED_TOKEN_144][UNUSED_TOKEN_141]
{"name": "weather_forecast", "parameters": {"city": "信阳"}}[UNUSED_TOKEN_143]
<|im_end|>
<|im_start|

修复：

环境

transformers==4.34
tokenizers-0.14.1

输入：明天信阳天气如何？

输出：

InternLm2：
明天信阳的天气预计为多云，最高气温为26℃，最低气温为18℃。

double enter to end input >>>