Tokenizer Viwer 是一款方便快速预览 tokenizer 的工具。

其功能包括：

• 查看词表内容，字符数统计。
• 搜索 tokenizer 中是否包含指定 token。
• 编码（encode）/ 解码（decode）测试。
• 比较 2 个 tokenizer 之间的 token 差异。
• 将 2 个不同的 tokenizer 做 merge。

使用 strat.sh 启动平台，可在 --server.port 调整启用端口。

streamlit run web_ui.py --server.port 8001