1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU #664

hzg0601 · 2023-06-19T02:47:56Z

增加了llama-cpp模型的支持。
llama-cpp模型需要在loader.py中调用llama-cpp-python中的Llama类，并使设定的参数兼容Llama类的generate方法，基于不
同时期的ggml 格式手动下载llama-cpp-python版本，重新InvalidScoreLogitsProcessor类，转换输入input_ids的格式等操作。
目前为兼容llama_llm.py脚本进行了参数阉割，后续似应考虑重新一个类。
通过cli_deom.py在lmsys/vicuna-13b-delta-v1.1/ggml-vicuna-13b-1.1-q5上，及llama-cpp-python v0.1.63上进行了测试。
修复了moss_llm.py的bug。
在api.py\webui.py等下游调用脚本中，会在初始化后调用.set_history_len(LLM_HISTORY_LEN)，但moss_llm.py对该方法的定义
与chatglm_llm.py不一致，导致调用失败。疑似能解决moss启动失败的问题不能本地加载moss模型吗？ #652，加载本地moss模型报错Can't instantiate abstract class MOSSLLM with abstract methods _history_len #578，[BUG] moss模型本地加载报错 #577，[BUG] moss模型无法加载 #356，[BUG] moss_llm没有实现 #447
该错误在调用chatyuan模型时发现。
通过api.py脚本进行了测试
修复了对chatyuan模型的支持 [BUG] config 使用 chatyuan 无法启动 #604 chatyuan无法使用 #475 ChatYuan-large-v2模型加载失败 #300 [BUG] 使用chatyuan模型时，对话Error，has no attribute 'stream_chat' #282 [BUG] 使用ChatYuan-V2模型无法流式输出，会报错 #277 增加Dockerfile 和ClueAI/ChatYuan-large-v2 模型的支持 #152
chatyuan模型需要调用在loader.py中基于AutoModel进行调用，并使用MOSSLLM类作为provides，但当前脚本虽然在
model_config.py中定义了模型配置字典，但并未进行正式适配，本次提交进行了正式支持。
通过api.py进行了测试
增加了对bloom模型的支持.[FEATURE] 未来可增加Bloom系列模型吗？根据甲骨易的测试，这系列中文评测效果不错 #346
bloom模型对中文和代码的支持优于llama等模型，可作为候选模型。
通过api.py对bloom-3b进行了测试，bloomz-7b由于没有资源而没有测试
增加了对baichuan-7b模型的支持 [FEATURE] 是否能够支持baichuan模型 #668。
通过api.py进行了测试
修复多GPU部署的bug，多GPU部署时，默认的device-map为chatglm的device-map，针对新模型几乎必然会报错
改为使用accelerate的infer_auto_device_map。
该错误由于调用bloom等模型时发现。
通过api.py和cli_demo.py脚本进行了测试
增加对openai支持，参考openai的调用方式，重写了fastchat的模型配置字段，使支持openai的调用。
没有openai的key,因此没有测试
在install.md文档中，增加了对调用llama-cpp模型的说明。
要调用llama-cpp模型需要的手动配置的内容较多，需要额外进行说明
支持在多卡情况下也可以自定义部署在一个GPU设备。设置了torch.cuda.set_device(1)，不起作用 #681 请问如何设置用哪一张GPU？ #693
在某些情况下，如机器被多人使用，其中一个卡利用率较高，而另一些利用率较低，此时应该将设备指定在空闲的卡上，而不应自动进行多卡并行，但在现有版本中，load.py中_load_model没有考虑这种情况，clear_torch_cache函数也没有考虑这种情况。本次提交中，支持在model_config.py中设置llm_device的为类似“cuda:1”的方式自定义设备。

… dev pull for 2023--6-15

…api,未测试)；5.增加了llama-cpp模型部署的说明

modified: ../docs/INSTALL.md 在install.md里增加对llama-cpp模型调用的说明

Kernel168 · 2023-06-28T22:13:02Z

configs/model_config.py

+        "pretrained_model_name": "gpt-3.5-turbo",
+        "provides":"FastChatOpenAILLM",
+        "local_model_path": None,
+        "api_base_url": "https://api.openapi.com/v1",


"https://api.openai.com/v1"

zhutianning · 2023-07-11T10:01:51Z

增加了对baichuan-7b模型的支持 [FEATURE] 是否能够支持baichuan模型 #668。
通过api.py进行了测试

请问为什么我执行python api.py 报错？

hzg0601 · 2023-07-11T10:29:02Z

你的provides写的是什么？

zhutianning · 2023-07-12T05:52:10Z

你的provides写的是什么？

执行python api.py 报错 AttributeError: module 'models' has no attribute 'Baichuan'� 具体是哪里没写对呢？

hzg0601 · 2023-07-12T05:52:31Z

你的provides写的是什么？

没有Baichuan这么个provides,用MOSSLLM

zhutianning · 2023-07-12T06:13:45Z

你的provides写的是什么？

没有Baichuan这么个provides,用MOSSLLM

请问如果想自己适配baichuan-7B和baichuan-13B 是不是只需要修改models文件夹和configs/mode_config.py ?

hzg0601 · 2023-07-12T06:25:21Z

你的provides写的是什么？

没有Baichuan这么个provides,用MOSSLLM

请问如果想自己适配baichuan-7B和baichuan-13B 是不是只需要修改models文件夹和configs/mode_config.py ?

dev分支下可以，master分支下还不行

earthxx · 2023-07-13T08:19:46Z

请问如果想自己适配baichuan-7B和baichuan-13B 是不是只需要修改models文件夹和configs/mode_config.py ?

貌似13B不适配模型加载异常

hzg0601 · 2023-07-13T08:52:49Z

请问如果想自己适配baichuan-7B和baichuan-13B 是不是只需要修改models文件夹和configs/mode_config.py ?

貌似13B不适配模型加载异常

报什么错误？

zhutianning · 2023-07-13T09:13:30Z

大佬请问 fnlp/moss-moon-003-sft-int4 支持了吗？我这边加载报错ModuleNotFoundError: No module named 'transformers_modules.moss-moon-003-sft-int4.custom_autotune'
目前是api只能测试FP16无量化版本的是么

hzg0601 · 2023-07-13T10:14:54Z

int4没有测试过，但是应该是可以支持的，你这个错误应该模型文件没有下载完整导致的

earthxx · 2023-07-14T01:02:03Z

请问如果想自己适配baichuan-7B和baichuan-13B 是不是只需要修改models文件夹和configs/mode_config.py ?

貌似13B不适配模型加载异常

报什么错误？

def init_model():
args = parser.parse_args()

args_dict = vars(args)
shared.loaderCheckPoint = LoaderCheckPoint(args_dict)
llm_model_ins = shared.loaderLLM()
try:
    local_doc_qa.init_cfg(llm_model=llm_model_ins)
    answer_result_stream_result = local_doc_qa.llm_model_chain(
        {"prompt": "你好", "history": [], "streaming": False})

    for answer_result in answer_result_stream_result['answer_result_stream']:
        print(answer_result.llm_output)
    reply = """模型已成功加载，可以开始对话，或从右侧选择模式后开始对话"""
    logger.info(reply)
    return reply
**except Exception as e:**  ###模型可以加载 但是在这里直接抛出异常
    logger.error(e)
    reply = """模型未成功加载，请到页面左上角"模型配置"选项卡中重新选择后点击"加载模型"按钮"""
    if str(e) == "Unknown platform: darwin":
        logger.info("该报错可能因为您使用的是 macOS 操作系统，需先下载模型至本地后执行 Web UI，具体方法请参考项目 README 中本地部署方法及常见问题："
                    " https://github.com/imClumsyPanda/langchain-ChatGLM")
    else:
        logger.info(reply)
    return reply

jamiechoi1995 · 2023-07-14T02:53:11Z

调用baichuan的输出效果很奇怪，请问是有什么bug吗

hzg0601 · 2023-07-14T03:03:24Z

调用baichuan的输出效果很奇怪，请问是有什么bug吗

百川7b,13b-base不是一个指令对齐的模型，这个项目对没有指令对齐的模型的chat模式也没有支持

zhutianning · 2023-07-14T03:32:34Z

调用baichuan的输出效果很奇怪，请问是有什么bug吗

我用baichuan-7B 也出现了这个问题；请问你有使用baichuan-13B-chat 试过吗

hzg0601 · 2023-07-14T05:17:16Z

没有，不过想来表现应该会好不少

hzg0601 added 18 commits June 12, 2023 16:22

修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项

eb620dd

更新FAQ，增加了[Errno 110] Connection timed out的原因与解决方案

4054e46

修改loader.py中load_in_8bit失败的原因和详细解决方案

f7e7d31

update loader.py

b63c742

stream_chat_bing

987f551

修改stream_chat的接口，在请求体中选择knowledge_base_id;增加stream_chat_bing接口

660f8c6

优化cli_demo.py的逻辑：支持输入提示；多输入；重新输入

b262612

update cli_demo.py

c42c0cb

Merge branch 'dev' of github.com:imClumsyPanda/langchain-ChatGLM into…

ba33644

… dev pull for 2023--6-15

add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1

40487d9

1.增加对llama-cpp模型的支持；2.增加对bloom模型的支持；3. 修复多GPU部署的bug;4. 增加对openai支持（没有…

1ac7fcd

…api,未测试)；5.增加了llama-cpp模型部署的说明

llama模型兼容性说明

8e5f3b1

modified: ../configs/model_config.py

5a79b73

modified: ../docs/INSTALL.md 在install.md里增加对llama-cpp模型调用的说明

修改llama_llm.py以适应llama-cpp模型

074370a

完成llama-cpp模型的支持；

80455fc

make fastchat and openapi compatiable

bf78fb7

1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持；2. 修复了moss_llm.py的bug;

9fbc267

set default model be chatglm-6b

e9ea9b5

hzg0601 changed the base branch from master to dev June 19, 2023 17:08

在多卡情况下也支持自定义GPU设备

8833216

This was referenced Jun 26, 2023

[BUG] 将model_config.py里面的LLM_MODEL修改为chatglm2-6b启动报错 #713

Closed

langchain-chatglm的dev分支在使用模型chatglm2-6b的时候出现的问题 #708

Closed

加载moss模型报错 #727

Closed

Kernel168 reviewed Jun 28, 2023

View reviewed changes

imClumsyPanda requested review from imClumsyPanda and glide-the July 4, 2023 12:17

Merge branch 'dev' into llama-cpp

2d15d0d

imClumsyPanda merged commit a5ca4bf into chatchat-space:dev Jul 11, 2023

hzg0601 deleted the llama-cpp branch July 12, 2023 00:45

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU #664

1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU #664

hzg0601 commented Jun 19, 2023 •

edited

Loading

Kernel168 Jun 28, 2023

zhutianning commented Jul 11, 2023

hzg0601 commented Jul 11, 2023

zhutianning commented Jul 12, 2023

hzg0601 commented Jul 12, 2023

zhutianning commented Jul 12, 2023

hzg0601 commented Jul 12, 2023

earthxx commented Jul 13, 2023

hzg0601 commented Jul 13, 2023

zhutianning commented Jul 13, 2023

hzg0601 commented Jul 13, 2023

earthxx commented Jul 14, 2023

jamiechoi1995 commented Jul 14, 2023

hzg0601 commented Jul 14, 2023

zhutianning commented Jul 14, 2023

hzg0601 commented Jul 14, 2023

1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU #664

1.增加对llama-cpp模型的支持；2.增加对bloom/chatyuan/baichuan模型的支持；3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug；5. 增加对openai支持（没有api,未测试);6. 支持在多卡情况自定义设备GPU #664

Conversation

hzg0601 commented Jun 19, 2023 • edited Loading

Kernel168 Jun 28, 2023

Choose a reason for hiding this comment

zhutianning commented Jul 11, 2023

hzg0601 commented Jul 11, 2023

zhutianning commented Jul 12, 2023

hzg0601 commented Jul 12, 2023

zhutianning commented Jul 12, 2023

hzg0601 commented Jul 12, 2023

earthxx commented Jul 13, 2023

hzg0601 commented Jul 13, 2023

zhutianning commented Jul 13, 2023

hzg0601 commented Jul 13, 2023

earthxx commented Jul 14, 2023

jamiechoi1995 commented Jul 14, 2023

hzg0601 commented Jul 14, 2023

zhutianning commented Jul 14, 2023

hzg0601 commented Jul 14, 2023

hzg0601 commented Jun 19, 2023 •

edited

Loading