#官方文档链接
https://dcnsxxvm4zeq.feishu.cn/wiki/xonxwc2btiw8ydkyfqsctfaenhf?fromscene = spaceoverview
——————————————————————————————————————–
#介绍:
该工作流是通过加载本地的大语言模型,模块化实现工具调用功能。
——— ———————————————————————————————————–
#参数详解:
·model_name:填写需要加载的模型名称(也可以不填写,如果模型文件夹路径没有填写,会根据模型名称从hugging face上下载并加载模型,SafetEnsors格式或者bin格式加载)
– 填写示例:qwen/qwen2-7b-instruct
– 注:必须与face上的模型名称一致且包含仓库名。
·model_type:llm,llama、 qwen
·model_path:上传本地大语言模型的模型文件夹路径注:该路径是linux系统文件路径,Windows需要将“/”改为“ \”:d:\ ai \ mychat \ mode \ qwen7b <qwen7b
· ,自动选择你的cuda/mps/cpu设备设备>
– 默认是[true]状态,在该状态下,模型不会自动切换,也就意味着不需要重复加载模型,但是模型运行的显存不会被清空。(推荐!当你不需要频繁切换模型时,将[is_locked]选择为[true],然后将工作流中的卸载模型节点删除)
– 如果是[false] [false]状态 Model/清空模型】节点,来清理缓存。这样做的好处是,可以在任意位置将你的模型卸载,保证后续的模型可以使用显存。
——————————————————————————————————————–
##注:
·【本地LLM加载器】和【本地大语言模型】节点下的[model_type]需要根据本地的大语言模型调整至相同的类型。
—————————————————————————————————————————————————————– ———————————-
llm资源链接:
·百度网盘:
https://pan.baidu.com/s/1t4aeb4humdj7ivbvsvsv1vza?pwd=qyhu 提取码: qyhu
——————————————————————————————————————–
#写在最后:
– LLM_Party正在用心经营一片AI时代的后花园,我们希望能够在AI时代下成为众多参与者的一员,我们从开源社区中走来,也希望回到社区中去。
-欢迎大家来到我们用心经营的后花园。如果我们的项目能够帮助到大家,麻烦大家在github上帮我点一下星:
– github:https://github.com/heshengtao/comfyui_llm_party
– openART:https://openart.ai/workflows/profile/comfyui_llm_party? liblib:https://www.liblib.art/userpage/4378612C5B3341C79C79C0DEAB3101AEABB/PUBLISH/publish/workflow </pworkflow
– :https://space.bilibili.com/26978344?spm_id_from = 333.337.0.0.0.0
– youtube:https://wwwww.youtube.com/@comfyui-lllm-llm-par-comfyui-llm-party
– 不和谐:https://discord.com/invite/gxrqayy6
– qq交流群:931057213
– 微信交流群:choo-yong:choo-yong (添加小助理微信,统一通过后会添加至交流群,统一通过后会添加至交流群)