llm_party用于本地模型(LLM_Party for Local Models)

#官方文档链接

https://dcnsxxvm4zeq.feishu.cn/wiki/xonxwc2btiw8ydkyfqsctfaenhf?fromscene = spaceoverview

——————————————————————————————————————–

#介绍:

该工作流是通过加载本地的大语言模型,模块化实现工具调用功能。

——— ———————————————————————————————————–

#参数详解:

·model_name:填写需要加载的模型名称(也可以不填写,如果模型文件夹路径没有填写,会根据模型名称从hugging face上下载并加载模型,SafetEnsors格式或者bin格式加载)

– 填写示例:qwen/qwen2-7b-instruct

– 注:必须与face上的模型名称一致且包含仓库名。

·model_type:llm,llama、 qwen

·model_path:上传本地大语言模型的模型文件夹路径注:该路径是linux系统文件路径,Windows需要将“/”改为“ \”:d:\ ai \ mychat \ mode \ qwen7b <qwen7b

· ,自动选择你的cuda/mps/cpu设备设备>

– 默认是[true]状态,在该状态下,模型不会自动切换,也就意味着不需要重复加载模型,但是模型运行的显存不会被清空。(推荐!当你不需要频繁切换模型时,将[is_locked]选择为[true],然后将工作流中的卸载模型节点删除)

– 如果是[false] [false]状态 Model/清空模型】节点,来清理缓存。这样做的好处是,可以在任意位置将你的模型卸载,保证后续的模型可以使用显存。

——————————————————————————————————————–

##注:

·【本地LLM加载器】和【本地大语言模型】节点下的[model_type]需要根据本地的大语言模型调整至相同的类型。

—————————————————————————————————————————————————————– ———————————-

llm资源链接:

·百度网盘:

https://pan.baidu.com/s/1t4aeb4humdj7ivbvsvsv1vza?pwd=qyhu 提取码: qyhu

——————————————————————————————————————–

#写在最后:

– LLM_Party正在用心经营一片AI时代的后花园,我们希望能够在AI时代下成为众多参与者的一员,我们从开源社区中走来,也希望回到社区中去。

-欢迎大家来到我们用心经营的后花园。如果我们的项目能够帮助到大家,麻烦大家在github上帮我点一下星:

– github:https://github.com/heshengtao/comfyui_llm_party

– openART:https://openart.ai/workflows/profile/comfyui_llm_party? liblib:https://www.liblib.art/userpage/4378612C5B3341C79C79C0DEAB3101AEABB/PUBLISH/publish/workflow </pworkflow

– :https://space.bilibili.com/26978344?spm_id_from = 333.337.0.0.0.0

– youtube:https://wwwww.youtube.com/@comfyui-lllm-llm-par-comfyui-llm-party

– 不和谐:https://discord.com/invite/gxrqayy6

– qq交流群:931057213

– 微信交流群:choo-yong:choo-yong (添加小助理微信,统一通过后会添加至交流群,统一通过后会添加至交流群)

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部