模型量化快速推理GGUF系列基础模型下载网盘分享

简介

GGUF(GPT-Generated Unified Format)是一种由 Georgi Gerganov 定义发布的大模型文件格式。它继承自其前身 GGML,但 GGML 格式存在一些缺点,已经被 GGUF 格式取代。GGUF 格式的主要用途是优化模型的存储和加载,提高模型的可扩展性和易用性,同时支持模型量化以节省计算资源。GGUF 格式的预量化模型允许用户使用 CPU 来运行大型语言模型(LLM),并且可以选择将某些层加载到 GPU 以提高速度。GGUF 格式还支持模型量化,包括 4 位、8 位和 F16 量化,这有助于节省显存的情况下依然能够快速推理。

效果预览

模型列表(持续更新,建议收藏)
flux1-dev-Q2_K.gguf

资源下载

百度网盘高速

下载价格VIP专享
仅限VIP下载

普通下载

下载价格免费
此资源购买后60天内可下载。限时福利:新注册用户可获得5积分奖励~
类型:GGUF
常见问题
工作流报错?
工作流报错包括缺少节点、模型等。缺少模型可按工作流内模型名称进行站内搜索。
工作流缺少节点?
1.不同的ComfyUI工作流会涉及不同的扩展节点,最快解决方法是下载扩展管理器ComfyUI-Manager(https://github.com/ltdrdata/ComfyUI-Manager)来自动补全缺失节点。
2.某些节点可能过于老旧或被弃用,建议把同类节点升级或尽量使用新日期的工作流模板。
工作流模型和推荐模型不一样?
有些工作流使用的模型与文章推荐的模型会有所不同,这是因为模型版本一直在更新,我们尽可能选择不改变效果的范围内给您推荐较新版本的模型,所以会导致有些模型的名称与工作流内的模型名称不相同,但不影响使用,在使用的过程中可以留意一下就好。
模型下载后要怎么安装?
一般模型分为大模型CheckPoint和风格模型LoRA、VAE或CLIP等类型,多数情况下,它们都应分别放在ComfyUImodels目录下对应类型的文件夹内即可,而有些基础模型则要放在其扩展名称的models文件夹内。基础模型种类繁多且,他们的安装方法一般在其官方链接中有详细说明。
模型下载后可以修改文件名吗?
重命名不会影响该模型的功能,但会导致工作流模板找不到原来的模型文件。虽然可以手动选择,但不建议这么做!因为模型的种类和版本成千上万,名称相似的也数量不少,一旦随意更改模型原名称,很可能会造成众多模型文件过于混乱对不上号的可能。
-gguf.html,转载请注明出处。
由于本网站资源是搜集整理而成,版权均归原作者所有。网站内所有资源仅供学习交流之用,请勿用作商业用途,并请于下载后24小时内删除,如果喜欢,请支持正版,谢谢。


0
© 版权声明
THE END
点赞8 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容