标签: 放大算法

  • ComfyUI-HYPIR节点:LeePoet力推基于SD2.1图像超清修复放大

    我是LeePoet。今天给大家推荐一款我最近深度体验的ComfyUI节点——ComfyUI-HYPIR,这是一个基于HYPIR项目开发的图像修复工具,专门针对SD2.1模型进行了优化,能够实现高质量的图像修复和超分辨率放大。该技术基于扩散模型生成的分数先验进行图像修复与放大,具有高质量、清晰、锐利的效果。

    💡 为什么选择HYPIR?

    HYPIR(Harnessing Diffusion-Yielded Score Priors for Image Restoration)是一个利用扩散模型得分先验进行图像修复的先进技术。相比传统的ESRGAN放大方式,HYPIR在细节保留和伪影控制方面表现更出色,特别适合处理模糊、噪点严重的图像。

    🎯 适用场景

    ComfyUI-HYPIR几乎覆盖了所有图像修复需求:

    • 老照片修复:将模糊的老照片恢复到高清状态
    • 商品图优化:电商产品图放大后依然保持清晰细节
    • 动漫/游戏素材:二次元图片放大后线条清晰,色彩饱满
    • 人像写真:针对人像照片进行专项优化,面部细节更自然
    • 风景照片:自然风光放大后远景细节依然丰富

    HYPIR可在GitHub上找到,推荐使用其ComfyUI插件实现,模型需下载并放置于ComfyUI的models文件夹中。操作流程包括单张图片上传、设置放大倍数(支持1-8倍,推荐2-4倍),并通过HYPIR Advanced节点进行处理。放大前后对比,HYPIR在不改变原图结构的前提下显著提升清晰度。此外,支持批量处理,通过设置路径和数量实现多图自动放大。参数方面,coeff值(默认100,可调至500)影响修复强度,数值越高重绘幅度越大,适用于AI生成图像的增强处理。整体流程稳定、操作简便,建议替代旧有放大方法。


    开源地址:https://github.com/11dogzi/Comfyui-HYPIR

    这是一个用于 HYPIR(利用扩散得分先验进行图像修复) 的 ComfyUI 插件,HYPIR 是基于 Stable Diffusion 2.1 的先进图像修复模型。

    功能特性

    • 图像修复:利用扩散先验修复和增强低质量图像
    • 批量处理:一次处理多张图片
    • 高级控制:可微调模型参数以获得最佳效果
    • 模型管理:高效加载和复用 HYPIR 模型
    • 放大功能:内置放大功能(1x 到 8x)

    安装方法

    1. 安装插件

    将本文件夹放入 ComfyUI 的 custom_nodes 目录下:ComfyUI/custom_nodes/Comfyui-HYPIR/

    2. 安装 HYPIR 依赖

    进入 HYPIR 文件夹并安装所需依赖:

    cd ComfyUI/custom_nodes/Comfyui-HYPIR/HYPIR
    pip install -r requirements.txt

    3. 模型下载(自动)

    插件首次使用时会自动下载所需模型:

    HYPIR 模型

    修复模型将下载到:ComfyUI/models/HYPIR/HYPIR_sd2.pth

    基础模型(Stable Diffusion 2.1)

    基础 Stable Diffusion 2.1 模型将在需要时自动下载到:ComfyUI/models/HYPIR/stable-diffusion-2-1-base/

    手动下载(可选):

    HYPIR 模型:如果你希望手动下载,可以从以下地址获取 HYPIR 模型:

    请将 HYPIR_sd2.pth 文件放在以下任一位置:

    • 插件目录:ComfyUI/custom_nodes/Comfyui-HYPIR/
    • ComfyUI 模型目录:ComfyUI/models/checkpoints/
    • 或让插件自动管理,放在 ComfyUI/models/HYPIR/

    基础模型: 基础 Stable Diffusion 2.1 模型可从以下地址手动下载:

    请将基础模型放在:ComfyUI/models/HYPIR/stable-diffusion-2-1-base/

     注意: 插件会优先在 HYPIR 目录下查找基础模型,如未找到会自动从 HuggingFace 下载。

    使用方法

    高级图像修复

    1. 添加 HYPIR Advanced Restoration 节点
    2. 此节点提供更多参数控制:
      • model_t:模型步数(默认200)
      • coeff_t:系数步数(默认200)
      • lora_rank:LoRA 阶数(默认256)
      • patch_size:处理块大小(默认512)

    配置

    你可以在 hypir_config.py 中修改默认设置:

    HYPIR_CONFIG = {
        "default_weight_path": "HYPIR_sd2.pth",
        "default_base_model_path": "stable-diffusion-2-1-base",
        "available_base_models": ["stable-diffusion-2-1-base"],
        "model_t": 200,
        "coeff_t": 200,
        "lora_rank": 256,
        # ... more settings
    }

    模型路径管理

    插件包含智能模型路径管理:

    • HYPIR 模型:自动下载到 ComfyUI/models/HYPIR/HYPIR_sd2.pth
    • 基础模型:需要时自动下载到 ComfyUI/models/HYPIR/stable-diffusion-2-1-base/
    • 本地优先:插件会优先查找本地模型
    • 自动下载:仅在本地未找到模型时才下载

    最佳效果小贴士

    1. 提示词:使用与图片内容相符的描述性提示词
      • 人像:”high quality portrait, detailed face, sharp features”
      • 风景:”high quality landscape, detailed scenery, sharp focus”
      • 通用:”high quality, detailed, sharp, clear”
    2. 放大
      • 1x 表示仅修复不放大
      • 2x-4x 适合中等放大
      • 8x 为最大放大(速度较慢)
    3. 参数
      • model_t 越高(200-500)修复越强
      • coeff_t 越高(200-500)增强越明显
      • lora_rank 越高(256-512)质量越好(占用更多内存)
    4. 内存管理
      • 如遇内存不足可用较小的 patch_size(256-512)
      • 分批处理图片
      • 使用模型加载器节点避免重复加载模型

    配置

    你可以在 hypir_config.py 中修改默认设置:

    HYPIR_CONFIG = {
        "default_weight_path": "HYPIR_sd2.pth",
        "default_base_model_path": "stable-diffusion-2-1-base",
        "available_base_models": ["stable-diffusion-2-1-base"],
        "model_t": 200,
        "coeff_t": 200,
        "lora_rank": 256,
        # ... more settings
    }

    模型路径管理

    The plugin includes intelligent model path management: 插件包含智能模型路径管理:

    • HYPIR Model: Automatically downloaded to ComfyUI/models/HYPIR/HYPIR_sd2.pth
    • HYPIR 模型:自动下载到 ComfyUI/models/HYPIR/HYPIR_sd2.pth
    • Base Model: Automatically downloaded to ComfyUI/models/HYPIR/stable-diffusion-2-1-base/ when needed
    • 基础模型:需要时自动下载到 ComfyUI/models/HYPIR/stable-diffusion-2-1-base/
    • Local Priority: The plugin checks for local models first before downloading
    • 本地优先:插件会优先查找本地模型
    • Automatic Download: Only downloads when models are not found locally
    • 自动下载:仅在本地未找到模型时才下载

    最佳效果小贴士

    使用模型加载器节点避免重复加载模型

    提示词:使用与图片内容相符的描述性提示词

    人像:”high quality portrait, detailed face, sharp features”

    风景:”high quality landscape, detailed scenery, sharp focus”

    通用:”high quality, detailed, sharp, clear”

    放大

    1x 表示仅修复不放大

    2x-4x 适合中等放大

    8x 为最大放大(速度较慢)

    参数

    model_t 越高(200-500)修复越强

    coeff_t 越高(200-500)增强越明显

    lora_rank 越高(256-512)质量越好(占用更多内存)

    内存管理

    如遇内存不足可用较小的 patch_size(256-512)

    分批处理图片

    常见问题

    1. 导入错误:请确保已安装 HYPIR 依赖cd HYPIR pip install -r requirements.txt
    2. 模型未找到:插件会自动下载缺失的模型
      • 检查网络连接以便自动下载
      • HYPIR 模型:将 HYPIR_sd2.pth 放在插件目录或 ComfyUI 模型目录
      • 基础模型:将 stable-diffusion-2-1-base 文件夹放在 ComfyUI/models/HYPIR/
      • 插件会自动检查并下载缺失模型

    实操:

    1.先到https://github.com/11dogzi/Comfyui-HYPIR的仓库直接复制插件仓库地址

    2.进入本地的.\ComfyUI\custom_nodes目录,右链git bash拉取仓库

    3.启动COMFYUI,通过启动器先拉取HYPIR所需要的库并启动到UI

    4.打开huggingface.co,直接使用国内镜像源:https://huggingface.1319lm.top/lxq007/HYPIR/tree/main,复制HYPIR的GIT仓库

    5.下载HYPIR修复模型,进入.\ComfyUI\models,右键打开git bash,魔法就使用国内镜像源GIT

    6.下载stable-diffusion-2-1-base模型,先进入https://huggingface.1319lm.top/Manojb/stable-diffusion-2-1-base/tree/main,把以下红框框住的都手动下载,因为很多都是重复的一样的模型,只是后缀不一样。我们只需要下一个就行。所以这里不能直接GIT整个仓库。

    额外说明:text_encoder、unet、vae都只需要下一个模型即可,如果是FP16的,下载到本地后记得把FP16的字去掉,这样才会被节点识别。

    7.下载完所有模型后,重新启动COMFYUI

    当然,SD放大的模型与技术有很多,可以说都各有千秋,非要说哪几个最好用,只有等LEEPOET闲来有空再给大家介绍,总而言之ComfyUI-HYPIR是一款功能强大、操作简单的图像修复工具,特别适合需要高质量图像放大的用户。无论是老照片修复、商品图优化还是人像写真处理,都能获得令人满意的效果。如果你正在寻找一款稳定、高效的图像超清修复工具,ComfyUI-HYPIR绝对值得一试。我已经将它作为我的主力图像修复工具,强烈推荐给大家!


    相关文章:

    ComfyUI-GGUF-VLM 结合 llama.cpp GPU 加速:实现图像反推秒级效率

    Custom_Nodes篇:ComfyUI-QwenVL反推节点

    Custom_Nodes篇:ComfyUI-QwenVL3-image反推节点

    Stablediffusion的放大算法解析:图片高清修复放大相关说明

    环境篇:加载ComfyUI出现WARNING: Failed to find MSVC解决方案

  • Stablediffusion的放大算法解析:图片高清修复放大相关说明

    Stablediffusion的放大算法解析:图片高清修复放大相关说明

    老照片翻新,或者是不清楚的图想变清晰,或者清晰的小图想变成高清大图,这是我们很多人都有的需求,但怎么做?以前可能比较麻烦,但现在有Stable-Diffusion后,一切变的简单。我们先看示例:

    在Stable-Diffusion中附加功能中有高清修图的功能,选择适合的算法和参数可以一键模糊变高清,如上图所示。

    修图示例

    注意一建修图可能修不好,我们可以不用一步到位,逐步从小修到大,如下从原图先放大2倍,再放大2倍并选上面部修复的结果:

    注意中间步骤替换要修复的图片,推荐算法使用R-ESRGAN 4x+LDSR如果你是修动漫图,推荐算法为 R-ESRGAN 4x+ Anime6B 。

    算法介绍

    下面补充这些算法都是什么意思,方便理解:

    ESRGAN算法

    ESRGAN是Enhanced Super-Resolution Generative Adversarial Network的缩写,是一种基于生成对抗网络(GAN)的图像超分辨率算法。其主要思想是通过学习低分辨率(LR)图像与其高分辨率(HR)对应物之间的映射,来实现从LR图像到HR图像的映射过程,从而实现图像的超分辨率。相较于传统的基于插值的超分辨率算法,ESRGAN可以生成更加清晰、细节更加丰富的高分辨率图像。ESRGAN的训练数据集通常包括低分辨率图像及其对应的高分辨率图像,其训练过程中通过生成器网络(Generator)和判别器网络(Discriminator)相互对抗,以提高生成器的超分辨率效果。

    ESRGAN_4x是一种基于超分辨率技术的图像增强算法。它是ESRGAN算法的一种改进版本,可以将低分辨率的图像通过神经网络模型增强到4倍的分辨率。ESRGAN_4x算法主要利用超分辨率技术中的单图像超分辨率重建方法,通过对低分辨率图像进行学习和训练,学习到图像的高频细节信息,然后将这些信息用于重建高分辨率图像。相比于传统的插值方法,ESRGAN_4x算法在增强图像的细节信息和保留图像质量方面有了明显的提升。

    LDSR算法

    LDSR是一种用于图像超分辨率的深度学习算法,其全称为”Deep Laplacian Pyramid Super-Resolution”。LDSR算法通过学习图像的低分辨率版本和高分辨率版本之间的关系来实现图像的超分辨率。LDSR算法采用了一种名为”深度拉普拉斯金字塔”的方法,该方法可以将原始图像分解为多个图像金字塔,以便更好地捕捉图像的细节和结构。

    LDSR算法的核心思想是使用深度学习网络来学习输入图像的低分辨率版本与高分辨率版本之间的映射关系。具体来说,LDSR算法将输入图像的低分辨率版本作为网络的输入,将高分辨率版本作为网络的输出,并训练网络以最小化两者之间的差异。LDSR算法采用了深度卷积神经网络(DCNN)来实现这一目标。

    LDSR算法具有高精度、高效率、易于实现等优点,在图像超分辨率等领域得到了广泛应用。

    R-ESRGAN 4x+算法

    R-ESRGAN 4x+是一种图像超分辨率重建算法。其全称为”Real-Time Enhanced Super-Resolution Generative Adversarial Network 4x+”,是一种基于生成式对抗网络(GAN)的算法,是 ESRGAN(Enhanced Super-Resolution Generative Adversarial Networks)的改进版本之一。它通过引入残差连接和递归结构,改进了 ESRGAN 的生成器网络,并使用 GAN(Generative Adversarial Networks)进行训练。R-ESRGAN 4x+ 在提高图像分辨率的同时,也可以增强图像的细节和纹理,并且生成的图像质量比传统方法更高。它在许多图像增强任务中都取得了很好的效果,比如图像超分辨率、图像去模糊和图像去噪等。

    R-ESRGAN 4x+ Anime6B算法

    R-ESRGAN 4x+ Anime6B 是一种基于超分辨率技术的图像增强算法,主要用于提高动漫图像的质量和清晰度。它基于 R-ESRGAN 4x+ 算法,并使用了 Anime6B 数据集进行训练。Anime6B 数据集是一个专门用于动漫图像处理的数据集,其中包含了大量不同风格、不同质量的动漫图像,使得算法可以适应不同类型的动漫图像。

    R-ESRGAN 4x+ Anime6B 算法主要通过提取图像特征、生成高分辨率图像和优化来实现图像增强。具体来说,它采用了一种名为残差块的结构来提取图像的高级特征,然后通过反卷积和上采样等方法生成高分辨率图像。最后,通过对生成的图像进行优化和后处理,进一步提高图像的质量和清晰度。

    R-ESRGAN 4x+ Anime6B 算法在动漫图像增强领域具有较高的准确性和效果,并且可以应用于不同类型的动漫图像处理,如动画制作、漫画制作等。

    SwinIR_4x

    SwinIR_4x是一种基于Swin Transformer的图像超分辨率重建算法,可将低分辨率图像放大4倍,生成高分辨率图像。Swin Transformer是一种新型的Transformer模型,相对于传统的Transformer模型,在处理图像等二维数据时,具有更好的并行性和更高的计算效率。SwinIR_4x通过引入Swin Transformer和局部自适应模块(LAM)来提高图像重建的质量和速度。其中,局部自适应模块用于提高图像的局部细节,从而增强图像的真实感和清晰度。SwinIR_4x被广泛应用于计算机视觉领域,特别是图像重建、图像增强和图像超分辨率等方面。

    Lanczos算法

    Lanczos是一种用于对称矩阵的特征值分解的算法。在机器学习中,Lanczos算法通常用于实现特征值分解的近似算法,例如用于计算大规模数据集中的主成分分析(PCA)或矩阵逆运算。Lanczos算法的基本思路是利用正交矩阵将原始矩阵变换为一个三对角矩阵,然后使用迭代方法找到这个三对角矩阵的特征值和特征向量。由于三对角矩阵的维度通常比原始矩阵小得多,因此Lanczos算法可以大大加速特征值分解的计算过程。

    Nearest算法

    Nearest算法(最近邻算法)是一种常见的机器学习算法,用于分类和回归问题。在分类问题中,最近邻算法根据样本之间的距离将新样本分配给最相似的已知样本所属的类别。在回归问题中,最近邻算法通过找到与新样本最相似的已知样本来预测输出值。

    最近邻算法通常包括两个步骤:首先计算新样本与已知样本之间的距离或相似度,然后根据最相似的已知样本的标签或值进行预测。

    最近邻算法的优点是它非常简单且易于实现,并且对于许多数据集而言效果很好。然而,该算法的缺点是它在处理高维数据和大规模数据时的计算开销非常大,并且对于噪声数据和类别之间的不平衡性表现较差。