用于图像着色的五个开源Python工具

​成千上万的老式照片和电影是在彩色图像还没有出现的年代拍摄的。如今，在深度学习的帮助下，我们可以为这些图片着色，使它们更接近原来的样子。,作为测试，我将使用两张图像。,,,本文将使用开源工具，这些工具可以从GitHub下载。,DeOldify是基于SA-GAN (Self-Attention - generate对抗网络)。一般来说，GAN由两个独立的神经网络组成——生成器和判别器。这两个网络都是由大量的图像训练而成，在训练过程中，生成器学会了制作似是而非的图像，而判别器学会将生成的图像与真实的图像区分开来。,为了在本地运行DeOldify，我们需要从GitHub中获取项目，并将预训练好的神经网络权重下载到“models”文件夹中(链接来自项目页面，未来作者可能会更改):,在这里，我将“device”设置为CPU - 如果您没有好的显卡，则很可能会收到“内存不足”错误（CPU上的处理时间约为3-5s，GPU上的处理时间约为0.5s，因此CPU计算也运行良好）。如果您希望运行独立的Python代码，则可以使用以下Python代码：,至于结果，相当不错：,,,大家还可以尝试更改模型(有两种模型，具有更鲜艳颜色的“artistic”模型和“stable”模型可用)和影响输出颜色的“render_factor”变量。要去除水印可以将参数watermarked设置为False。,这个项目使用卷积神经网络(CNN)来生成彩色图像。在体系结构上，它比DeOldify简单得多，但正因为如此，它可能更方便大家理解它的工作原理。,最后一次项目更新是在2020年，但代码仍然可以工作，并且可以很容易地在本地运行。,有两种模型可用，Python代码如下:,结果如下：,,,,,顾名思义，ChromaGAN的作者也在使用生成对抗网络给图像上色。,这个项目可能只是作为研究的一个演示，操作并不是太友好。在使用项目之前，应下载“my_model_colorization.h5”文件（链接在GitHub页面上提供）并放入“MODEL”文件夹中。源图像和输出图像应该分别放在“chromagan_images”和“chromagan_results”文件夹中，然后可以参考作者jupyter notebook进行处理。要在本地PC上运行代码，“from google.colab.patches import cv2_imshow”和“cv2_imshow(…)”行应该删除。该项目正在使用Keras，如果出现“内存不足”的错误，建议在文件开头添加os.environ["CUDA_VISIBLE_DEVICES"] = "-1"。,,,这个项目可以从google-research GitHub页面下载，更详细的研究论文也可以下载。作者使用的是具有自注意力架构的轴向transformer，而不是GAN。在使用ColTran之前，我们需要下载预训练模型，这些模型位于ColTran.zip归档文件中。该归档文件包含3个模型检查点:colorizer、color_upsampler和spatial_upsampler。然后我们可以运行3个Python命令:,这里的img_dir是一个文件夹，包含源图像，store_dir是输出文件夹，colorize是一种处理模式，而logdir是到预训练模型的路径。我们有3个处理步骤:我们有3个处理步骤:“colorizer”只使用512种输出颜色和64x64的输出图像进行粗着色，“color upsampler”改善颜色，“spatial upsampler”将图像提升到256x256的分辨率。,结果是颜色也很准确:,,,这个工具可能只是作为研究论文的演示而制作的，与以前的项目相比，没有现成的方法来处理任意分辨率的图像。输出仅限于 256x256 大小。,BigColor项目是由作者在2022年提出的。作者还在他们的论文中写道:“我们将BigColor与最近的自动着色方法进行了比较，包括CIC、ChromaGAN、DeOldify、InstColor、ColTran和ToVivid。在六张具有挑战性的图像上，BigColor的优于所有方法。”,该项目本身可以从GitHub页面下载（https://github.com/KIMGEONUNG/BigColor）。使用代码很简单。在进行转换之前，应该执行两个脚本download- pretraining.sh和download-bigcolor.sh。之后，可以使用一个命令完成转换:,此处的path_ckpt是指向预训练模型的路径，images_gray是包含源图像的文件夹。结果如下：,,,图像着色是一个有趣的话题，正如我们所看到的，不同的方法和架构是可能的。从准确性的角度来看，事情也很复杂。通常，黑白照片不再有颜色信息，因此神经网络只能根据之前训练的图像来猜测输出结果。例如，这是我用来测试的原始图像：,,这是相同的图像，转换为黑白：,,这是使用DeOldify制作的图像：,,树是绿色的，天空是蓝色的，这已经挺不错了。但是，不仅DeOldify，而且其他经过测试的项目都无法正确确定百叶窗的颜色。在大多数情况下，这些结果已经足够好了。,