Pixelization | 数据驱动的像素艺术

Aliasing-Aware and Cell-Controllable Pixelization

• paper https://orca.cardiff.ac.uk/id/eprint/152816/
• code https://github.com/WuZongWei6/Pixelization

img

Abstract

• 像素艺术是一种具有低分辨率外表的独一无二的艺术风格，可将其视为二维网格，每个网格单元包含 N × N 相同颜色的像素。由于分辨率有限，像素画需要色彩单元均匀分布，才能有效地表现重要内容。
• 我们提出了一种数据驱动的像素化方法，该方法可以在控制单元大小的情况下产生清晰（sharp）的单元效果
• 我们将像素化过程分解为特定的单元感知阶段cell-aware和锯齿感知aliasing-aware阶段，从而减少了联合学习单元大小、锯齿效应和颜色分配时的模糊性

Contributions

1. 像素化通常应满足以下要求：

• 识别锯齿：像素艺术应具有清晰锐利的边缘，而不是抗锯齿外观
• 可控制单元格：用户可根据需要控制结果的单元格大小
• 保留细节：结果应尽可能保留特征和连续边缘的外观
• 非配对数据：对于基于学习的方法，其训练应不需要像素艺术和相应的高分辨率图像的配对数据。 因为目前还没有这种成对图像的大比例数据集

1. 构造了非配对像素数据集

Related Work

image-20231109101523060

经典的插值方法

• nearest-neighbor, bicubic (最近邻采样会丢失原始图像中的关键细节，而双三次取样则会产生不理想的抗锯齿效果)

1. 最近邻插值：
   • 原理：最近邻插值是一种简单的插值方法，它选择离目标位置最近的已知像素值作为插值结果。
   • 优点：计算速度快，实现简单。
   • 缺点：结果可能不够平滑，会产生锯齿状的伪影效果。
2. 双线性插值：
   • 原理：双线性插值使用目标位置周围4个最近的已知像素值，根据距离和权重进行加权平均来计算插值结果。
   • 优点：相比于最近邻插值，结果更平滑，减少了锯齿状伪影。
   • 缺点：计算量较大，对于图像旋转和放大时，可能会引入一定程度的模糊。
3. 双三次插值（bicubic interpolation）： 插值方法原理优点缺点最近邻插值选择离目标位置最近的已知像素值作为插值结果计算速度快结果可能不够平滑，产生锯齿状伪影双线性插值使用目标位置周围4个最近的已知像素值进行加权平均插值结果相对平滑，减少锯齿状伪影计算量较大，对于旋转和放大可能会引入模糊双三次插值 (Bicubic)在目标位置周围16个最近的已知像素值上应用三次多项式插值进行加权平均插值结果平滑，保留图像细节计算量较大，对于某些纹理可能会引入模糊
   • 原理：双三次插值在目标位置周围16个最近的已知像素值上应用三次多项式插值，根据距离和权重进行加权平均计算插值结果。
   • 优点：结果更加平滑，图像细节保留较好，适用于图像放大和缩小。
   • 缺点：计算量较大，对于一些特定的图像纹理，可能会引入一定程度的模糊

• 锯齿感，就是边缘有锯齿，抗锯齿越强，边缘锯齿越平滑，效果越模糊

image-20231109104725803

基于深度学习的方法

• Deep Pixelization
  • https://github.com/csqiangwen/Deep-Unsupervised-Pixelization

  

  • 在无监督的情况下，在输入图像和生成的像素艺术之间建立图像到图像的循环转换过程，虽然在锯齿感知和细节保存方面取得了突破，但仍存在两个主要问题。
  • 首先，其结果可能包含大小不一的非均匀单元，即它无法控制单元。此外，其模型将内容和像素化风格纠缠在一起，可能会导致色彩失真。
• Make Your Own Sprites: Aliasing-Aware and Cell-Controllable Pixelization
  • 我们的方法能生成与输入图像分辨率相同的结果图像，其中的像素形成指定单元大小的单元。

Methodology

Overview

image-20231109101741735

1 我们将像素艺术视为由正方形单元格组成的网格，其中每个单元格包含𝑁×𝑁 个相同颜色的像素。对于这样的像素画，我们称其单元大小为 𝑁× 。在最简单的情况下，每个单元只包含一个像素（即单元大小为 1 × ）， 我们将这种像素艺术称为 "一单元一像素"。为了便于显示或编辑、可使用最近邻插值法将此类像素艺术放大为单元大小为的𝑁×形式，其中 𝑁 > 1。另一方面,单元大小为 𝑁× ( 𝑁 > 1)的像素艺术也可以使用最近邻插值法缩减为一个单元一个像素的形式。

2 为了充分利用未配对的数据，我们的网络以双向和循环的方式进行训练。一方面，训练按照 CSEnc → I2PNet → AliasNet → P2INet 的数据流进行，另一方面，训练按照数据流P2INet → CSEnc → I2PNet → AliasNet 的数据流，NumEnc 模块仅在训练过程中用作的像素艺术输出的判别器。

• <1>Structural Cell Representation 单元结构
• <2>Two-stage Pixelization 图像与像素的双向流
• <3>Numerical Cell Representation 单元表征

DATASETS

• unpaired data
  • 原图和像素图
• 像素图构造
  • 通过原图下采样（Lanczos filter，产生锯齿感）后，再上采样（nearest-neighbor，1单元N像素）

  

  image-20231109104355844

Model

I2PNet, AliasNet and P2INet

image-20231109104441081

image-20231109104508884

• 核心是利用 unpaired data 实现 image translation （image2pixel & pixel2image），网络结构以GAN为主，很重要的是实现了单元N的控制

Experiments

• 定量比较，FID最小，比商用的PixelMe要好

image-20231109104939557

• Nx 效果对比

image-20231109104959019

• 定性比较

image-20231109104054106

image-20231109105115669

image-20231109110028204

Conclusions

• N可以表示缩放系数，比如8X，可以将图像缩小8倍变成1单元1像素，也可以将1单元1像素放大8倍变成1单元8像素（需要采用最近邻插值算法实现缩放）
• 如果需要得到32X32的1单元1像素图像，可以有256X256的1单元8像素缩小8倍获取。
• 实测效果对比图，效果符合预期