StyleLight: HDR Panorama Generation for Lighting Estimation and Editing

ECCV 2022

---

Abstract.

现有的光照估计方法要么直接回归光照表示参数，要么将该问题分解为 LFOV 到全景和 LDR 到 HDR 光照生成子任务。然而，由于局部观察、高动态范围照明以及场景固有的模糊性，照明估计仍然是一项具有挑战性的任务。

为了解决这个问题，我们提出了一种耦合的双StyleGAN全景合成网络（StyleLight），它将LDR和HDR全景合成集成到一个统一的框架中。 LDR 和 HDR 全景合成共享相似的生成器，但具有单独的鉴别器。在推理过程中，给定 LDR LFOV 图像，我们提出了一种焦点掩蔽 GAN 反演方法，通过 LDR 全景合成分支找到其潜在代码，然后通过 HDR 全景合成分支合成 HDR 全景。 StyleLight 将 LFOV 到全景图和 LDR 到 HDR 照明生成纳入统一的框架中，从而极大地改进了照明估计。

---

Introduction

现有最先进的方法使用 HDR 球形全景图进行照明。然而，在许多实际应用中，仅 LDR LFOV 图像可用。因此，从 LDR LFOV 图像估计 HDR 全景照明非常重要，并借助照明编辑功能来灵活控制照明条件。

照明估计存在三个主要的挑战性问题。

首先，在有限的视场图像中只能观察到部分场景。

其次，在典型的 LDR 图像中只能观察到部分范围的照明。

第三，未观察视图的光照估计取决于观察对象的内在属性，但这些注释在现实世界的应用中通常不可用

现有的光照估计方法为光照估计提供了部分解决方案，可大致分为两类，即基于回归的估计方法和基于生成的估计方法。

与现有的基于生成的估计方法不同，我们提出了一种耦合的双 StyleGAN 全景合成网络（StyleLight），它在统一的框架中解决 LFOV 到全景和 LDR 到 HDR 问题，并且不需要任何 3D 几何注释。

本文的主要贡献可以概括如下：

1）我们提出了一种耦合的双风格GAN合成网络（StyleLight），它将HDR和LDR全景合成集成在统一的框架中。在推理过程中，我们提出了一种焦点掩蔽 GAN 反演方法来解决 LFOV 到全景图和 LDR 到 HDR 的生成问题。

2）我们提出了一种保留结构的 GAN 反演方法，使用经过训练的 StyleLight 模型进行照明编辑，以灵活控制全景照明。

3）大量实验证明了我们提出的照明估计方法相对于室内 HDR 全景最先进方法的优越性和有效性，并展示了我们提出的照明编辑的有前景的应用。

---

Our Approach

Overview of the Proposed Framework

我们提出的框架的概述如图 2 所示。该框架由照明估计和照明编辑组成。光照估计的目标是从 LDR LFOV 图像预测 HDR 全景。为了实现这一目标，我们引入了一种新颖的耦合双 StyleGAN 合成网络（StyleLight），该网络学习使用共享生成器和两个特定鉴别器从噪声中合成 HDR 和 LDR 全景图。利用经过训练的 StyleLight 模型，我们提出了一种焦点掩蔽 GAN 反演方法来查找 LDR LFOV 图像的潜在代码，并将 HDR 全景图预测为照明图。为了控制目标 HDR 全景图的各种光照条件，我们引入了一种保留结构的光照编辑方法来解决这个问题。据我们所知，这是首次尝试对 HDR 全景图进行灯光编辑以控制场景灯光。

Lighting Estimation

Coupled dual-StyleGAN for joint LDR and HDR panorama synthesis.

由于 LDR 全景图很容易生成，并且它们为 HDR 合成提供光照的位置和形状上下文信息，因此我们引入了一种耦合的双 StyleGAN，用于联合 HDR 和 LDR 全景合成。借助 LDR 全景合成，dual-StyleGAN 能够生成准确的 HDR 全景。具体来说，双 StyleGAN 采用噪声向量 z ∈ z 作为输入，并将噪声 z 映射到比 z 空间纠缠少得多的中间潜在空间 ω，如 StyleGAN2中分析的那样。

映射函数 w = f (z) 由八个带激活层的全连接层组成。然后，潜在代码 w ∈ ω 被输入生成器 G。之后，使用两个变换 ψ(·) 和 φ(·) 将 G 的输出分别变换为 HDR 和 LDR 全景图。即 x_hdr = ψ(G(w)) 和 x_ldr = φ(G(w))，如图 2 所示。HDR 输出 ψ(·) 是逆色调映射加钳位（正像素）和 LDR 输出φ(·) 被限制在 0 到 1 之间。为了便于稳定训练，我们通过 x′= αx^1/γ 预处理 HDR 训练全景图，其中 γ = 2.4，α 设置为 0.5 除以 50所有像素值的百分位数。我们对 HDR 使用钳位(x′, 0, +∞))，对 LDR 使用钳位(x′, 0, 1)。在推理过程中，我们对 x 执行逆色调映射钳位(x′, 0, +∞))。其他色调映射也适合我们的框架。共享生成器网络背后的想法是 HDR 和 LDR 全景图共享相同的上下文语义。形式上，所提出的耦合双 StyleGAN 被表述为

其中D(·)和D′(·)分别表示HDR合成和LDR合成的两个判别器。在上式中，我们通过最小化第三项和第四项来优化G。我们通过最大化预测真实和虚假全景图的概率来同时优化 D 和 D′。

Focal-Masked GAN inversion for LDR-to-HDR transformation and LFOV-to-panorama completion.

获得耦合的dual-StyleGAN后，我们可以执行LDR到HDR的转换和LFOV-to-panorama完成。在耦合的双 StyleGAN 中，HDR 合成和 LDR 合成共享相同的生成器 G，从而保证 LDR 到 HDR 转换之间的像素级对齐。由于耦合的dual-StyleGAN将HDR合成和LDR合成集成到一个统一的框架中，我们可以在ω空间中找到HDR全景图和LDR LFOV图像的共享潜在代码，如图2（左）所示。

给定 LDR LFOV 图像，我们将其映射为球形全景图作为蒙版全景图。然后，我们将 GAN 反转方法扩展为屏蔽 GAN 反转，以适应我们的耦合双 StyleGAN。我们在 ω 空间中找到了蒙版全景图的潜在代码。我们通过 HDR 分支转发潜在代码以获得 HDR 全景图。令 x^ldr _lfov 表示 LDR LFOV 图像的蒙版全景图，n 表示所有层的噪声图。我们首先优化潜在代码 w ∈ ω，使得合成的 LDR LFOV 尽可能与目标 LDR LFOV 匹配，可以表示为

其中 L_LPIPS 表示用于距离测量的基于 VGGNet 的感知损失，L_n(n) 表示用于约束噪声图 n 的噪声正则化项，并且 λ_n 控制其重要性。我们重新使用符号 G 和潜在代码 w ∈ ω、噪声图 n 和权重 θ 作为输入。变量M表示保留与LFOV图像x^ldr _lfov对应的像素的掩模。由于很难通过优化 w 和 n 直接重建目标 LDR LFOV 图像，因此我们通过以下方式微调 G 的权重 θ

其中 L_G 表示蒙版生成的 LDR 图像与 LFOV HDR 图像 x^ldr _lfov 之间的相似性损失。我们使用均方误差损失和基于 VGGNet 的感知损失来进行距离测量。为了进一步提高视觉质量，我们还使用正则化项，由下式给出

其中 w_r = w_* + α(w_z − w_*)/||w_z − w_*||₂ ,并且 w_z 是由随机 z 生成的潜在代码。 θ₀ 是微调前 G 的旧权重。 α是插值参数。最后，我们结合方程 3 和方程 4，并通过以下方式微调 G：

简单地将 GAN 反转方法 扩展为耦合双 StyleGAN 的掩模 GAN 反转并不能保证 LDR 全景图中的灯光像素将转换为高强度 HDR−。强光源是渲染环境的主要因素，但高强度像素远少于低强度像素。因此，我们建议使用焦点遮罩来突出强光源。在我们的设置中，我们突出显示前 10% 最强的像素。给定 LDR LFOV 图像 x^ldr _lfov，我们计算前 10% 最强像素并获得焦点掩模，表示为 F OCAL(x^ldr _lfov)。我们将方程 2 重写为

请注意，F OCAL(φ(G(w, n; θ))) 与公式 6 中的 FOCAL(x^ldr _lfov) 一致。类似地，我们将公式 3 重写为

Lighting Editing

一般来说，灯光编辑包括三个操作，即添加新灯光、删除灯光和控制灯光强度。本质上，前两个操作可以通过第三个操作来完成。在光估计中，我们获得了一个潜在代码 w₀，它可以从 LDR LFOV 图像中恢复 HDR 全景图。这里我们假设 w₀ 是已知的。我们的目标是找到 w₀ 的可编辑方向来调整光照强度，使得候选位置的光照强度发生变化，同时保留场景的几何结构。给定候选照明位置的边界框作为掩模 M ，我们引入结构保留的照明编辑损失来找到 w 的可编辑方向，其公式为

其中δ表示照明调节因子。当δ为正值时，光照强度减小；当δ为负值时，光照强度增加。 N 是掩模像素的数量。第三项旨在调整给定边界框的照明强度，第一项和第二项保留其他区域。

---

Conclusion

我们提出了一个耦合的双 StyleGAN 全景合成网络（StyleLight），用于照明估计和编辑。 StyleLight 提供高质量的照明估计，可从单个 LFOV 图像生成完整的室内全景照明。通过经过训练的 StyleLight，我们提出了一种保留结构的光照编辑方法，可以实现灵活的光照编辑。大量实验表明，StyleLight 在室内照明估计方面比最先进的方法具有更优越的性能，并且还可以对室内 HDR 全景图进行有希望的照明编辑。

所存在的问题：

本文的焦点是针对室内场景的StyleLight应用。

然而，在实际应用于室外场景时，需要考虑一组新的超参数。这是因为室外环境的光源特性，例如光源面积和强度，与室内场景有显著不同之处。因此，一个直观的思路是开发一种通用的方法，具备自适应性，能够灵活地适应各种不同类型的场景需求。

---

Model playing

Requirements

PyTorch 1.7.1/1.9.0
Python 3.8.5/3.8.8
mat73
Matlab 2020a (for estimating evaluation metrics: pu-/log-PSNR, pu-MSSSIM, HDR-VDP, and HDR-VQM)


Set up

Test data path (e.g., "Kalantari/")
Output path (e.g., "test_results/")
Weight path (e.g., "WEIGHTS_ECCV2022/")
Download Kalantari data for testing from: https://drive.google.com/file/d/1bkyNjlMst8rz5xRI43uzkOwhtNiTMWI2/view?usp=sharing
Download pretrained weights from: https://drive.google.com/file/d/1v32KDb7qwck7lJL59m5ei7eGeGA6Qvjx/view?usp=share_link
     
    
Usage
Running the test code:

    $ python Main_testing.py

Usage
Running the test code:

$ python Main_testing.py