第3章：光栅图像

学习目标

1. 理解光栅显示设备（raster display devices）的工作原理，包括 CRT→LCD→OLED 的演变历史、子像素排列方式（RGB 条纹/Pentile），以及分辨率与刷新率对显示质量的影响。
2. 掌握像素的几何模型——像素中心采样与角点采样两种约定的区别，以及连续图像到离散网格的映射关系。
3. 深入理解伽马校正（gamma correction）的物理原因（CRT 电子枪非线性）与感知原因（人眼非线性的感知均匀编码），掌握线性空间与伽马空间的转换公式及 GPU 硬件支持。
4. 掌握RGB颜色空间的加性混合原理、三刺激理论基础，以及 RGB 颜色立方体作为可视化工具的使用。
5. 学会Alpha合成的 over 操作符推导与应用，理解预乘 alpha 的优势，并能够根据应用场景选择合适的图像存储格式（JPEG/PNG/TIFF/PPM/OpenEXR）。

现代数字图像几乎无一例外地以光栅（raster）形式显示——即一个矩形的像素阵列。光栅显示器将图像呈现为像素的矩形阵列。"像素"（pixel）是"图像元素"（picture element）的缩写。一个典型的例子是平板电脑显示器或电视，它有一个矩形排列的小型发光像素，每个像素可以独立设置为不同颜色，以创建任意所需的图像。不同的颜色通过混合不同强度的红、绿、蓝光来实现。本章介绍光栅图像的基本概念：光栅显示设备如何工作、像素如何表示颜色、它们如何存储在内存中，以及它们如何被组合和显示。这些概念构成了从照片编辑到实时渲染的几乎所有图形应用的操作基础。

大多数打印机——如激光打印机和喷墨打印机——也是光栅设备。它们基于扫描：虽然没有物理像素网格，但图像通过在网格上选定位置逐一沉积墨水来按顺序生成。（打印机的颜色更复杂，涉及至少四种颜料的混合。）光栅在图像输入设备中也普遍存在。数码相机包含一个由光敏像素组成的图像传感器网格，每个像素记录落在其上的光的颜色和强度。台式扫描仪包含一个线性像素阵列，在扫描页面时横扫而过，每秒进行多次测量以生成像素网格。因为光栅在设备中如此普遍，光栅图像也成为存储和处理图像的最常见方式——也可能正是因为光栅图像如此便捷，光栅设备才如此普遍。

光栅图像本质上是一个二维数组，存储每个像素的像素值——通常是以红、绿、蓝三个数字表示的颜色。不过，我们并不总是希望将存储的图像逐像素映射到显示器。我们可能需要改变图像的大小或方向、校正颜色，甚至将图像贴在运动的三维表面上。即使在电视中，显示器的像素数也很少与所显示图像的像素数相同。这些考虑打破了图像像素与显示像素之间的直接联系。最好将光栅图像视为所显示图像的设备无关（device-independent）描述，将显示设备视为对该理想图像的一种近似方法。

除了使用像素数组外，还有其它描述图像的方法。矢量图像（vector image）通过存储形状的描述——由直线或曲线界定颜色的区域——来描绘图像，而不涉及任何特定的像素网格。本质上，这相当于存储显示图像的指令，而非显示它所需的像素。矢量图像的主要优势是分辨率无关，可以在非常高分辨率的设备上良好显示。对应的缺点是它们必须先被光栅化才能显示。矢量图像常被用于文字、图表、机械图纸等要求清晰度和精确度但不涉及照片级图像和复杂着色的应用场景。

3.1 光栅设备

在抽象地讨论光栅图像之前，先看看它们实际如何显示的底层物理原理是有启发的。现代计算机图形学的最终输出显示在光栅显示设备（raster display devices）上——由称为像素的独立可控光点组成的矩形阵列显示器。熟悉的光栅设备可以归入一个简单的层次结构：

• 输出设备
  • 显示器 — 透射型：液晶显示器（LCD）；发射型：发光二极管（LED）显示器
  • 硬拷贝 — 二值：喷墨打印机；连续色调：染料升华打印机
• 输入设备
  • 二维阵列传感器：数码相机
  • 一维阵列传感器：平板扫描仪

这些设备经历了漫长的演变：从早期的阴极射线管（CRT）显示器——电子束逐行扫描荧光屏使磷光体发光——到今天的液晶显示器（LCD）和有机发光二极管（OLED）屏幕，它们使用薄膜晶体管矩阵直接控制每个像素。在 LCD 中，液晶分子在电场作用下改变取向，控制背光通过偏光片和彩色滤光片的光量。OLED 则更进一步——每个子像素本身就是一个微小的有机发光二极管，无需背光，因此可以实现真正的黑色（关闭时完全不发光）和更高的对比度。

无论底层技术如何，每个像素至少包含三种可以独立设置强度的彩色光发射器——红、绿、蓝（RGB）。在典型的 LCD 显示器中，每个像素由三个子像素（subpixel）组成，分别过滤红光、绿光和蓝光的彩色滤光片。这些发射器排列得足够紧密，以至于在正常观看距离下人眼无法分辨各个子像素，而是将它们混合为单一颜色。常见的子像素排列包括RGB 条纹排列（垂直红-绿-蓝条纹，在桌面显示器和笔记本电脑中最普遍）和Pentile 排列（在 OLED 面板中使用，交替排列红-绿和蓝-绿子像素对，绿色子像素数量是红/蓝的两倍，因为人眼对绿色最敏感）。这种依赖于人眼有限角分辨率的空间混合，与第 19 章中讨论的彩色印刷半色调原理相同。

常见的分辨率（resolution）以每英寸像素数（PPI, pixels per inch）衡量，范围从高端智能手机的约 300–500 ppi，到桌面显示器的约 90–110 ppi，再到大型电视的约 50–80 ppi。绝对像素数也在不断增长：HD（1920×1080，约 2 百万像素）、4K（3840×2160，约 8.3 百万像素）、8K（7680×4320，约 33 百万像素）。这种分辨率的军备竞赛推动了 GPU 处理能力和显示带宽的不断提升。

显示器的另一个关键参数是刷新率（refresh rate），以赫兹（Hz）为单位，表示图像每秒重绘的次数。60 Hz 长期以来是标准，但 120 Hz 和 144 Hz 在游戏显示器中越来越普遍，因为更高的刷新率可以显著减少运动模糊并改善感知响应速度。虚拟现实（VR）头显需要 90–120 Hz 来避免晕动症——当显示刷新落后于头部运动时，视觉与前庭系统之间的滞后会引发不适。值得注意的是，高刷新率本身并不能消除闪烁——图像的频率内容必须保持在由奈奎斯特-香农采样定理（第 9 章中讨论）决定的显示器刷新率所设定的限制范围内。

颜色显示还有另一个重要方面：非线性。几乎所有现代显示器都接受数字输入值，但发出的光强度与输入电压不成线性关系。这种关系——被称为显示器的伽马（gamma）——对于理解如何正确存储和显示图像至关重要，这将在第 3.2.2 节中详细讨论。

3.2 图像、像素与几何

光栅图像是一个以像素值存储的二维矩形数组。在实践中，这通常实现为一个二维数组（或一维数组加上跨度信息），其中每个条目对应一个像素。在最抽象的层面上，光栅图像可以被看作一个函数 I(x,y)：R² ↦ V，其中 V 是像素值的集合（例如 RGB 三元组）。该函数在连续坐标 (x,y) 上定义，但仅在一个离散的矩形网格上被采样。

像素被假设为在图像平面上以规则网格排列。这个网格的几何并不像看起来那么简单：在将连续图像转换为光栅时，需要决定每个像素的采样位置。这被称为像素约定（pixel convention）。两种最常见的约定是：

• 像素中心采样：采样点位于每个像素方格的中心。例如，一个 N_x × N_y 图像的像素 (i,j)（其中 i ∈ [0, N_x−1]，j ∈ [0, N_y−1]）的连续坐标为 x = (i + 0.5)/N_x，y = (j + 0.5)/N_y。
• 像素角点采样：采样点位于像素网格的交叉点上。对于 N_x × N_y 图像，像素 (i,j) 的连续坐标为 x = i/(N_x−1)，y = j/(N_y−1)。

像素中心约定更直观且更常用——它自然地避免了在边界处出现"半个像素"的偏移。然而，这两种约定之间的差异会在图像重采样操作（如缩放和旋转）中引入系统性错误，如果不一致地处理的话。例如，在图形 API 中，DirectX 使用像素中心位于整数坐标的约定（像素 (i,j) 覆盖区域 [i−0.5, i+0.5]×[j−0.5, j+0.5]），而 OpenGL 使用像素左下角位于整数坐标的约定（像素覆盖 [i, i+1]×[j, j+1]）。两者之间的转换涉及到精确的 0.5 像素偏移。

3.2.1 像素值

像素通常存储为无符号 8 位整数——每个 RGB 通道范围从 0 到 255（即一个字节）。值 0 表示暗（无光），255 表示该通道的最大强度。这是消费级图像和显示器的标准。对于 8 位/通道，每个像素需要 3 字节（不含 alpha 通道时为 24 位），可表示约 1670 万种离散颜色——通常足以避免在平滑渐变中出现可见的条带伪影（banding artifacts），尽管在暗色区域和宽色域显示器上并非总是如此。

更精确地说，在 [0,1] 范围内，8 位图像的可能值为 0, 1/255, 2/255, ..., 254/255, 1。注意分母是 255 而非 256——虽然是奇数，但能精确表示 0 和 1 很重要。

然而，对于物理光照计算和高动态范围（HDR, high dynamic range）图像，8 位整数不够用。场景中的真实辐射度值跨越多个数量级——从深阴影到明亮的镜面高光——而 256 个级别无法充分表示这一范围。因此，在渲染管线中，像素通常存储为 16 位半精度或 32 位单精度浮点数。浮点表示提供了巨大的动态范围（从约 10⁻³⁸ 到 10³⁸），同时保持良好的相对精度。仅一张一千万像素的照片在 32 位浮点 RGB 格式中就会消耗约 115 MB RAM——这解释了为什么图像的内存和带宽始终是稀缺资源。

以下是各种像素格式及其典型应用：

• 1 位灰度——文字和其他不需要中间灰度值的图像（需要高分辨率）
• 8 位 RGB 固定范围颜色（24 位/像素）——网页和电子邮件应用，消费级照片
• 8 或 10 位固定范围 RGB（24–30 位/像素）——连接计算机显示器的数字接口
• 12 至 14 位固定范围 RGB（36–42 位/像素）——专业摄影的原始相机图像
• 16 位固定范围 RGB（48 位/像素）——专业摄影与印刷；固定范围图像处理的中间格式
• 16 位固定范围灰度（16 位/像素）——放射学和医学影像
• 16 位"半精度"浮点 RGB——HDR 图像；实时渲染的中间格式
• 32 位浮点 RGB——软件渲染和 HDR 图像处理的通用中间格式

减少用于存储每个像素的比特数会导致两种特征性伪影：裁剪（clipping）——当原始亮度超过最大值时被截断为最大可表示值；以及量化伪影（quantization artifacts，或称 banding）——当需要将像素值舍入到最近的可表示值时引入可见的强度或颜色跳变。条带化在动画和视频中尤其隐蔽——在静止图像中可能尚可接受，但当条带来回移动时会变得非常显眼。

3.2.2 显示器强度与伽马

所有现代显示器接受像素"值"的数字输入，并将该输入转换为某个强度的可见光。然而，这种转换有一个关键的特性：显示的强度与输入值不成线性关系。对于我们的目的，我们可以将纯黑视为"关"，完全亮视为"白"。我们假设像素颜色的数值描述在 0 到 1 之间——黑是 0，白是 1，介于黑白之间的灰色是 0.5。注意这里的"一半"指的是来自像素的物理光量，而非人眼感知的外观。人类对强度的感知是非线性的，这不属于当前的讨论范围；详见第 19 章。

要在显示器上产生正确的图像，有两个关键问题必须理解。首先是显示器对输入是非线性的。例如，给显示器三个像素分别输入 0、0.5 和 1.0，实际显示出来的强度可能是 0、0.25 和 1.0（关闭、四分之一全亮、完全亮）。作为对这种非线性的近似描述，显示器通常以一个 γ 值（gamma value）来表征。这个值就是以下公式中的自由度：

displayed_intensity = (maximum_intensity) × a^γ        (3.1)

其中 a 是介于 0 和 1 之间的输入像素值。例如，如果一个显示器的伽马值为 2.0，输入值为 a = 0.5 时发出的光强度仅为最大值的 0.5² = 0.25，即四分之一。注意 a = 0 映射到零强度，a = 1 映射到最大强度，无论 γ 取何值。用 γ 来描述显示器的非线性只是一个近似；我们不需要极高的精确度来估计一个设备的 γ。一个直观判断非线性的好方法是：找到一个 a 值，使显示器发出的光看起来是纯黑和纯白之间的一半——这个 a 值与 0.5 的偏差就反映了 γ 的大小。

为什么会有这种非线性？一个重要的历史原因是 CRT 显示器的物理原理。在 CRT 中，电子枪发射的电子束轰击荧光屏产生光，而发出的亮度与电子枪栅极电压的约 2.5 次幂成正比——纯属物理耦合。这意味着早期电视摄像机在传输前天然地进行伽马压缩（约 1/2.2），而 CRT 显示器天然地在接收端进行伽马展开——一个偶然但优雅的端到端系统，后来被数字标准继承。现代 LCD 和 OLED 面板通过电子方式模拟类似的伽马响应，以保持兼容性。

理解这种非线性的一个等价方式是认识到大多数数字图像已经为在 γ ≈ 2.2 的显示器上观看而进行了伽马编码（gamma encoded）。例如，数码相机捕获线性光强度，但在存储为 JPEG 之前应用了大约 1/2.2 的伽马压缩。这个值 2.2 是消费级显示器事实上的标准，并被编码在 sRGB 颜色空间标准中——该标准规定了一个近似 γ ≈ 2.2 的传递函数。sRGB 标准远不止伽马值：它精确定义了 RGB 原色的色度坐标、白点（D65，即 6500K 日光），以及将线性光值转换为非线性 8 位编码的确切传递函数。

真实的 sRGB 传递函数不是纯幂函数——它在暗区有一个线性段来避免零点附近斜率为零（这会引起数值问题）。确切的转换公式为：

线性 → sRGB（编码）：
  if linear ≤ 0.0031308:  sRGB = 12.92 × linear
  if linear >  0.0031308:  sRGB = 1.055 × linear^(1/2.4) − 0.055

sRGB → 线性（解码）：
  if sRGB ≤ 0.04045:  linear = sRGB / 12.92
  if sRGB >  0.04045:  linear = ((sRGB + 0.055) / 1.055)^(2.4)

在大多数实践中，简化为纯 2.2 幂函数（编码: γ^(1/2.2)，解码: γ^2.2）的误差在约 1% 以内，已足够使用。

这种编码方案的影响遍及图形学。在渲染时，着色器在线性空间中操作——光照计算假设光能量是线性相加的。然而，输入纹理（照片、绘制的颜色）通常以 sRGB 编码存储。因此，在着色器中使用纹理之前，它们必须通过应用逆 sRGB 传递函数（大致为 ^2.2）转换为线性空间。类似地，渲染输出在发送到显示器之前必须进行伽马编码。GPU 在硬件中支持这种转换：将纹理标记为 sRGB 格式（如 GL_SRGB8_ALPHA8）会自动处理采样时的解码和写入帧缓冲区时的编码，零性能开销。忽视伽马校正的后果是严重的——在非线性空间中进行线性数学运算会产生明显偏暗的阴影和过于饱和的高光。

关于伽马校正的一个常见误解是它仅仅是为了补偿 CRT 的非线性。正如上面所讨论的，即使显示技术变得线性，我们仍然希望使用感知编码，因为它在固定比特深度下最小化了可见的量化伪影。这一观点为数字图像中伽马编码的继续存在提供了一个独立于显示技术的理由。理想的显示器应该让人眼的 256 种可能强度看起来均匀分布，而不是在能量上线性分布——这恰好在 γ 在 1.5 到 3 之间（取决于观看条件）时近乎实现。

3.3 RGB 颜色

大多数计算机图形学图像使用RGB 颜色空间中定义的像素值。RGB 表示基于三刺激理论（trichromacy theory）——人眼具有三种类型的锥体感光细胞，分别对长波长（L，峰值约 560 nm，感知为红）、中波长（M，峰值约 530 nm，感知为绿）和短波长（S，峰值约 420 nm，感知为蓝）光最为敏感。由于我们只有三种锥体类型，任何颜色感知都可以由三个数字来参数化——即三个原色的混合量。这就是三色性的本质：颜色是一个三维空间。

RGB 是一种加性（additive）颜色模型——通过添加不同比例的红、绿、蓝光来创建颜色，每次添加都增加总亮度。混合所有三种颜色以全强度产生白色；混合等量的红和绿产生黄色；混合红和蓝产生品红色；以此类推。这与打印中使用的减性（subtractive）CMYK（青、品红、黄、黑）模型直接相反，在减性模型中，每种墨水从被观察的反射白光中减去一个光谱区域——混合所有颜色理论上会产生黑色（尽管由于墨水的不完美性，通常产生浑浊的棕色，因此需要单独的黑色 K 通道）。

将 RGB 颜色可视化的一个有用方式是RGB 颜色立方体（RGB color cube）：一个轴为 R、G 和 B 的三维立方体，每个轴的范围从 0 到 1。立方体的八个角对应八种"纯"颜色：黑色 (0,0,0)、红色 (1,0,0)、绿色 (0,1,0)、蓝色 (0,0,1)、黄色 (1,1,0)、品红色 (1,0,1)、青色 (0,1,1) 和白色 (1,1,1)。立方体的主对角线——从黑色到白色——代表灰度级，其中 R = G = B。这个立方体在直觉上很有用，但重要的是要认识到它仅表示设备相关的颜色空间——RGB 三元组 (0.5, 0, 0) 在一个显示器上产生的红色可能与在另一个显示器上不同，除非两个显示器都已根据已知标准（如 sRGB）进行了校准。

在实际使用中，RGB 分量通常以量化的整数形式给出，就像 3.2.1 节中讨论的灰度值一样。每个分量用一个整数来指定，最常见的大小是每分量一个字节，因此 RGB 三个分量各为 0 到 255 的整数。三个整数一起占用三个字节，即 24 位。所以，具有"24 位色"的系统对三种原色各有 256 个可能的级别。3.2.2 节中讨论的伽马校正问题也分别适用于每个 RGB 分量。

RGB 的一个基本限制是它仅描述颜色，而不描述绝对光量。一个中灰色像素 (128,128,128) 在一个昏暗的手机屏幕上与在一个高亮度的 HDR 显示器上可能具有完全不同的感知效果。这种区分——相对颜色与绝对亮度——在讨论渲染中的色调映射（第 21 章）时变得至关重要。此外，RGB 不是感知均匀（perceptually uniform）的：两个在 RGB 空间中等距的颜色在感知上可能并不等距。这激发了对替代颜色空间（如 CIE L*a*b*）的研究，这些空间在讨论颜色差异和色域映射时（第 19 章）更为合适。

关于 RGB 图像的最后一个重要注意事项：每个 RGB 分量都独立地受到第 3.2.2 节中描述的伽马非线性的影响。实际上，一个存储的 sRGB 像素 (R,G,B) 中的每个分量都被独立地伽马编码。这意味着从 sRGB 图像中提取灰度值仅仅通过 (R+G+B)/3 来平均分量是不够的——要获得正确的结果，首先必须线性化每个分量，取平均，然后根据需要重新编码。忽视这一点是图形新手频发的错误来源。

3.4 Alpha 合成

通常，我们希望仅部分覆盖像素的内容——例如，在背景上渲染一个半透明的前景元素，或将图像层叠在一起。一个常见的例子发生在合成（compositing）中：我们有背景并希望在其上插入前景图像。对于前景中不透明的像素，直接替换背景像素；对于完全透明的前景像素，不改变背景像素。对于部分透明的像素，则需要小心处理。部分透明的像素发生在前景对象具有部分透明区域时（如玻璃），但最常见的前景和背景需要混合的情况是当前景对象仅部分覆盖像素时——要么在前景对象的边缘，要么在有子像素空洞时（如远处树冠树叶之间的间隙）。

混合前景对象到背景对象上所需的最重要信息是像素覆盖率（pixel coverage），它告诉前景层覆盖像素的分数。我们将这个分数称为 α。将前景颜色 C_f 与背景颜色 C_b 混合的标准公式——即over 操作符（over operator）——为：

C = α_f · C_f + (1 − α_f) · C_b        (3.2)

这个公式是按分量应用的（分别应用于 R、G、B 通道），假设颜色在混合之前处于线性空间。α = 0 意味着完全透明（前景不可见），α = 1 意味着完全不透明（前景完全覆盖背景），中间值产生半透明效果。这是图形学中最常执行的逐像素操作之一——它被硬件实现在 GPU 的混合单元（blend unit）中，用于从透明窗口和 UI 叠加层到粒子效果和体积渲染的各个方面。

over 操作符的美妙之处在于其简单性和线性。然而，有几个微妙之处值得注意。首先，混合公式假设像素是不相关的——即前景像素的颜色和 alpha 值与背景像素的颜色独立。对于抗锯齿边缘这种常见情况，这种假设成立。但对于某些体积渲染场景，这种独立性假设会失效，需要更复杂的混合模式。其次，当有多个透明图层时，图层的顺序很重要：over 操作符不是交换的——在 A 上合成 B 的结果与在 B 上合成 A 的结果不同。结合律则是成立的：(A over B) over C = A over (B over C)，这在使用预乘 alpha 时更容易验证。

一个重要的变体是存储预乘 alpha（premultiplied alpha），也称为关联 alpha（associated alpha）。在这种表示中，我们存储 (αR, αG, αB, α) 而不是 (R, G, B, α)。这样，over 操作符简化为：

C = Ĉ_f + (1 − α_f) · C_b

其中 Ĉ_f = α_f · C_f 是预乘后的前景颜色。该公式节省了一次乘法运算，并在合成管线的多个阶段中避免重复乘 α。代价是当 α = 0 时颜色信息会丢失，且 RGB 分量被约束为不能超过 α（即 R ≤ α、G ≤ α、B ≤ α），这对于在预乘空间中操作光照计算来说是一个需要谨慎处理的约束条件。在图形实践中，预乘 alpha 被广泛使用，因为它简化了滤波操作——对预乘颜色进行线性插值是数学上正确的，而对非预乘颜色进行插值则会引入伪影。

3.4.1 图像存储

大多数 RGB 图像格式对红、绿、蓝每个通道使用 8 位。对于一百万个像素的图像（约 1024×1024），这产生大约三兆字节的原始信息。为减少存储需求，大多数图像格式允许某种形式的压缩。在高层次上，这种压缩要么是无损（lossless）的，要么是有损（lossy）的。在无损压缩中，不会丢弃任何信息——原始像素值可以从压缩文件中完全恢复。在有损系统中，一些信息被不可逆地丢弃，通常以对人类视觉系统不可见或可接受的方式进行。

下面总结了最流行的图像存储格式：

由于压缩方案和格式变体的多样性，为图像编写输入/输出例程可能相当复杂。幸运的是，通常可以依赖库例程来读写标准文件格式——常见的库包括 libpng、libjpeg 和 OpenEXR，以及提供统一接口的更高级封装器如 OpenImageIO。对于重视简洁性胜过效率的快速原型应用，一个简单的选择是使用原始 PPM 文件，通常可以通过直接将存储图像的内存数组转储到文件（并在前面加上适当的头部）来写入。

在选择图像格式时，关键权衡在于文件大小、解压速度和保真度。JPEG 为照片提供了卓越的压缩比（通常为 10:1 到 20:1，且质量无明显下降），但反复压缩和保存会累积伪影（"世代损失"）。对于需要多次编辑和保存的图像工作流，PNG 等无损格式是更好的选择。对于渲染输出——亮像素可能比 1.0 亮得多——需要像 OpenEXR 这样的浮点 HDR 格式来保留完整的动态范围，以便进行后期处理和合成。典型的游戏/实时渲染管线：JPEG 用于漫反射贴图，PNG 用于法线贴图和遮罩/UI 元素，OpenEXR 用于天空盒 HDR 环境贴图。

课后练习题（含答案）

QA 零基础问答区