中國寫意水墨畫與其他繪畫種類(如西方繪畫)不同, 用寥寥幾筆描述具體的景物對象或場景, 表達畫家的創作意圖及藝術個性. 寫意水墨畫以其獨特的藝術性吸引越來越多的人學習創作水墨畫, 包括沒有繪畫基礎的業余愛好者. 同時, 目前大多數的圖形類商業軟件(如 Adobe® Illustrator, Adobe® Photoshop, CorelDRAW®等)均是支持中國藝術風格的生成工具. 然而, 生成高質量的繪畫作品通常需要專業的知識與技能, 且現有的繪畫工具在繪制技巧方面要求復雜和準確的輸入, 同時, 某些利用風格遷移生成繪畫的工具僅僅將特定的風格整體遷移至輸入的對象, 極少考慮局部的筆畫形態與顏色.

　　本文實現一種基于簡單交互的繪畫生成工具, 通過在真實的花卉照片上進行基于筆畫的風格遷移, 可生成中國水墨畫風格的繪畫作品. 在實踐中, 無論繪畫零基礎的用戶, 還是繪畫初學者和專家, 均可用簡單的涂鴉式筆畫生成高質量的繪畫作品, 或提升繪畫技巧.

　　1 相關工作

　　非真實感繪制 (non-photorealistic rendering, NPR)是指利用不同的筆刷模型, 輸出具有藝術風格的筆畫, 像手繪一樣描繪特定的物體[1]. 近年來, 已有一些與 NPR 相關的優秀工作值得學習和借鑒. 主要有 3 個方面的工作.

　　1.1 基于物理的模型為了給用戶提供直觀、自然的感受, 像畫筆一樣的輸入設備通過對筆或其他媒介的物理屬性進行建模, 模擬繪畫的物理過程. 其中, Curtis 等[2]利用淺水流體模擬方法模仿水彩的不同藝術效果. Chu等[3]設計一個實時繪畫系統來模擬在具有吸收力的紙上墨擴散的效果. 同時, Xu 等[4]提出一種用于中國書法和繪畫的“電子筆刷”, 僅用 4 種屬性定義了真實畫筆的基本特征. 目前, Chu 等[5]提出一系列技術, 解決了傳統的三維筆刷模型中顏色細節過分損失和低效率計算的問題. Lu 等[6]提出一個交互式的數據驅動的繪畫系統, 它可以利用真實媒體的掃描圖像合成新的筆畫, 避免了復雜的物理模擬的計算. 對于數字化繪畫軟件, 用戶就像使用真實的畫筆一樣, 操控鼠標或數碼筆進行繪畫, 如Adobe® brush packages, ArtRage, 及Corel® Painter. 然而, 對于沒有大量繪畫經驗的普通用戶來說, 輕松而準確地操作虛擬畫筆是復雜而困難的. 在物理仿真水墨畫方面, 一些仿真系統實現了各類水墨畫的典型藝術效果[7-9].

　　1.2 基于圖像的模型與物理模型相比, 此類模型避免了大規模的計算量和復雜的操控. 基于筆畫渲染的方法通過加入離散元素, 如筆畫或點畫, 被廣泛地應用于自動將真實照片轉換為繪畫[10]. 在模擬西方繪畫方面, Hertzmann 等[11]使用“圖像類比”技術處理照片圖像, 生成一些具有藝術效果的圖像; 然而, 因為同一幅中國畫圖像的不同地方可能采用不同的風格進行繪制, 其算法無法區分這些地方, 所以它在處理中國繪畫時, 得到的結果并不理想. 為了改進繪畫渲染中筆畫的定位效果, Zhao 等[12]提出一個筆畫處理方法, 讓用戶通過控制一些直觀的參數來簡單地調整繪畫風格. 在模擬東方繪畫方面, 有一些工作模仿中國山水畫里的一些特殊的藝術效果. 如 Way 等[13-14]合成出中國繪畫中由皴法繪制的巖石紋理, 以及將中國傳統山水畫中 6 種主要的皴法紋理建模并應用到地形三維模型上. 方建文等[15]實現了水墨效果的三維角色模型在水墨效果場景中的實時漫游. Yu 等[16]通過收集若干筆畫紋理, 合成出類似手繪作品中山和霧的典型紋理. 此外, Xu 等[17]利用一種墨跡模型從三維模型中提取分類的筆畫, 并在模型表面附上典型的筆畫紋理 (如勾、皴、染和點). 在文獻[18-19]中, 通過量化筆畫的筆法及其形狀和墨色的藝術特征, 中國古代書法、繪畫作品的書寫與繪畫過程被動態再現. Xie 等[20]設計了一個基于草繪的交互式系統, 通過筆畫軌跡自動估算方法將真實的照片轉換為日本的墨畫繪畫. 與本文的研究目的類似, Bang 等[21] 依據傳統的東方繪畫的技法, 將輸入的照片圖像自動生成類似東方手繪風格的圖像. Dong 等[22]利用紋理映射及紋理合成技術也實現了自動生成具有中國水墨風格的圖像. 然而, 大多數已有的關于模仿東方繪畫風格的模型主要是處理整個圖像, 而不是構成圖像的筆畫, 這樣很難表達出中國畫豐富且多變的藝術特性.

　　1.3 基于深度網絡的模型隨著深度學習等人工智能前沿技術的快速發展, 深度學習技術在繪畫作品的合成方面取得了很好的效果: 在基于卷積神經網絡(convolutional neural networks, cnN)的方法中, Gatys 等[23]通過基于 CNN 的風格遷移算法分離并再組合圖像的內容與風格; Liao 等[24]的圖像風格遷移方法通過 CNN 找到圖像之間語義的對應關系, 從而實現圖像光照、顏色、紋理和繪畫風格的遷移和藝術圖像合成. 在基于生成對抗網絡(generative adversarial networks, GAN)的方法中, 有通過 GAN 實現紋理合成與風格轉換[25], 以及利用單一的網絡生成不同風格的圖像[26-27]. 對于集多種風格特點于一幅圖像的中國繪畫來說, 此類模型在區分風格區域及準確識別并提取特征的問題上存在一定的局限性.

　　2 本文方法概述

　　文中工具的核心設計思想是基于筆畫的風格化方法. 以一條用戶輸入的線條為例, 圖 1 展示了自動地將一幅真實的花卉照片圖像風格化為一幅國畫風格的繪畫作品的中間結果以及最終結果. 該方法主要由 3 個部分組成:(1) 用戶輸入筆畫的修正. 在用戶在繪畫樣板圖像 S I 上勾出風格筆畫及在照片圖像 P I 上勾出目標筆畫后, 分析這些筆畫附近的圖像特征, 從而根據用戶意圖得到作為候選風格模板和骨架路徑的準確的筆畫輪廓. 值得注意的是, 因為中國寫意繪畫追求自由并崇尚個性化的藝術創作, 所以用戶輸入的骨架路徑不需要嚴格地與 P I 上對象的實際邊緣一致. (2) 最佳風格模板的選擇. 一旦確定風格模板的候選筆畫和目標筆畫的骨架路徑, 將把影響選擇候選模板筆畫的因素形式化為能量方程, 為骨架路徑選擇最佳的筆畫. (3) 目標筆畫的生成. 確定了風格模板和骨架路徑之后, 通過筆畫寬度計算和風格化紋理合成, 把風格模板上的風格特征映射至骨架路徑, 包括筆畫形狀和墨色.

　　2.1 筆畫的修正由于眾所周知的“胖手指”問題, 觸摸式設備的輸入呈現準確性低、誤差大的特征. 為了使本文方法具有魯棒性和可操作性, 選擇此類設備作為實現用戶交互的平臺. 給定一個用戶筆畫 s (其寬度由用戶指定的手指寬度決定), 其中軸為 M , 筆畫輪廓的兩側分別為 SL 和 S R , 對于照片 P I 上的 s , 為了保證自由和藝術創作的特性, 僅通過它的中軸對其進行修正; 對于繪畫樣本 S I 上的 s , 提出“相向搜索”算法來收緊 s 的兩側線條, 并準確地識別出繪畫中對應的筆畫(如圖 2 所示), 它包括 2 個部分: (1) 假設 M , SL 和 S R 分別被擬合為非均勻有理 B 樣條曲線 M( )t , SL ( )t 及 S R ( )t , 將曲線 M( )t 分為 n 段, 為了覆蓋用戶輸入的筆畫 s (手指軌跡), 再將一系列以手指寬度為直徑的圓形分布在每條曲線段的端點處. 于是, 筆畫輪廓的兩側與全部圓形相切的點將在 SL ( )t 和 S R ( )t 上分割出相同數目的片段, 且這些切點被看做 SL ( )t 和 S R ( )t 上的關鍵點. (2) 假設從 SL ( )t 到 S R ( )t 的線條的方向( )t 被定義為正向搜索方向, 若分別沿著 ( )t (紅色箭頭) 和 -( )t (綠色箭頭)計算每個像素灰度值的方向導數 D 和 D- , 則在方向導數為全局最小值的點上重置關鍵點.

　　2.2 最佳風格模板的選擇當用戶在繪畫樣本上涂出不止一個風格筆畫時, 上述筆畫修正階段將產生多個具有準確輪廓的候選風格筆畫. 正如之前所討論的, 若考慮中國繪畫中筆畫形態多種多樣, 從候選筆畫中選出最佳的筆畫作為風格模板是困難的. 因此, 本文方法設計一個能量方程來自動地選出最佳筆畫, 使它的骨架形態與照片上的骨架路徑高度一致.

　　3 實驗結果與分析

　　在 Windows 平臺上, 應用 Matlab 與 C++編程技術, 本文實現一個實時的繪畫工具(圖 6 顯示用戶手指標記出的骨架路徑和風格模板), 以操作系統為 Windows 10 的觸屏筆記本電腦(主要配置為第 5 代 Microsoft Surface Pro, Intel® CoreTM i5 處理器和 8 GB 內存)作為測試設備.

　　本文利用大量包含花卉的照片和繪畫作品進行測試, 如圖 7 中的荷花小品畫(即包含單一的繪畫對象和小尺寸的畫布), 輸入不同的花卉照片(第 1 列), 根據不同的繪畫風格(第 2 列), 本文的工具生成的高質量的繪畫結果(第 3 列), 其中清晰可見與原畫風格相似的筆畫. 圖 8~圖 10 中的牽牛花、梅花及荷花的大幅繪畫作品通過每一個筆畫充分展示了原畫中的風格細節, 體現了用戶的創作意圖以及國畫完整的視覺效果和審美特征, 其中包含若干裝飾元素, 如葉、莖、花蕊等. 圖 8 和圖 9 的右上角分別為牽牛花和梅花的照片, 左側為指定經典的繪畫風格, 文中工具生成相應的繪畫作品(右下角); 圖 10 和圖 11 的左側為輸入的繪畫對象的照片, 右側為實現的工具所生成的完整繪畫作品, 且圖 10 中的裝飾元素直接取自輸入的繪畫圖像并按用戶意圖置于結果中. 另外, 圖 11 中的蝦為熱門繪畫對象的代表.

　　3.1 裝 飾一幅完整的繪畫作品除了主要的對象外, 通常還包含一些裝飾元素. 對于花卉畫來說, 葉子、花蕊、莖和草常用來襯托花的美感, 并保證畫面的完整性. 在多數繪畫作品中, 裝飾元素存在 2 種情況: (1) 用細線條繪制的完整的元素. 本文實現的工具允許用戶直接從輸入的繪畫圖像中選取元素, 并根據其意圖通過簡單的圖像變換(平移、旋轉及縮放)操作分布于結果圖像中. (2) 繪制不完整的元素. 本文方法應用 Yu 等[16] 的算法將元素缺失的部分補充完整. 圖 12 顯示了荷葉圖像被補充完整的實例: 其中, 左側包含 2 張不完整的荷葉圖, 右側為依據已有算法填補出的完整荷葉. 圖 10 第 1 幅繪畫結果展示了由該元素裝飾的整幅繪畫效果.

　　3.2 局限性本文方法可以生成光滑且相對獨立的筆畫. 然而, 在某些情況下, 它并不能獲得令人滿意的結果. 如某些特殊技法產生的繪畫效果, 像中國山水畫中的皴法, 其中包含的筆畫輪廓很難用樣條曲線表示; 還有一種情況是由潑墨技法或多個相互重疊的筆畫所生成的復雜繪畫作品, 像西方油畫, 圖 12 裝飾元素的缺失補充的示例因為顏色混合, 其中的多層紋理很難被分離. 而花卉水墨畫是國畫中極其重要的一類, 也是國畫中最具代表性的畫種, 它涵蓋典型的筆畫和常用的技法, 故本文方法已解決水墨畫的多數情況, 具有通用性.

　　3.3 對比分析通過與相關方法進行對比, 證明了本文方法的有效性. 本文選擇研究動機相似的 3 項研究成果進行對比. (1) 與商業軟件 Adobe® Photoshop 軟件生成的日本水墨畫的效果對比. 如圖 13 所示, 本文的工具所生成的具有中國繪畫風格的圖像更清晰地展現出水墨畫局部筆畫形態與顏色的風格特征. (2) 與 Xie 等[20]的交互式由照片生成日本水墨畫的方法進行對比. 他們的方法圍繞日本水墨畫中的一般化的風格特點, 用 6 種紋理組合結合用戶指定色彩對筆畫中的繪畫軌跡進行渲染; 而本文方法關注中國繪畫名作中藝術家的高質量風格特征, 并依據筆畫的形態合成出具有原畫中的墨色風格的紋理. 如圖 14 所示, 本文方法生成的結果更具豐富的紋理特征. (3) 與基于 CNN 圖像風格遷移的方法[23]進行對比. 此類深度學習的技術處理風格遷移的問題具有一定的優勢: 基于“黑盒”的學習模式可將圖像的全部特征提取, 比人工提取圖像規則更高效、準確; 然而, 它在處理多風格混合的圖像(如中國繪畫作品)時, 可能存在局限性, 如國畫中的背景留白, 多種筆法技巧創作的不同風格的筆畫紋理等. 如圖 15所示, 與圖 7中顯示的本文方法的風格化結果相比, 其結果未能表現原有作品中的風格特征.

　　4 結 語

　　為了生成具有中國花卉水墨畫風格的筆畫, 本文提出了一個低交互要求的繪畫工具; 它設計一種風格遷移的方法來降低用戶繪畫操作的復雜度和精準度. 利用文中論述的自動筆畫修正、最佳風格模板選擇、筆畫寬度計算及紋理合成等技術, 可以沿著用戶輸入的粗略線條生成具有某種繪畫風格的筆畫. 總之, 本文認為該方法能幫助繪畫知識有限的用戶創作屬于他們的作品, 同時, 在筆畫的基礎上實現對照片進行風格化的目的.

　　未來的工作將探索更多的景物對象和繪畫風格, 如中國人物畫和西方水彩畫, 并把它們整合到現有的工作框架中, 以提高現有方法的通用性. 將深度學習技術與現有的方法相結合, 探索深度網絡表征水墨畫的風格的原理以及網絡學習規則的方法. 本文筆畫修正技術可能對中國水墨畫與書法中交叉重疊筆畫的拆分有所幫助, 因此, 基于草繪的筆畫分割將是另一個值得研究的方向.

　　參考文獻(References):

　　[1] Gooch B, Gooch A. Non-photorealistic rendering[M]. Wellesley: A K Peters Press, 2001

　　[2] Curtis C J, Anderson S E, Seims J E, et al. Computer-generated watercolor[C] //Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 1997: 421-430

　　《生成中國花卉水墨畫的筆畫風格化方法 》來源：《計算機輔助設計與圖形學學報》，作者：楊麗潔1), 徐添辰2,3)*, 吳恩華2,3,4)