應用方向：

本文將顯微高光譜成像技術應用于白細胞的快速檢測與分類識別，充分發(fā)揮了高光譜圖像在獲取細胞空間結構與光譜特征信息上的雙重優(yōu)勢。通過高分辨率的顯微成像，系統(tǒng)可在納米級尺度下對血液涂片中的白細胞進行成像，實現(xiàn)對細胞中蛋白質(zhì)、酶類等成分差異的敏感響應。與傳統(tǒng)基于RGB圖像的檢測方法相比，顯微高光譜技術能更準確地區(qū)分形態(tài)相近、色澤相似的細胞類型。此外，研究還表明，該技術在結合深度學習模型后，可實現(xiàn)自動化、精準化、可解釋的細胞識別，為血液學領域的智能輔助診斷提供了新路徑，也展示了顯微高光譜在臨床檢驗、細胞分類、疾病篩查等場景中的應用潛力。

導讀

背景：白細胞（WBCs）作為血液中的重要組成部分，在機體免疫防御中發(fā)揮著核心作用，其數(shù)量和形態(tài)特征常用于疾病診斷與健康評估。然而，傳統(tǒng)的白細胞檢測方法多依賴人工顯微鏡觀察，如直接血細胞計數(shù)和分類計數(shù)等，這不僅操作復雜、效率低下，而且極易受到操作者主觀判斷影響，尤其在面對大量樣本時容易出錯。盡管近年來圖像識別與計算機視覺技術已被廣泛應用于血細胞自動檢測，如基于支持向量機（SVM）或深度學習的圖像分割與識別方法，但這類方法通常僅依賴細胞圖像的空間特征，難以從根本上解決小樣本和類別間差異不明顯所導致的泛化能力不足的問題。此外，圖像采集過程中如顯微鏡光照條件、載玻片厚度等環(huán)境因素也容易干擾檢測結果。

高光譜成像（HSI）技術的興起為解決上述問題提供了新思路。該技術融合了圖像與光譜信息，能獲取目標在空間和光譜維度的豐富特征，在醫(yī)學圖像分析中表現(xiàn)出顯著優(yōu)勢。然而，傳統(tǒng)HSI處理流程中往往需要人工劃定感興趣區(qū)域（ROI），限制了其在快速檢測場景下的應用。因此，本文提出結合高光譜顯微成像系統(tǒng)（HMI）與多數(shù)據(jù)融合的Faster RCNN模型，實現(xiàn)對白細胞的快速、自動化識別，通過融合光譜和圖像信息，提升模型的識別精度與魯棒性。這一研究不僅有助于提高白細胞檢測的效率和準確性，也為其他類型的生物醫(yī)學影像分析提供了參考路徑。

作者信息：王慧慧，大連工業(yè)大學，博士生導師

期刊來源：Sensors and Actuators: B. Chemical

研究內(nèi)容

本研究旨在提升白細胞檢測的自動化水平和識別準確性，提出了一種結合高光譜顯微成像系統(tǒng)（HMI）與多數(shù)據(jù)融合的Faster RCNN深度學習模型。本文充分利用高光譜成像可同時獲取圖像與光譜信息的優(yōu)勢，構建了一個聯(lián)合分析模型。作者分別設計了基于光譜數(shù)據(jù)的一維卷積神經(jīng)網(wǎng)絡（1-D CNN）與基于偽彩色圖像的Faster RCNN模型，用于單一模態(tài)下的分類性能分析。進一步地，提出融合兩種模態(tài)的Multi-data Faster RCNN模型，在Faster RCNN中引入1-D CNN光譜特征提取模塊，并通過特征拼接實現(xiàn)圖像與光譜信息的聯(lián)合識別。

實驗設計

本研究使用的血涂片樣本由大連市第二醫(yī)院血液科提供，樣本在送檢前已完成染色處理（圖1（a））。高光譜數(shù)據(jù)采集采用圖1（b）所示系統(tǒng)完成，構建包含五類白細胞的標注數(shù)據(jù)集，所有圖像數(shù)據(jù)均由專業(yè)醫(yī)務人員進行標注。

本研究采用的高光譜顯微成像（HMI）系統(tǒng)如圖1(b)所示，該系統(tǒng)主要由以下組件構成：1）Image-λ-N17E近紅外高光譜成像系統(tǒng)（江蘇雙利合譜科技有限公司）；2）配備金屬鹵素光源的三目生物顯微鏡。實驗采用暗場成像模式，曝光時間設置為10 ms。如圖1(c)所示，所獲取的高光譜數(shù)據(jù)立方體包含360個單波段圖像（波長范圍382.3-1020.2 nm，光譜分辨率1.8 nm），每個單波段圖像的尺寸為960（寬）×1101（高）像素。

由于高光譜圖像數(shù)據(jù)占用內(nèi)存較大，而顯微鏡獲取的每張原始圖像的邊緣區(qū)域都是純黑的無用區(qū)域，因此從每張圖像的中心切割出一個600 × 600 像素的區(qū)域來制作數(shù)據(jù)集，以保證盡可能多的血細胞被保存在該區(qū)域內(nèi)。

圖1. 主要研究流程圖：(a) 血涂片；(b) 高光譜成像系統(tǒng)（HMI）；(c) 高光譜圖像；(d) 分類標簽；(e) 模型與結果。

研究方法

本研究的預測集白細胞數(shù)量為90個，校正集與預測集的比例控制在約3:1。此外，在每個訓練周期中，模型會以0.1的比例從校正集隨機劃分驗證集，以提升模型的泛化能力。

針對白細胞高光譜圖像的光譜數(shù)據(jù)，本研究參考VGG16模型構建了一維CNN網(wǎng)絡結構。該架構不僅能有效提取白細胞光譜數(shù)據(jù)中的深層特征信息，同時最大限度降低了模型復雜度。如圖2所示，網(wǎng)絡具體結構包含13個采用ReLU激活函數(shù)的一維卷積層（1-D Conv）、5個最大池化層以及2個全連接層（Dense）。圖中各層頂部數(shù)值表示特征圖數(shù)量，底部數(shù)值則對應卷積層編號及該層卷積核數(shù)量。網(wǎng)絡輸入數(shù)據(jù)為通過分析軟件從高光譜圖像中提取的、包含360個波段的平均光譜反射率數(shù)據(jù)。

圖2. 基于光譜數(shù)據(jù)的一維卷積神經(jīng)網(wǎng)絡（1-D CNN）結構。

針對白細胞高光譜圖像的特征檢測，本研究構建了基于Faster RCNN的檢測框架。作為Fast RCNN的改進版本，該框架結構如圖3所示，通過二維卷積層（2D-Conv）、最大池化層（Max Pooling）和全連接層（Dense）實現(xiàn)白細胞的特征提取、定位與分類。其中，特征提取網(wǎng)絡采用Resnet18架構，該網(wǎng)絡能實現(xiàn)更深層次的特征提取，顯著提升白細胞類別間差異不明顯數(shù)據(jù)的識別精度。Faster RCNN的核心優(yōu)勢在于其區(qū)域提議網(wǎng)絡（RPN），該網(wǎng)絡能大幅提升白細胞等微小目標的檢測能力。

圖3. Faster R-CNN的結構。

基于多源數(shù)據(jù)融合的聯(lián)合檢測方法能夠降低模型對單一數(shù)據(jù)類型的依賴性，顯著提升識別精度和模型穩(wěn)定性。為此，本研究對原Faster RCNN網(wǎng)絡進行改進：通過在網(wǎng)絡結構中新增光譜數(shù)據(jù)提取模塊、一維CNN光譜特征提取網(wǎng)絡以及特征融合層（Concatenate），構建了多數(shù)據(jù)融合的Faster RCNN檢測模型（如圖4所示）。主要改進包括：在ROI池化層后接入光譜特征提取模塊，以建議框坐標作為輸入截取白細胞高光譜圖像對應區(qū)域，計算該區(qū)域的平均光譜反射率作為一維CNN網(wǎng)絡的輸入數(shù)據(jù)。經(jīng)一維CNN提取的光譜特征通過Concatenate層與圖像空間特征進行融合，最終基于融合特征完成白細胞分類。

圖4. 多數(shù)據(jù)Faster R-CNN的流程。

之后采用Grad-CAM算法對解釋CNN對WBC特征的學習結果，并驗證其對WBC分類結果的準確性。采用Precision、Recall、F1 score、AP和mAP作為WBC檢測的評價指標。

結果

針對一維光譜數(shù)據(jù)，本研究構建了1-D CNN白細胞檢測模型。模型在第20個周期左右基本收斂，校準集和驗證集的最終損失值分別穩(wěn)定在0.19和0.26，表明1-D CNN對白細胞光譜數(shù)據(jù)具有優(yōu)異的適應性和分類能力。各類別的識別準確率均達到90%以上，且未出現(xiàn)過擬合現(xiàn)象，證實了模型良好的泛化能力。所有分類類別的F1分數(shù)均超過0.9，AP值也均保持在0.9以上。這些結果充分證明，基于光譜反射數(shù)據(jù)構建的1-D CNN模型在白細胞分類任務中表現(xiàn)出卓*的穩(wěn)定性和分類性能。

在本研究中，二維偽彩色圖像被應用于Faster R-CNN白細胞檢測建模。模型主要關注400–570納米和640–700納米這兩個波段范圍。這兩個范圍內(nèi)的波段被模型賦予了更高的權重，因為它們包含了更多用于白細胞識別的特征信息。作為一種目標檢測網(wǎng)絡模型，F(xiàn)aster R-CNN能夠有效識別微小尺寸目標，特別適用于顯微檢測場景。圖5展示了基于Faster R-CNN模型對兩幅不同圖像中五類白細胞的檢測結果。圖中采用不同顏色的檢測框標注各類白細胞，并在檢測框上方顯示對應的預測類別及置信度評分。實驗結果表明，該模型能準確區(qū)分不同類別的白細胞，并保持較高的檢測精度。

圖5. 基于偽彩色圖像的Faster R-CNN檢測白細胞的結果。

從模型訓練的角度來看，總損失值在前20個訓練周期內(nèi)迅速下降，隨后趨于平穩(wěn)，并在大約80個訓練周期后基本收斂，這證明了Faster R-CNN在這種白細胞圖像數(shù)據(jù)集中的可行性。與1-D CNN相比，F(xiàn)aster R-CNN不僅在訓練過程中收斂速度更慢，而且在Neu和Eos的分類準確率上也明顯較低。所有白細胞分類的F1分數(shù)和AP均高于0.85，其中Bas的F1分數(shù)和AP分別達到了0.957和0.999，這證明了Faster R-CNN在預測白細胞方面的整體性能良好。

圖6詳細展示了多數(shù)據(jù)Faster R-CNN的性能。圖6(a)展示了訓練過程中總損失值的變化。當訓練周期達到40時，校準集和驗證集的總損失值分別下降了0.008和0.03，并隨后趨于穩(wěn)定，這表明模型的訓練效果良好。圖6(b)詳細展示了白細胞的分類結果。與前兩種模型相比，可以看Lym或Mon的分類準確率有所提高。此外，各分類之間的混淆也減少了，這表明該模型的預測能力得到了提升。

圖6. 多數(shù)據(jù)Faster R-CNN的結果：(a) 訓練過程中的總損失曲線；(b) 分類結果的混淆矩陣；(c) 每個分類的精確率-召回率（PR）曲線。

對多數(shù)據(jù)Faster R-CNN的分類性能進行綜合分析。*顯著的改進是Lym和Mon的AP值大幅提升，分別達到了0.917和0.911。融合特征的分類不僅減少了白細胞之間的誤判，還有效減少了背景與白細胞目標之間的誤判。這證明了多數(shù)據(jù)聯(lián)合檢測相較于單一數(shù)據(jù)檢測的可行性和優(yōu)勢。

圖7展示了多數(shù)據(jù)Faster R-CNN在預測集中獲得的類別激活映射（CAM）熱力圖，這是聯(lián)合檢測模型對白細胞光譜反射率（圖7(a)）和圖像特征（圖7(b)）的權重可視化。與單一數(shù)據(jù)1-D CNN關注的400–570納米和640–700納米波段范圍相比，多數(shù)據(jù)Faster R-CNN模型在融合特征的引導下，關注了更廣泛的380–570納米和640–950納米波段范圍。

圖7. 多數(shù)據(jù)Faster R-CNN在預測集中生成的Grad-CAM：(a) 基于光譜波長；(b) 白細胞的圖像。

結論

在本研究中，基于深度學習框架，提出了單數(shù)據(jù)檢測模型（1-D CNN和Faster R-CNN）以及多數(shù)據(jù)聯(lián)合檢測模型（多數(shù)據(jù)Faster R-CNN），以協(xié)助HMI進行白細胞檢測。對于基于光譜反射率數(shù)據(jù)的1-D CNN，每個分類的F1分數(shù)和AP均超過0.9，mAP達到了0.956，這證明了光譜數(shù)據(jù)在白細胞分類中的可行性。隨后，利用Faster R-CNN基于圖像特征對白細胞進行定位和分類，該模型在細胞定位方面表現(xiàn)出色，但其對Lym和Mon的F1分數(shù)和AP甚至未能超過0.9。相比之下，多數(shù)據(jù)Faster R-CNN模型的每個F1分數(shù)和AP均超過0.9，mAP甚至達到了0.962。這一顯著性能主要歸功于兩種數(shù)據(jù)類型的互補性，使得模型能夠產(chǎn)生比單一數(shù)據(jù)源更準確、更完整且更可靠的估計和區(qū)分。與現(xiàn)有的白細胞檢測方法相比，多數(shù)據(jù)Faster R-CNN能夠?qū)崿F(xiàn)大量白細胞樣本的自動且快速檢測。此外，引入HMI可獲取高質(zhì)量的細胞高光譜圖像，從而顯著提高了檢測的準確性。最重要的是，其可行性和優(yōu)勢已得到驗證，這可能為其他生物檢測提供寶貴的參考。