寧波材料所在醫(yī)學圖像質量增強領域取得進展
醫(yī)學影像通常能為臨床醫(yī)生提供大量與生物或解剖組織相關的信息，在診療中起著至關重要的作用。然而，無論是由相同還是不同的設備獲取，醫(yī)學圖像往往表現出成像質量或成像風格上的差異，如灰度不均勻性、低對比度、明顯的模糊或噪聲等。圖1分別展示了由共聚焦顯微鏡、彩色眼底相機和內窺鏡獲取的低質量和高質量例子。對于高質量圖像（圖1的第二行），幾乎所有的細節(jié)都可以被臨床醫(yī)生輕松識別。然而，對于低質量圖像（圖1的第一行），很難清楚地觀察到角膜神經纖維、眼底血管、消化道或其他組織的完整結構。與其他圖像相比，大多數醫(yī)學圖像來自于具有特定退化因素的成像過程，這可能導致各種低質量的外觀偽影，并給臨床應用帶來額外的挑戰(zhàn)。此外，這些低質量因素還會降低許多后續(xù)圖像分析任務的性能，如特定結構分割、病變檢測或其他計算機輔助診斷任務等。因此，通過全自動和可靠的醫(yī)學圖像增強技術來獲得具有足夠細節(jié)和合適對比度的高質量醫(yī)學圖像，對于實現精準醫(yī)療的目標至關重要。
中國科學院寧波材料技術與工程研究所智能醫(yī)學影像團隊提出了一種新的基于生成對抗網絡的醫(yī)學圖像增強方法，稱為結構和光照約束生成對抗網絡（StillGAN），整體框架如圖2所示。該方法的主體是一個類似于CycleGAN的雙向生成對抗網絡，該網絡將圖像增強任務視為從低質量圖像域到高質量圖像域的圖像翻譯任務，無需嚴格對齊的高低質量圖像對，便可學習將高質量圖像的典型特征遷移到低質量圖像上來改善其質量。在雙向生成對抗網絡的基礎上，研究人員提出了兩個新的約束項——光照正則化項和結構損失項，并將它們引入雙向生成對抗網絡的目標函數中，旨在克服雙向生成對抗網絡在捕獲局部細節(jié)方面的不足，以便獲得具有更佳光照分布和結構細節(jié)的圖像，用于臨床判讀和后續(xù)分析。
該方法在角膜共聚焦顯微鏡圖像、眼底彩照和消化道內窺鏡圖像上均進行了驗證，圖3分別展示了這三種模態(tài)的醫(yī)學圖像增強結果，表明StillGAN能夠有效兼顧增強圖像的光照均勻性和結構完整性，顯著提高了醫(yī)學圖像的視覺質量。研究人員還根據其各自的成像特點和臨床關注點采用不同的圖像質量定量評估方法，來驗證提出的增強方法在臨床上的有效性。其中包括邀請臨床專家對增強圖像的質量重新分類，還通過角膜神經分割和彎曲度分級、黃斑中心凹定位和糖尿病視網膜病變診斷任務間接評估了增強方法在臨床應用中的作用，從而進一步闡述了StillGAN的潛在臨床價值。
相關成果近期以“Structure and Illumination Constrained GAN for Medical Image Enhancement”為題發(fā)表在國際期刊IEEE Transactions on Medical Imaging，博士研究生馬煜輝為第一作者，趙一天研究員為本文通訊作者。
該研究得到了浙江省重點研發(fā)計劃（2020C03036）、浙江省自然科學基金重點項目（LZ19F010001）、寧波科技創(chuàng)新2025重大專項（2019B10033、2019B1006）以及中科院青促會項目（2021298）等的支持。
圖1 不同醫(yī)學圖像高低質量示例
圖2 StillGAN整體框架圖：（a）正向循環(huán)一致性；（b）反向循環(huán)一致性
圖3 三種模態(tài)的醫(yī)學圖像增強結果
?。ㄡt(yī)工所 馬煜輝）