當AI人工智慧遇上顯微鏡 ── AI for Atoms: How to Machine Learn STEM

     近日美國橡樹嶺國家實驗室 (Oak Ridge National Laboratory, ORNL) 釋出了他們在2020/12/7-10為期四天的 online workshop 中大部分的 presentation 與 tutorial 影片，放上了 Youtube 供大眾取用參考。在此除了在文末分享連結，我也會稍微補充一些會後心得與個人觀點。

用人工智慧去加速判讀顯微鏡影像內的資訊 (source: TheScientist)

註: 雖然這個 workshop採用邀請制，並沒有開放讓大眾報名，甚至還要求與會者提供一堆背景資料以供審核，但是主辦方 Sergei確實有在 email內提及可以自由將這些資料分享出去，因此應該沒有違反使用規範的疑慮。

前言

    人工智慧滲透進入科學界的不同領域早已不是新聞，從天氣預報、醫學影像判讀、材料設計等各種千奇百怪的應用比比皆是。顯微鏡界則是以生物相關領域最早開始擁抱這個新工具，在近5年也逐漸被材料領域的人所應用至電子顯微鏡上，算是相當新的一個研究前線。因此這次 workshop 其實就是由 ORNL邀請大家聚在一起分享自己的研究，並且集思廣益該如何合理地使用這些技術，討論一下該如何促進電顯界的data與code的互相交流，讓研究者不再被顯微鏡的地點或能力綁架，以更加速研究進展。

與會人士除了ORNL的Sergei, Maxim, Rama, Debangshu外，還有LBNL的Colin Ophus, UMich的Robert Hovden, UWM的Paul Voyles, MIT的Max Tegmark, Flatiron的Shirley Ho, Google的Peter Battaglia與Viren Jain以及其他世界各地的相關學者

The virtual school on AI for Atoms: How to Machine Learn STEM, held December 7-10, 2020, combined invited and contributed presentations on forefront ML applications in Scanning Transmission Electron Microscopy (STEM), Electron Energy Loss Spectroscopy (EELS), and 4D STEM, as well as for physics and chemistry extraction from STEM data sets. It featured tutorials on recent developments in ML analysis of mesoscopic and atomically resolved images and spectroscopy in STEM, including classical graph analysis of STEM data, deep convolutional neural networks for feature identifications, symmetry-invariant autoencoders, and Gaussian Processing based super-resolution imaging and image reconstruction.

會後心得

    參加這種小型workshop的感覺與大型conference很不一樣。像MRS這樣的大型 conference 裡面做microscopy的非常少，大家通常是以材料種類或性質、應用分群。中型 conference 如M&M則幾乎都是microscopist，但是專注的材料系統或面向各不相同。這種小型workshop就很像是從M&M裡面挑一個Sympossium並且延伸成四天份，可以更仔細地討論研究，算是很難得的機會，大家的同質性也相對更高了些。另外每天也提供tutorial session供大家入門一些分析技術例如Pytorch Image Segmentation, Gaussian Processing, Autoencoders, Bayesian Optimization等等。

    對我來說，大部分的技術在M&M就已經被分享過，Github與jupyter/colab notebooks也幾乎都在paper裡面可以找到。最有價值的部分仍然是參考大家如何發揮創意，將已知的工具用在處理未知的問題上。這個領域雖然聽起來很fancy，但我覺得它仍處在摸索發展期，有些應用有點像是奇技淫巧，或著說是一種Engineering角度的approach。例如更簡潔的data expression，更直觀的denoising technique，或是更方便的image segmentation，充其量仍是暫時拿來應付越來越大的資料量的一種handling technique，我們還在研究該如何從大量的資料中找出有意義的feature，並且發現新的physics/chemistry，這也是這次workshop的目標之一。很大程度來說，這些ML技術可以輕易地將input data 給轉變成另一種形式，但是如何validate這些結果，並從中發展出對新的科學依然是最大的瓶頸。

    盡管如此，AI的發展對於一些仰賴自動化的作業依然是巨大的福音。光是想像只要把sample放進顯微鏡內，它就自動替你過一遍sample然後標記出有趣的區域就足夠讓人興奮了，不是嗎?

相關連結

ORNL活動頁連結 (內含Youtube連結)

Workshop Youtube Playlist (Presentation + Tutorial)

    ORNL其實已經在這個領域耕耘了好一陣子，也發佈了不少與STEM、ML相關的python package，大家可以多多參考利用。例如pycroscopy、STEMtool、atomai、GPim等等，都可以在Google colab上面直接運行，所以對環境setup有問題的人也不用擔心。