Nature Machine Intelligence | 深圳先進院提出自由社交行為的人工智能精細化分析方法
社交行為是高等哺乳動物重要的本能行為,社交障礙是自閉癥、抑郁癥以及社交焦慮癥等疾病的高度共有病征,社交行為的讀取與解析是研究社交障礙神經(jīng)環(huán)路機制關(guān)鍵技術(shù)之一。
1月8日,中國科學院深圳先進技術(shù)研究院腦所/深港腦科學創(chuàng)新研究院蔚鵬飛研究員團隊在人工智能領域國際頂級期刊《自然 機器智能》(Nature Machine Intelligence) 期刊發(fā)表了題為 Multi-animal 3D social pose estimation, identification, and behavior embedding with a few-shot learning framework的論文,發(fā)布了神經(jīng)環(huán)路研究領域一項突破性應用技術(shù):針對社交行為研究的小樣本學習計算框架模型Social Behavior Atlas (以下簡稱“SBeA”)。
該技術(shù)實現(xiàn)了自由社交動物模型的無標簽、高精度三維姿態(tài)估計、零樣本身份識別和精細化社交行為分類,真正解決了精確檢測動物社交行為的多個重要難點,有望為社交行為神經(jīng)環(huán)路機制的研究帶來研究范式上的變革創(chuàng)新。該工作為科技創(chuàng)新2030-“腦科學與類腦研究”重大項目“社交障礙的神經(jīng)環(huán)路機制與干預研究”的實施,提供了重要的精細行為數(shù)據(jù)分析支撐。
近年來,深度學習技術(shù)在傳統(tǒng)行為學研究領域的廣泛應用,促進了計算神經(jīng)行為學(computational neuroethology)這一新興學科的蓬勃發(fā)展,DeepLabCut、SLEAP、MoSeq等AI動物行為追蹤技術(shù)正在成為神經(jīng)科學家的重要研究工具。但是在多目標、自由社交行為的研究領域,盡管上述技術(shù)都相繼推出了自己社交行為分析版本,但是在海量數(shù)據(jù)標注問題、連續(xù)追蹤的身份準確性等問題上的技術(shù)不成熟,使得目前研究人員仍沒有真正可用的有效工具,社交行為的研究大部分仍停留在傳統(tǒng)三廂行為實驗階段。
上述現(xiàn)有歐美技術(shù)的性能首先受制于人工標注數(shù)據(jù)集的數(shù)據(jù)量。在社交行為實驗中,無法避免地需要在多種行為實驗范式中使用不同的模式動物,深度學習模型精準與否取決于實驗人員標注的視頻的數(shù)量,每一個數(shù)據(jù)集的準備都需要花費實驗人員數(shù)周的時間,極大地降低了實驗效率,限制了上述工具的應用場景。SBeA在自由社交動物的姿態(tài)估計、身份識別和行為分類的三個階段,分別針對性地提出了小樣本的數(shù)據(jù)生成算法、零樣本雙向遷移學習方法和自然結(jié)構(gòu)啟發(fā)的無監(jiān)督社交行為分解聚類策略,有效降低了每個階段的數(shù)據(jù)標注量。
SBeA的姿態(tài)估計小樣本數(shù)據(jù)生成算法和身份識別零樣本雙向遷移學習方法的設計均受到大腦的工作機制的啟發(fā)(圖1)。人類在識別交互的動物時,能 “腦補”動物可能存在的遮擋關(guān)系,這一過程為大腦提供大量的新數(shù)據(jù)。據(jù)此所提出的連續(xù)遮擋復制粘貼數(shù)據(jù)算法可以有效合成大量新數(shù)據(jù)(圖1a),能夠訓練精度更高的模型,獲得更加準確的3D社交姿態(tài)估計結(jié)果。在非社交場景中,人類能夠通過外表區(qū)分每一只動物的身份,也能“腦補”到多動物社交場景,識別每一只動物的身份。受到啟發(fā),SBeA的多動物社交身份識別通過共享不同網(wǎng)絡的知識實現(xiàn)雙向遷移學習(圖1b),借助模型之間的“腦補”,消除了標注數(shù)據(jù)的過程,并實現(xiàn)了高精度的外表相似動物的身份識別。
多動物社交行為分析最大的難點在于同時區(qū)分外觀非常相似的動物。兩只小鼠在自由社交時,區(qū)分它們的身份是研究特定疾病造模個體的基礎,然而即使是專業(yè)的實驗人員也很難區(qū)分每一只的身份。零樣本雙向遷移學習借助人工智能超越人類精度的圖像特征分辨能力,實現(xiàn)了大于90%的自由社交動物身份識別準確率(圖2),推動社交行為研究進入不需要約束動物的自然行為時代,革新社交實驗范式。
動物行為具有類比人類語言的“字母-單詞-語句”結(jié)構(gòu),社交行為則包含動物與動物之間行為語言結(jié)構(gòu)的交互。根據(jù)社交行為的自然結(jié)構(gòu),將社交行為類比語言進行并行、動態(tài)的分解,綜合考量多種社交行為特征進行社交行為的自適應無監(jiān)督聚類,獲得百余種精細社交行為模塊(圖3)。SBeA不需要提前定義社交行為類別,有利于發(fā)現(xiàn)新的、未定義的社交行為差異。SBeA能夠鑒定三箱社交、分區(qū)域社交等經(jīng)典社交實驗范式難以獲得的自由社交行為表型。使用SBeA,鑒定得到孤獨癥小鼠模型和正常小鼠兩兩之間社交的精細行為差異(圖4),孤獨癥小鼠模型缺少的相互理毛、同伴嗅探和增加的原地不動、刻板的同步行為顯示出自然狀態(tài)下孤獨癥小鼠模型親社會樣行為的缺失、社交新穎性和運動能力的降低。僅通過社交行為的差異即可分類孤獨癥小鼠社交組和正常小鼠社交組,證明了SBeA具有通過社交行為來識別異常小鼠的能力。
除了小鼠外,SBeA也適用于計算鳥類和家犬的精準的3D社交姿態(tài)、身份和精細社交模塊,具有跨物種應用的潛力(圖5)。家犬部分的工作與中國科學院昆明動物研究所張亞平院士和王國棟研究員團隊、公安部昆明警犬基地李靜團隊合作,在科技創(chuàng)新2030“腦科學與類腦研究”重大項目支持下共同完成。
深圳先進院腦所蔚鵬飛研究員為論文的通訊作者。論文第一作者是深圳先進院腦所在讀博士生韓亞寧,共同第一作者包括碩士生陳可(現(xiàn)就職芯動科技)和助理研究員王云珂(現(xiàn)就職微創(chuàng)醫(yī)療)。研究的開展要大力感謝深圳先進院腦所王立平研究員的關(guān)懷與指導,同時感謝已畢業(yè)博士黃康(現(xiàn)就職深圳一灣生命科技)的積極支持。感謝科技部科技創(chuàng)新2030“腦科學與類腦研究”重大項目、國家自然科學基金委員會、中國科學院青年創(chuàng)新促進會、國家重點研發(fā)計劃、中國科學院腦聯(lián)結(jié)解析與調(diào)控重點實驗室和廣東省腦連接圖譜重點實驗室的資助與支持。

圖1 小樣本連續(xù)遮擋復制粘貼數(shù)據(jù)生成算法
(a)和零樣本雙向遷移學習方法 (b)示意圖

圖2 外觀相似動物的身份識別準確率>90%

圖3 自然行為結(jié)構(gòu)啟發(fā)的社交行為動態(tài)分解和聚類流程圖
圖4 SBeA鑒定孤獨癥小鼠多種異常的精細社交行為模塊

圖5 SBeA量化鳥類和家犬的精細社交行為
附件下載: