海量視頻智能分析研判系統

　　作者簡介：李子青，國防科大碩士、英國Surrey大學博士?，F為中科院自動化所生物識別與安全技術研究中心主任?！　⌒枨蠓治?/p>

　　平安城市建設計劃在全國城市建設監控視頻設施，部署實施了2000多萬攝像頭，在社會管理工作中起到了積極的作用。然而，監控視頻數據帶來的問題日益突出，主要體現在海量視頻的有效利用上。2012年南京“1.6”案件發生后，在案件偵破過程中，南京警方從全市1萬多個攝像頭共提取了近2000T的視頻數據，為了處理這些視頻，調動1500多名公安干警查閱搜索視頻線索，共耗時一個多月。目前視頻偵查應用中面臨著以下幾個重要問題：

　　視頻數據未得到很好利用，人、車、物目標搜索識別，視頻分析研判等任務，靠人工進行，無法有效處理海量視頻數據;

　　由于存儲容量限制，視頻數據存儲一個月即刪除，關鍵信息無法得到長時間保存。

　　針對視頻設施應用存在的問題，公安部要求：各級公安機關要圍繞視頻監控技術的深度應用，服務公安實戰，提升打防績效。對監控建設應用的要求，從以硬件建設為主的第一階段，向以智能應用為主要特征的第二階段過渡，解決視頻調閱慢、分析難的問題，從海量視頻中發現重要而有價值的線索，快速識別定位目標，挖掘其行動軌跡，從而縮短辦案時間，降低辦案人員的工作強度，提高各部門聯合作戰效率。公安視頻偵查、治安、情報等業務部門應該配備具有相應智能分析功能的實戰工具和裝備，能進行海量視頻的智能視頻分析、信息檢索、特征識別、圖像增強、報警與監控。

　　面向公共安全應用，中國科學院自動化研究所、中國物聯網研究發展中心(籌)和中科奧森科技有限公司聯合對公安視頻業務進行了深入調研，認為：解決這些問題的出路是，針對海量視頻分析研判，研發智能視頻分析、人車物目標識別、目標軌跡挖掘、海量數據分析等前沿高技術， 針對公安視頻偵查與情報業務，研發面向實戰的專業應用系統， 由此提升公安業務水平和效率。

　　針對上述迫切需求，在國家科技支撐計劃課題和工信部物聯網專項的支持下，中國科學院和中科奧森研發了海量視頻智能分析研判系統(簡稱VSearch)。該系統面向公安視頻偵查、治安和情報業務專業應用的智能視覺物聯網系統，如下圖所示，由2個部分構成：(1)視頻線索分析建庫(后臺)，(2)前臺 視頻線索綜合研判(前端)。第(1)部分處理分析海量監控視頻數據，從中提取出有價值的視頻線索并構建海量視頻情報庫，對視頻目標進行多模態、全方位的描述，包括如空間、時間、表象、行為等特征。第(2)部分為公安業務綜合研判平臺，在海量視頻情報庫基礎上，提供多模態視頻線索和信息管理、目標快速搜索，軌跡挖掘、案件串并、綜合研判等功能。由此可見，該系統工作方式與Google索引和服務類似，是一個面向中國公安業務的專用智能搜索系統。

　　視頻線索分析建庫

　　海量視頻智能分析研判基于智能視覺物聯網的視覺標簽系統。第一步是提取出有價值的視頻線索并構建出海量視頻情報線索庫。視頻線索提取包括目標檢測、目標屬性提取、目標關聯、和關系挖掘。這些線索構成視頻情報庫的基本元素，存儲在云端供客戶端應用隨時調閱。

　　中科院李子青博士2010年提出視覺物聯網(Visual Internet of Things, VIOT)，其核心為物聯網視覺標簽系統，對環境中主要物品 “人、車、物”及其事件進行分析，識別目標的靜態屬性標簽，和動態行為標簽。屬性標簽主要是視頻中的運動對象的靜態屬性，如運動目標的顏色、形狀和紋理(如衣服是豹紋還是格子衫)等低層特征，以及頭飾，眼鏡、發型、配飾等特征。此外，還包括運動目標的類別屬性(如行人，自行車，小汽車，公交車，大卡車等類別，以及行人的性別，年齡，種族等分類)，和特定屬性(如行人身份，以及車輛車牌號等)。行為標簽是用來描述視頻數據中的運動對象的運動信息和行為信息，如運動對象的運動方向、運動速度是屬于運動標簽，徘徊、闖禁區、闖紅燈、損害公物、亂涂亂畫等是公共場合下的特定行為標簽。

　　視覺標簽的提取將構成對運動目標的多模態的、全方位的描述。這些信息將保留在海量視頻情報庫中，構成快速視頻檢索的關鍵要素，是VSearch的技術核心部分。

　　目標屬性提取

　　目標屬性(視覺標簽)提取是VSearch的基礎技術，要求對環境中主要物品 “人、車、物”及其事件進行分析，識別目標的靜態屬性標簽，和動態行為標簽。分兩步：目標檢測和目標描述。

　　目標檢測把視頻里活動的目標一一檢測和分割出來，并跟蹤其在單個場景里的活動。在實際監控場景中，由于攝像機視角的不同以及環境光照的變化，對精確的行人、車輛檢測和分割提出了較高的要求。作為智能視頻分析中的核心問題，VSearch擁有業內領先的專利技術，對由于攝像機視角，光照，和動態背景變化，以及目標物體內在的表象變化(比如人的動作和衣著，以及車的類型和顏色)等引起的復雜的運動視頻能夠實現精確的行人、車輛檢測、分割和跟蹤。

　　VSearch的宗旨是從視頻里分割出來的目標不能有遺漏，這也是公安業務中最關心的功能，否則可能會丟失有重要價值的信息。其次是控制虛警。虛警太多不但影響后續模塊的處理，也影響分析研判的效率。

　　目標描述由靜態屬性標簽和動態行為標簽組成。屬性標簽主要是視頻中的運動對象的靜態屬性，VSearch提取的屬性標簽包括：

　　時間屬性：運動目標活動的時間;

　　空間屬性：運動目標活動的空間位置;

　　底層特征屬性：如運動目標的顏色、形狀和紋理特征(如衣服是豹紋還是格子衫);

　　裝扮屬性：如帽子，頭飾，眼鏡，發型，配飾等特征;

　　類別屬性：如行人，自行車，小汽車，公交車，大卡車等類別，以及行人的性別，年齡，種族等分類;

　　特定屬性：如行人身份，以及車輛車牌號等。

　　行為標簽是用來描述視頻數據中的運動對象的運動信息和行為信息的，VSearch提取的行為標簽包括：

　　運動標簽：如運動對象的運動方向、運動速度和運動軌跡;

　　特定行為標簽：如徘徊、闖禁區、闖紅燈、損害公物、亂涂亂畫等是公共場合下的特定行為標簽。

　　視覺標簽的提取將構成對運動目標的多模態的、全方位的描述。VSearch提取的這些信息將保留在海量視頻情報庫中，構成快速視頻檢索的關鍵要素。

　　目標關聯

　　目標關聯是實現大范圍跨攝像機視頻情報檢索的基礎。實際應用中受物理距離和建筑物空間布局的影響，單個攝像機的監控范圍是有限的，通常需要多個攝像機合作共同監控一個公共區域，如機場、火車站、地鐵站、商場等。因此，跨攝像機目標關聯就成為VSearch系統針對大范圍視頻情報搜集的關鍵技術。有了跨攝像機目標關聯技術，VSearch將能繪制出每個運動目標的大范圍活動軌跡，這對公安辦案時掌握嫌疑人的來龍去脈是非常重要的。VSearch技術攻克了諸多導致跨攝像機目標關聯困難的挑戰性問題，如實際場景的復雜多樣性，光照變化，距離變化，目標姿態變化，目標遮擋，攝像頭參數不一等困難問題。

　　由于國內人口眾多，大部分公共區域都涉及比較密集的人流。這種情況下傳統的顏色特征將不足以鑒別跨攝像機的目標匹配。海量視頻智能分析研判系統針對這一國情一方面加強了高清攝像機視頻的研究，使得目標的局部細節能被利用起來作為更有效的目標匹配方式。另一方面，VSearch技術也挖掘時間、空間、環境相關的局部約束等多模態信息實現更可靠的跨攝像機目標關聯。

　　以上描述的目標發現、關聯與標簽提取都是關注運動目標本身的。然而，在情報偵察中僅僅關注目標本身是不夠的。因此，VSearch同時關注一個目標與其周圍目標的互動關系，如同伙關系(總是在一起活動的人)和接洽關系(兩個目標不定期地會接觸)。同時，一旦關系的判定為真，則同時挖掘同伙或接洽人的大范圍活動軌跡，提取所有與其相關的視覺標簽，以及同伙或接洽人的衍生關系。

　　VSearch技術深層的關系挖掘最終能夠繪制出同伙或接洽人的分布圖，以及一個團伙的所有關系網，這些情報對公安在緝拿逃犯過程中的全局把握，和對一個團伙活動的縱深認識都將具有重要的利用價值。

　　云端存儲

　　以上描述的四個處理環節將產生巨大的信息量，如何組織和存儲這些信息也將是個艱巨的課題。VSearch系統將大范圍的監控視頻逐級匯總到分布式的云端服務器中，并保障傳輸網可靠的安全性和穩定性。同時，存儲端的訪問設置了逐級權限控制，整個公安專網的監控視頻網絡中，公安部具有最高權限，往下是省廳，市局和各地派出所。

　　海量視頻智能分析研判系統支持涉案完整原始視頻資料存儲在案件所屬分局、案件相關視頻片段以及相關信息存儲在地市、案件視頻線索信息存儲在省廳，大要案、系列案視頻線索信息全國集中存儲的四級存儲管理機制。保障涉案視頻信息完整性以及共享、查詢工作。從而制定案件視頻信息資料存儲標準，構建分級管理的標準化，開放式存儲平臺。

　　視頻線索綜合研判

　　多模態信息綜合研判

　　監控視頻改變了傳統信息化背景下的案件信息分布和作用模式，進而改變了案件信息綜合研判的方式。這與當前“大情報”信息戰略的發展趨勢是一致的。視頻偵查技術體系涉及從集成、到上級主管部門、各警種相互配合以及各類信息綜合利用，建設視頻線索綜合研判技術平臺以及相關標準，保證足夠有效的信息獲取，以形成信息的規模效應。因此，在當前公安信息化的大背景下，如何利用已有公安信息資源，有效整合治安監控、道路監控、社會資源監控等各類視頻監控資源，統一規劃實施建設適應當前一線干警視頻偵查工作的作戰模式、支持視頻偵查相關業務單位業務工作流程、支持案件查證和串并案案件視頻共享機制，成為視頻線索綜合研判的關鍵。

　　視頻線索綜合研判的過程是一個盡量充分利用視頻信息的過程，包括已知信息的獲取、重點信息梳理、殘缺信息推斷、信息擴展和關聯。監控視頻既反映了犯罪現場的靜態信息，又反映了犯罪行為及包含犯罪現場的區域相關動態信息;既包含了時間和空間點的局部信息，又包含了時間段和空間距離內的大范圍信息。信息內容豐富而形象，具有傳統信息無法比擬的優勢。同時，監控視頻包含有許多與其他種類信息關聯的冗余信息，可以與其他信息進行相互驗證，深入挖掘，有利于情報信息的融合。如在監控視頻中反應的嫌疑人形態、面貌可以與目擊證人描述相印證，監控視頻中的車輛信息可以與車輛庫信息相印證等。

　　在公安信息化建設中，目前主要包含了公共基礎信息(金盾工程信息庫包括全國人口基本信息資源庫、全國出入境人員資源庫、全國機動車/駕駛人信息庫、全國警員基本信息資源庫、全國在逃人員信息資源庫、全國違法犯罪人員信息資源庫、全國被盜搶汽車信息資源庫、全國安全重點單位信息資源庫等信息庫)、旅館業治安管理信息系統、涉槍、涉爆人員信息庫;現場勘查信息(正在推進的現場勘驗信息系統);刑偵應用信息系統(十五個，其中包括物證信息如DNA數據庫、指紋數據庫等);PGIS系統和其他一些專業應用系統等。

　　在視頻線索綜合研判過程中，派出所、偵查員以視頻偵查采集工作為主體，主要完成視頻提取、疑似目標檢索、相關信息標注、視頻資料打包上傳;區縣刑偵部門(專案組)以視頻偵查分析工作為主體，主要完成涉案視頻匯總、清晰化處理、信息關聯研判;地市相關部門以偵查與技術支持、主要完成地區視頻案件信息管理、完整技術體系建設、重特大案件技術支持和指導;省廳相關部門以技術標準、規劃、指導為主體，主要完成技術體系規劃、信息共享平臺建設、人員培訓以及重特大案件技術支持。

　　將“海量視頻智能分析研判系統”和“大規模數據庫人臉識別比對系統”納入“大視頻”系統建設中，與“大情報”并列。對案件視頻線索實行統一管理，對圖像、視頻線索進行多模態全方位描述，對大案要案、窩案串案進行深度關聯分析，利用視頻資源捕捉發案規律，破解突破方向，提高視頻線索分析利用對辦案工作的“貢獻率”。

　　通過構建海量視頻情報庫，就可以通過有效的查詢手段實現特定目標的快速查詢和分析，從而構建一個海量視頻智能分析研判系統(VSearch系統)，及其相應的便攜式工作站設備。

　　VSearch系統

　　海量視頻智能分析研判系統面向公安視頻偵察新業務，集成智能視頻分析技術，包括運動目標提取，視覺標簽檢索，目標軌跡挖掘，及目標關系挖掘等，提取海量視頻中的有用信息，提升監控視頻的利用效能，從而支撐公安的智能視頻偵查業務平臺。

　　針對視頻偵察業務的特點，VSearch設計為可接入公安視頻監控專網和連接其他視頻文件。通過人工參與的半自動視頻研判處理和脫離人工參與的全自動的視頻研判處理兩種處理方式，將視頻中包含的案件信息線索保存至案件視頻庫，使前方辦案警員可以隨時查看最新進展、線索，或者直接將最新線索推送到前方辦案警員處。

　　VSearch面向公安的主要應用業務包括：

　　視頻線索瀏覽：該應用提供給公安直接瀏覽提取出來的所有目標圖像，優勢是不會遺漏任何一個目標，但不足的是目標數目有可能非常龐大，難以快速定位嫌疑目標。

　　視頻濃縮快覽：將提取出來的所有運動目標重新安排進一個短小的視頻播放，類似視頻快進功能，但重新生成的視頻畫面里不會遺漏任何一個曾經出現過的運動目標。該應用使得公安能夠短時間地快速瀏覽視頻場景里的所有目標。同時，觀看視頻的過程中只要對某一目標感興趣，可立刻定位到原始視頻進行細節察看。

　　視頻目標檢索：視頻目標檢索是VSearch的核心業務，該業務類似于Google的搜索功能，能根據語義明確的關鍵詞檢索滿足要求的特定目標。VSearch提取出的所有目標屬性都可以通過單一或組合的檢索條件實現目標檢索。如：紅色小汽車;中關村東路上的紅色小汽車;2012年9月16日上午10點至11點在中關村東路上往北行駛的紅色小汽車;穿白色上衣的行人;知春路地鐵站A出口穿白色上衣戴黑色帽子的男人等。將列出所有滿足要求的目標供公安干警瀏覽確認(正如在Google搜索里瀏覽確認檢索到的網頁條目)。這大大地縮小排查的范圍，加快辦案速度。另一方面，如果有嫌疑目標的截圖或視頻片段，可以直接作為VSearch的輸入，從監控視頻里檢索出相似的目標。基于圖像或視頻的目標再辨識技術相比于語義檢索能更精確地搜索到滿足要求的目標，從而實現更便利的辦案排查。

　　視頻圖像增強：對于鎖定的嫌疑目標，監控錄像有可能存在模糊不清的情況，使得關鍵細節無法辨認(如人的臉像或車輛的車牌號碼)。VSearch提供視頻圖像增強技術，對感興趣的目標進行視頻圖像后處理，使得感興趣的細節得到明顯增強，給公安破案提供更多有價值的線索。目前視頻圖像增強支持的功能包括：去噪，去模糊，去霧，暗處增強，和基于動態序列的超分辨率等。

　　目標軌跡挖掘：鎖定嫌疑目標后，VSearch可以進一步在其他相關的監控錄像中搜索嫌疑目標，并進一步在地圖上繪制出嫌疑目標的行蹤軌跡，從而為公安掌握嫌疑目標的來龍去脈，獲取破案線索和制定緝逃計劃提供全面的參考。

　　目標關系挖掘：鎖定嫌疑目標后，VSearch還可以進一步挖掘嫌疑目標的同伙和接洽人，及其衍生的關系網。深層的關系挖掘最終能夠繪制出同伙或接洽人的分布圖，以及一個團伙的所有關系網，這些情報對公安在緝拿逃犯過程中的全局把握，和對一個團伙活動的縱深認識都將具有重要的利用價值。

　　VSearch設備

　　便攜式智能視頻工作站是VSearch系統的移動式延伸，其功能與前述平臺一樣，可一站式調往突發事件、重大任務現場、能有效增強警力和業務效率，實現實時警務，是智能視頻情報偵察平臺的立體化延伸，是海量視頻信息處理與案情研判的金剛利器。

　　由上，海量視頻智能分析研判系統將構建一個基于海量視頻并能快速響應的情報檢索平臺。該系統工作方式與Google索引和服務類似，是一個面向中國公安業務的專用智能搜索系統。該平臺利用海量視頻云端情報庫，可實時檢索公安需求的情報信息，如滿足特定條件(視覺標簽)的目標人或車輛，該目標大范圍的行蹤軌跡，該目標的同伙的分布及其關系網等等。這些信息都將能立體地呈現出來，給公安辦案裝備全新的、高科技的武裝。

　　結束語

　　海量視頻智能分析研判系統(VSearch)基于中科院核心技術，其系統產品經過實戰測試和演練，展示了視頻偵查、治安和情報業務的智能分析研判能力。未來將在實踐中提煉關鍵問題并全力攻關，進一步加強核心技術研發，使之能處理密集人群中精確的目標跟蹤，遠距離攝像機的目標關聯，和復雜的目標關系網絡的可靠推斷等。VSearch在實戰中不斷改進，逐漸成熟，將能極大地提升公安的警力和辦案效率。我們期待那一天的到來!