騰訊胡珀：從危到機(jī) AI 時(shí)代下的安全挑戰(zhàn)

騰訊如何運(yùn)用AI 技術(shù)應(yīng)對(duì)安全挑戰(zhàn)？AI時(shí)代下，安全攻防又有哪些新變化？——在6月30日的2018 全球人工智能與機(jī)器人峰會(huì)（CCF-GAIR）上，騰訊安全平臺(tái)部總監(jiān)、Tencent Blade Team負(fù)責(zé)人胡珀，揭秘了騰訊AI安全布局和最新進(jìn)展。

胡珀首先分享了對(duì)AI本身的安全問(wèn)題的考量與反思。他提出，AI將是下一次的工業(yè)革命，但不可避免的存在安全方面的局限性。智能設(shè)備滲透到各行各業(yè)，也將會(huì)帶來(lái)很大的安全隱患。除了自身算法安全、第三方組件問(wèn)題，AI技術(shù)還可能被黑產(chǎn)利用。

面對(duì)AI時(shí)代的安全隱患，胡珀認(rèn)為：“安全絕不僅僅是被動(dòng)的事后處理，而是也要主動(dòng)研究最前沿、最尖端的技術(shù)，用未雨綢繆的前瞻性研究來(lái)武裝我們的工作。” Tencent Blade Team正是騰訊專項(xiàng)進(jìn)行安全研究的部門，研究重點(diǎn)隨著騰訊和整個(gè)安全行業(yè)面臨的實(shí)際場(chǎng)景不斷進(jìn)行調(diào)整變化。近年來(lái)隨著AI大規(guī)模工程化、實(shí)用化，Tencent Blade Team加大了對(duì) AI 智能設(shè)備安全方面的研究。

在具體場(chǎng)景下不斷實(shí)戰(zhàn)的同時(shí)，騰訊也助力行業(yè)進(jìn)行技術(shù)優(yōu)化。17年年底，騰訊發(fā)現(xiàn)谷歌人工智能學(xué)習(xí)系統(tǒng)TensorFlow存在嚴(yán)重安全風(fēng)險(xiǎn)，可被黑客利用帶來(lái)安全威脅，Tencent Blade Team向谷歌報(bào)告了這一風(fēng)險(xiǎn)并獲得致謝。據(jù)悉，該風(fēng)險(xiǎn)是TensorFlow首個(gè)自身安全風(fēng)險(xiǎn)。

相比同行業(yè)公司，騰訊的AI+安全所面臨的場(chǎng)景更加豐富。騰訊主營(yíng)業(yè)務(wù)涵蓋游戲、社交、支付等多個(gè)領(lǐng)域，如QQ及微信的登錄、QQ及微信內(nèi)垃圾信息的打擊等，都用到機(jī)器學(xué)習(xí)來(lái)保障用戶的安全。除此之外，面對(duì)近期發(fā)展迅速的AI+醫(yī)療、智慧零售和智慧樓宇，Tencent Blade Team也在探索更新的AI安全解決方案。

胡珀是國(guó)內(nèi)首個(gè)漏洞獎(jiǎng)勵(lì)平臺(tái)TSRC負(fù)責(zé)人，自2007年加入騰訊以來(lái)，他一直從事國(guó)際范圍內(nèi)的前沿安全攻防技術(shù)、黑客攻防技術(shù)對(duì)抗研究，包括人工智能（AI）、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)據(jù)安全等，先后負(fù)責(zé)過(guò)漏洞掃描、惡意網(wǎng)址檢測(cè)、主機(jī)安全、DDoS攻擊防護(hù)系統(tǒng)的建設(shè)和運(yùn)營(yíng)以及應(yīng)急響應(yīng)、前沿安全、安全培訓(xùn)、安全研究、漏洞獎(jiǎng)勵(lì)計(jì)劃等工作。

胡珀演講全文如下：

今天非常榮幸能夠分享一下騰訊在AI安全方面所做的一些事情。先做一個(gè)自我介紹，我叫胡珀，在騰訊安全平臺(tái)部工作了11年，一直在從事黑客攻防對(duì)抗方面的工作。我的一部分工作是屬于安全研究，一直以來(lái)我們的理念就是安全絕不僅僅是被動(dòng)的事后處理，而是也要主動(dòng)研究最前沿、最尖端的技術(shù)，用未雨綢繆的前瞻性研究來(lái)武裝我們的工作。為此，我們也組建了一支團(tuán)隊(duì)——Tencent Blade Team，專門進(jìn)行安全的前沿研究，研究重點(diǎn)隨著騰訊和整個(gè)安全行業(yè)面臨的實(shí)際場(chǎng)景不斷進(jìn)行調(diào)整變化。比如最開始是研究Web安全，后來(lái)逐漸向移動(dòng)互聯(lián)網(wǎng)安全、物聯(lián)網(wǎng)安全轉(zhuǎn)型。近年來(lái)隨著AI大規(guī)模工程化、實(shí)用化，我們也加大了對(duì) AI 智能設(shè)備安全方面的研究，這個(gè)演講就是對(duì)我們研究的總結(jié)。

AI是下一次的工業(yè)革命，我們現(xiàn)在不管是開會(huì)、人臉識(shí)別、車牌識(shí)別，還有智慧城市、智慧零售，還是智能手環(huán)、智能手機(jī)、智能音箱等，AI越來(lái)越滲透到我們的生活里。所有東西都AI了，基本上各個(gè)行業(yè)也都會(huì)引入AI，我們?nèi)ィ〞?huì)場(chǎng)）外面看一下，全是各種智能的設(shè)備。

但是物聯(lián)網(wǎng)設(shè)備或者所謂的智能設(shè)備滲透到各行各業(yè)，到我們生活之中，可能會(huì)帶來(lái)很大的安全隱患。比如智能音箱有接收語(yǔ)音指令的功能，如果音箱被黑客控制的話，就可能會(huì)變成竊聽器。同理，攝像頭如果被黑掉，也可能被用來(lái)監(jiān)視我們。

今天我要講的主要分為兩部分，第一部分是以智能設(shè)備為典型代表的AI存在的安全問(wèn)題，第二部分講騰訊把AI應(yīng)用到安全場(chǎng)景去做安全檢測(cè)或者安全防護(hù)上的實(shí)踐。

AI的安全問(wèn)題我們總結(jié)了一下，大概歸為三類：第一類是AI算法自身的安全問(wèn)題，前面幾位老師也有講到，比如現(xiàn)在我們的圖像識(shí)別，圖像欺騙，自己用PS定制一張圖片，加一些像素進(jìn)去，可能就會(huì)導(dǎo)致自動(dòng)駕駛中的識(shí)別系統(tǒng)受到干擾。

第二類就是AI系統(tǒng)引入第三方的組件，但這些組件也會(huì)存在問(wèn)題，這就是傳統(tǒng)的安全問(wèn)題了，包括對(duì)文件的處理，對(duì)網(wǎng)絡(luò)協(xié)議的處理，各種外部輸入?yún)f(xié)議的處理都可能會(huì)出問(wèn)題。

第三類就是黑產(chǎn)也會(huì)用到AI。大家不要以為AI只是停留在學(xué)術(shù)界或者是工業(yè)界，其實(shí)現(xiàn)在黑產(chǎn)也大量在使用AI，之前我們處理過(guò)一個(gè)案子，就是黑產(chǎn)用機(jī)器學(xué)習(xí)的算法來(lái)識(shí)別驗(yàn)證碼，最高可以達(dá)到80%到90%的識(shí)別率，這個(gè)團(tuán)伙被摧毀后，我們發(fā)現(xiàn)這是我們見過(guò)的科技含量最高的黑產(chǎn)之一。

首先我們會(huì)發(fā)現(xiàn)，AI是很容易被帶壞的。這是微軟推出的機(jī)器人，通過(guò)跟網(wǎng)友對(duì)話進(jìn)行學(xué)習(xí)，惡意的網(wǎng)友就會(huì)亂教它，比如罵臟話，甚至是種族歧視。

前面的老師也講過(guò)，現(xiàn)在AI是孩子，你教什么就學(xué)什么，結(jié)果學(xué)壞了，最后罵人，后來(lái)微軟馬上下架去修改，這就是一種樣本的問(wèn)題。

第二個(gè)問(wèn)題就是AI會(huì)被蒙蔽。只需要一些簡(jiǎn)單的操縱，人眼看起來(lái)毫無(wú)區(qū)別，AI識(shí)別卻會(huì)得出完全錯(cuò)誤的結(jié)果。比如這是一個(gè)人臉識(shí)別系統(tǒng)，給一張照片會(huì)識(shí)別出這個(gè)人的性別、年齡、表情、魅力值，第一張圖正常圖片可以識(shí)別出是男性，21歲，表情黯然傷神，但是如果經(jīng)過(guò)特殊處理，加一些圖層進(jìn)去，對(duì)我們?nèi)搜蹧](méi)有影響，但就會(huì)被AI就識(shí)別成女性，20歲。另外兩個(gè)也是，疊加圖層上去，整個(gè)AI識(shí)別結(jié)果完全顛覆了，結(jié)果變成了男性，36歲。我們進(jìn)行了測(cè)試，最大會(huì)有20%的識(shí)別錯(cuò)誤幾率。

針對(duì)標(biāo)識(shí)的識(shí)別也是如此。我們可以看到，通過(guò)類似的圖層疊加手法，會(huì)嚴(yán)重影響AI的識(shí)別結(jié)果。比如第一張圖可以直行，第二張圖加入圖層后，我們?nèi)搜圩R(shí)別完全沒(méi)變化，但到AI去識(shí)別就可以直行也可以右轉(zhuǎn)，限速30變成限速80。這就是對(duì)AI的攻擊。大家可以想像，如果這個(gè)攻擊案例被用到了實(shí)際環(huán)境，可能直接導(dǎo)致車毀人亡的嚴(yán)重情況。

第三個(gè)問(wèn)題就是被污染，也就是在AI的底層框架存在的問(wèn)題。比如谷歌的深度學(xué)習(xí)系統(tǒng)TensorFlow，Tencent Blade Team研究之后，發(fā)現(xiàn)它其實(shí)存在一些傳統(tǒng)的網(wǎng)絡(luò)安全問(wèn)題，比如惡意構(gòu)造一個(gè)模型文件，格式經(jīng)過(guò)特殊構(gòu)造就可以控制它整個(gè)AI系統(tǒng)，然后可以算出AI系統(tǒng)的設(shè)計(jì)或者架構(gòu)問(wèn)題。除此之外，如果引用了惡意的第三方組件，也會(huì)導(dǎo)致系統(tǒng)崩潰，拿到系統(tǒng)權(quán)限。

這些漏洞我們都報(bào)給了官方，并拿到了致謝。這些系統(tǒng)如果底層出問(wèn)題，被黑客利用，后果是災(zāi)難性的，所以現(xiàn)在產(chǎn)業(yè)界、學(xué)術(shù)界都非常關(guān)注AI的底層架構(gòu)安全。

第四，許多智能設(shè)備都可能被控制。比如智能音箱可能被竊聽，我們團(tuán)隊(duì)對(duì)市面上的一些智能音箱做了一系列研究，許多智能音箱都有安全問(wèn)題，包括協(xié)議的解析和認(rèn)證授權(quán)等，其實(shí)還是傳統(tǒng)的安全問(wèn)題。如果大家感興趣，可以在今年8月份在拉斯維加斯的DEF CON上關(guān)注我們介紹智能音箱的漏洞技術(shù)細(xì)節(jié)的議題。

另外就是智慧城市，現(xiàn)在很多地方都引入了智慧城市，里面會(huì)用很多新的協(xié)議，比如 IoT 的協(xié)議，這個(gè)也存在許多安全隱患。

我們選用騰訊大廈作為目標(biāo)進(jìn)行了測(cè)試，發(fā)現(xiàn)它所使用的智能樓宇設(shè)備協(xié)議和加密通訊存在一些技術(shù)風(fēng)險(xiǎn)，這就造成我們可以通過(guò)遠(yuǎn)程控制某一層的會(huì)議室燈、空調(diào)、窗簾，包括插座等。

我們當(dāng)時(shí)放了一個(gè)無(wú)人機(jī)到頂樓，掛了一個(gè)信號(hào)發(fā)射器，實(shí)現(xiàn)了對(duì)整層樓的開燈關(guān)燈關(guān)窗簾的控制，在歐洲的HITB安全峰會(huì)上我們也詳細(xì)講了這個(gè)漏洞的技術(shù)細(xì)節(jié)。

因?yàn)楣?yīng)商是國(guó)外的，我們把問(wèn)題報(bào)給官方，也修復(fù)了，做這個(gè)實(shí)驗(yàn)本身就是希望把這個(gè)問(wèn)題修復(fù)掉。

除了智能音箱、智慧樓宇等，我們還研究過(guò)無(wú)人機(jī)。2015年，Blade Team參加一個(gè)黑客比賽，遠(yuǎn)程用電腦把無(wú)人機(jī)劫持了。我們破解了無(wú)人機(jī)的通訊協(xié)議，破解之后發(fā)現(xiàn)，只能夠抓到一部分無(wú)線電協(xié)議，就可以去模擬搖控器發(fā)出來(lái)的協(xié)議，把當(dāng)時(shí)的無(wú)人機(jī)給劫持掉。

攝像頭也是類似。2014年的時(shí)候，我們對(duì)國(guó)內(nèi)的攝像頭做了一系列的安全評(píng)測(cè)，2014年是智能攝像頭元年，所以我們也要去跟進(jìn)看一下。大家有沒(méi)有見過(guò)有部電影叫《竊聽風(fēng)云》，里面有個(gè)橋段就是加了一個(gè)設(shè)備，把攝像頭替換掉，導(dǎo)致保安沒(méi)有發(fā)現(xiàn)有人進(jìn)去了。

有些攝像頭我們發(fā)現(xiàn)也是有這個(gè)問(wèn)題的，我這里放了一個(gè)QQ公仔，攝像的 wifi 網(wǎng)絡(luò)被我劫持替換，就能控制它所有想要展示的圖像，我重新可以錄視頻，把公仔隱掉。

另外就是一些智能手機(jī)，因?yàn)橹悄苁謾C(jī)現(xiàn)在用了越來(lái)越多的一些所謂的生物識(shí)別、智能識(shí)別，比如說(shuō)人臉解鎖，人臉解鎖之前有很大的問(wèn)題，但是我直接用照片，而且用二維的照片就可以解鎖。不過(guò)現(xiàn)在應(yīng)該已經(jīng)加了3D或者活體識(shí)別了，就沒(méi)那么簡(jiǎn)單，但是我們目前在進(jìn)行的一些研究中發(fā)現(xiàn)還是有機(jī)會(huì)的。所以后面有機(jī)會(huì)大家還可以看到我們的分享。

有些手機(jī)可以支持智能設(shè)備解鎖，比如手環(huán)解鎖，只要手機(jī)靠近手環(huán)就解鎖了，不用輸密碼，這也是比較方便。但在設(shè)計(jì)的時(shí)候會(huì)出問(wèn)題，解鎖的時(shí)候它只會(huì)檢測(cè)我的手環(huán)match地址，這個(gè)也很容易實(shí)現(xiàn)，我們可以直接解鎖他的手機(jī)。另外一些品牌手機(jī)可能采取的是指紋解鎖，但我們發(fā)現(xiàn)用一個(gè)類似的導(dǎo)電硅膠，直接把紙巾按上去就可以了，根本不需要指紋，這個(gè)硅膠按上去算法也通過(guò)了，最后解鎖也通過(guò)。就像現(xiàn)在的智能電鎖，也是類似的原理。大家會(huì)發(fā)現(xiàn)，現(xiàn)在的智能手機(jī)也是不夠靠譜的。

前面我講的是智能設(shè)備本身的一些安全問(wèn)題和供給場(chǎng)景演示，但除了他們本身存在的問(wèn)題之外，AI技術(shù)還可能被黑產(chǎn)濫用。

這就是我們現(xiàn)在看到的，越來(lái)越多的智能設(shè)備鏈接到了網(wǎng)絡(luò)上，但是這些智能設(shè)備的安全防護(hù)又沒(méi)有傳統(tǒng)的PC防火墻，反而會(huì)被黑客黑掉，黑客就拿來(lái)挖礦、進(jìn)行DDoS攻擊等等，這樣就會(huì)帶來(lái)很大的問(wèn)題。

這些就是一些惡意軟件，把物聯(lián)網(wǎng)設(shè)備拿來(lái)做DDoS攻擊，現(xiàn)在大量的IoT設(shè)備都連接上了網(wǎng)絡(luò)，包括路由器、攝像頭，很容易淪為黑客控制的工具。還有一些機(jī)器學(xué)算法也加入了黑產(chǎn)團(tuán)隊(duì)。

以上就是我講的第一部分，AI的安全問(wèn)題，下面我來(lái)展開講一下第二部分，AI安全應(yīng)用在具體場(chǎng)景下的應(yīng)用，包括實(shí)戰(zhàn)等。

大概也是這三個(gè)方向：一個(gè)是會(huì)向傳統(tǒng)的生物特征轉(zhuǎn)變，第二個(gè)是研究工具有變化，以前是用特征工程來(lái)對(duì)抗黑客攻擊，現(xiàn)在可能會(huì)轉(zhuǎn)入機(jī)器學(xué)習(xí)的方法，可能用機(jī)器學(xué)習(xí)給它建一個(gè)域值和模型，通過(guò)模型來(lái)看它是否是黑客攻擊。

框架大概是這樣，可能就是有一個(gè)整體的平臺(tái)，再加上機(jī)器學(xué)習(xí)作為一個(gè)分析引擎，和其他的數(shù)據(jù)層、信譽(yù)庫(kù)等一起，協(xié)同進(jìn)行合作。

現(xiàn)在有一種很麻煩的攻擊，就是UDP模擬，包括協(xié)議都會(huì)模擬到正常的業(yè)務(wù)，這樣怎么做呢？還是會(huì)用機(jī)器學(xué)習(xí)相對(duì)好一點(diǎn)，在UDP模擬協(xié)議的特定場(chǎng)景之下，這種效果是非常好的。傳統(tǒng)的 DDoS 防護(hù)是通過(guò)一個(gè)量來(lái)發(fā)現(xiàn)，但機(jī)器學(xué)習(xí)可以通過(guò)很多維度解決這個(gè)問(wèn)題。

我們可以看一下，大概引入機(jī)器學(xué)習(xí)的實(shí)際效果。我們主要是應(yīng)用在兩個(gè)層面，一個(gè)是DDoS，一個(gè)是黑客的入侵行為，我們看一下 DDoS 的效果。

這是一個(gè)傳統(tǒng)的DDoS的模型，加上一個(gè) AI 環(huán)節(jié)，用機(jī)器學(xué)習(xí)給所有商戶做畫像。在騰訊云上有很多這樣的小商家，可能它單個(gè)商戶面臨的流向不一樣，QQ空間和微信朋友圈流量非常大，小的商戶流量非常小，如果采取傳統(tǒng)的特征工程的方法不能很好解決，比如商戶做活動(dòng)或者雙十一整體流量上升，就會(huì)有這樣那樣的問(wèn)題。

如果用AI畫基線，比如取前面三個(gè)月或者前面一個(gè)月的數(shù)據(jù)，引入機(jī)器學(xué)習(xí)生成一個(gè)模型，通過(guò)檢測(cè)模型來(lái)看是否是DDos的攻擊或者活動(dòng)量突增。這樣的話，平時(shí)就不僅是流量的大小，還包括原IP的屬性，或者原端口、整個(gè)IP的值，我們會(huì)把整個(gè)協(xié)議讓機(jī)器自己去學(xué)，讓它自己提特征出來(lái)，大概會(huì)選出很多維度，我們會(huì)用這個(gè)維度做模型。如果它某一天或者某一個(gè)時(shí)刻偏離這個(gè)模型，就可能是遭到DDos攻擊。

最后平均準(zhǔn)確率從80%到了96.4%，效果還可以，但機(jī)器也有誤報(bào)，我們現(xiàn)在采取雙引擎在跑，避免出問(wèn)題。

在反入侵上也是類似，比如說(shuō)我們的系統(tǒng)管理員登陸服務(wù)器，登陸之后可能會(huì)做一系列的運(yùn)維，或者是部署操作，但它是個(gè)有限的集，同時(shí)它可能會(huì)在某一個(gè)特定的時(shí)間，或者會(huì)有特定的習(xí)慣，反正是有規(guī)律的。

這個(gè)規(guī)律如果通過(guò)特征工程很難做，但通過(guò)機(jī)器學(xué)習(xí)，可以很好地為服務(wù)器的每一個(gè)管理員帳號(hào)進(jìn)行精準(zhǔn)畫像，這樣就可以解決黑客冒用帳號(hào)的攻擊方式。現(xiàn)在大部分情況是黑客直接拿一個(gè)帳號(hào)密碼，冒充管理做操作，但它的操作跟管理員是不一樣的，一個(gè)是時(shí)間，還有一個(gè)是翻找文檔，或者是偷數(shù)據(jù)的行為，但這些是正常運(yùn)維管理員和普通用戶不會(huì)出現(xiàn)的行為。所以完全可以通過(guò)這種模型，直接算一個(gè)匹配度，同時(shí)把它標(biāo)注出來(lái)。

騰訊也有在做這塊東西，效果就是我們的幾次演習(xí)，拿到管理員帳號(hào)做進(jìn)一步滲透的時(shí)候，他會(huì)明顯發(fā)現(xiàn)有異常，會(huì)告警出來(lái)，效果還可以。

今天我總結(jié)一下，講了兩部分：一部分就是AI本身的安全問(wèn)題，其實(shí)我們可以看到，隨著現(xiàn)在AI和智能設(shè)備越來(lái)越應(yīng)用到我們的生活，有很多各式各樣的安全問(wèn)題，不管是智能音箱、智能插座還是智慧樓宇等，一定會(huì)有很多黑客盯著，學(xué)術(shù)界、產(chǎn)業(yè)界最好提前發(fā)現(xiàn)解決，避免出更大的事故，畢竟以前的互聯(lián)網(wǎng)都是信息化的東西，現(xiàn)在跟物理世界結(jié)合之后，可能會(huì)產(chǎn)生很大很嚴(yán)重的影響。

第二部分是把機(jī)器學(xué)習(xí)方法應(yīng)用到傳統(tǒng)的安全場(chǎng)景，在某些特定場(chǎng)景下，AI絕對(duì)是優(yōu)于人類或者傳統(tǒng)的特征工程，但在某些場(chǎng)景我們還需要繼續(xù)探索。