今年以來,智能鑒黃行業(yè)的興起,讓傳統(tǒng)的人工審核、鑒黃師等逐漸相形見絀,互聯(lián)網創(chuàng)業(yè)者、中小型企業(yè)尋求第三方反垃圾云服務成為一種新的趨勢。這其中凝聚著網易公司十余年反垃圾技術和安全經驗的“網易易盾”成為佼佼者,并率先在全國發(fā)起成立了首個互聯(lián)網內容安全聯(lián)盟,在文本、圖片等智能反垃圾方面樹立了標桿。
僅以最基礎的文本鑒黃技術,記者采訪了網易易盾的工程師,為大家揭秘文本鑒黃背后的機制:
記者:文本反垃圾尤其是文本鑒黃主要在哪些場景被應用?
網易易盾:主要是在新聞、社交、論壇、博客、小說等UGC產品中的應用,除了正常產品信息,這些UGC中還存在大量的色情淫穢、廣告詐騙、暴恐謠言、政治敏感等垃圾文本內容。其中廣告和色情是文本垃圾的主力軍。
(2015年網易323億條反垃圾數(shù)據統(tǒng)計)
記者:能舉個直觀點的例子嗎?
網易易盾:那就拿“裸聊”這個詞來舉例吧,在垃圾內容里有非常多的演變。比如下面這一系列的字符:
光一個“裸聊”就有幾十種變形。但實際上在很多論壇尤其是跟帖評論區(qū),甚至會會出現(xiàn)把垃圾內容隱藏在藏頭詩中這樣更復雜的情況。
記者:那易盾是怎么解決問題的呢?
網易易盾:常規(guī)的審核方法是關鍵詞識別和算法規(guī)則,算法規(guī)則也叫規(guī)則引擎,主要就是表達式的集合,這種方式識別準確率會提高很多。但垃圾內容升級進化速度太快,復雜字符重組、特殊符號等讓常規(guī)審核方法也束手無策。一方面除了要識別出垃圾文本,另外一方面不能把正常內容也判定成垃圾信息,舉個比較污的例子:
比如“口交”一詞,通過常規(guī)審核肯定是認定為垃圾內容,但當它出現(xiàn)在“港口交通”、“串口交接線”這樣的語境里卻是正常內容,很容易造成誤判。
記者:那怎么避免或降低這種復雜語義下的垃圾文本呢?
網易易盾:這時候我們就要依托語義分析來處理辨別。語義分析是依托深度學習技術和大數(shù)據技術,從網易19年沉淀的億級垃圾特征庫中提取和不斷添加新特征,通過反復學習更有用特征,來達到對復雜語義鐘垃圾內容的精確判定。通過這兩項關鍵技術,目前易盾文本反垃圾的準確率可以達到99.6%
記者:那怎么接入易盾呢?
網易易盾:很方便啊,在易盾官網10分鐘就可調用接入易盾sdk和開放API, 現(xiàn)在七牛平臺上的用戶也可以直接在文本反垃圾服務中直接調用易盾接口。
關于深度學習,這是近兩年非常熱門的詞匯,其具體含義如下:
據網易易盾的工程師介紹,深度學習技術之所以近兩年取得飛躍,源于云計算、大數(shù)據的深入發(fā)展。他同時認為,機器智能鑒黃代替人工審核將是未來的趨勢。
據了解,網易易盾自推出以來,服務的產品包括網易系過億用戶的網易云音樂、網易跟帖等知名產品,同時擁有足記、美食杰、春雨醫(yī)生等海量外部客戶,成為同類產品中最有實力的大企業(yè)背景第三方云服務,同時也代表著行業(yè)技術的最高水準。
免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。