人工智能通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人簡介：當(dāng)攻擊者想要偽造圖像時(shí)，在大多數(shù)情況下，他/她將執(zhí)行JPEG再壓縮。根據(jù)不同的理論假設(shè)開發(fā)了不同的技術(shù)，但尚未開發(fā)出非常有效的解決方案。最近，基于機(jī)器學(xué)習(xí)的方法已經(jīng)開始出現(xiàn)在圖像取證領(lǐng)域，以解決各種任務(wù)，如采集源識(shí)別和偽造檢測。在最后一種情況下，未來的目標(biāo)是獲得一個(gè)訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)，在給定待檢查圖像的情況下，可以可靠地定位偽造區(qū)域。考慮到這一點(diǎn)，我們的論文通過分析如何使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）揭示和定位單個(gè)或雙個(gè)JPEG壓縮，從而向這個(gè)方向邁出了一步。已經(jīng)考慮了對(duì)CNN的不同類型的輸入，并且已經(jīng)進(jìn)行了各種實(shí)驗(yàn)以試圖證明將要進(jìn)一步研究的潛在問題。

現(xiàn)在，圖像和視頻作為主要信息來源的普遍性已經(jīng)導(dǎo)致圖像預(yù)測界越來越多地質(zhì)疑其可靠性和完整性。涉及圖片的上下文是不同的。一本雜志，一個(gè)社交網(wǎng)絡(luò)，一個(gè)保險(xiǎn)實(shí)踐，一個(gè)審判的證據(jù)。這些圖像可以通過使用強(qiáng)大的編輯軟件輕松改變，通常不會(huì)對(duì)任何修改留下任何視覺痕跡，因此可靠地回答它們的完整性將成為最基本的。圖像取證技術(shù)通過開發(fā)技術(shù)手段來處理這些問題，這些技術(shù)手段只能根據(jù)圖像確定該資產(chǎn)是否已被修改，并且有時(shí)需要了解本地化篡改發(fā)生的情況。關(guān)于偽造品個(gè)性化，三種是迄今為止研究的主要類別的檢測器：基于特征描述符[1,6,7]，基于不一致陰影[10]和最后基于雙倍JPEG壓縮。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能貢獻(xiàn)：近年來，機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)（如卷積神經(jīng)網(wǎng)絡(luò)（CNN））顯示出能夠提取復(fù)雜的統(tǒng)計(jì)特征并有效地學(xué)習(xí)其表示，從而能夠很好地在各種計(jì)算機(jī)視覺任務(wù)包括圖像識(shí)別和分類等。這些網(wǎng)絡(luò)在很多領(lǐng)域的廣泛使用促使和引導(dǎo)多媒體取證社區(qū)理解這些技術(shù)解決方案是否可以用于利用源識(shí)別[20,3]或用于圖像和視頻操縱檢測。特別是，王等人。 [23]使用離散余弦變換（DCT）系數(shù)的直方圖作為CNN的輸入來檢測單個(gè)或雙重JPEG壓縮，以檢測篡改圖像。 背后的主要思想是開發(fā)一種預(yù)處理模塊，用于在訓(xùn)練CNN之前抑制圖像內(nèi)容;而在[16]CNN體系結(jié)構(gòu)在沒有預(yù)處理的情況下被提供補(bǔ)丁，被篡改區(qū)域的鉆石被篡改。雖然對(duì)圖像取證領(lǐng)域的神經(jīng)網(wǎng)絡(luò)的興趣正在增長，但對(duì)其可能完成的一個(gè)真正的理解仍處于早期階段。

本文向這個(gè)方向邁出了一步。我們的目標(biāo)是訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，在給定待檢查圖像的情況下，通過分析單個(gè)或雙重JPEG壓縮區(qū)域的存在，能夠可靠地定位可能的偽造區(qū)域。具體而言，已經(jīng)提出了不同種類的基于CNN的方法，并給出了網(wǎng)絡(luò)的不同輸入。首先，利用基于空間域的CNN從RGB彩色圖像開始執(zhí)行圖像偽造檢測;既不進(jìn)行預(yù)處理，也不采用邊界信息。 CNN經(jīng)過訓(xùn)練能夠區(qū)分未壓縮的單張和雙張JPEG壓縮圖像，以顯示主要（隱藏）JPEG壓縮，然后定位偽造區(qū)域。其次，引入另一個(gè)基于頻域CNN作為輸入到網(wǎng)絡(luò)的DCT系數(shù)的直方圖，類似[23]。所提出的第三種方法是基于多域的CNN能夠加入前面關(guān)于RGB補(bǔ)丁和DCT直方圖的兩個(gè)輸入信息。這項(xiàng)工作的主要貢獻(xiàn)是探索空間域CNN及其與圖像偽造檢測任務(wù)的頻域組合的使用。已經(jīng)進(jìn)行了不同的實(shí)驗(yàn)測試，試圖證明有待進(jìn)一步調(diào)查和改進(jìn)的潛在問題。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能基于CNN的提議方法在這項(xiàng)工作中，我們的目標(biāo)是調(diào)查識(shí)別未壓縮的單個(gè)或雙重壓縮圖像的可能性，意圖檢測拼接攻擊中涉及的圖像區(qū)域。除此之外，我們的第二個(gè)目標(biāo)是在應(yīng)用二次壓縮之前揭示應(yīng)用于圖像或貼片的主要品質(zhì)因數(shù)。為了完成這項(xiàng)任務(wù)，基于給予網(wǎng)絡(luò)和網(wǎng)絡(luò)本身的輸入數(shù)據(jù)設(shè)計(jì)了三種不同的基于CNN的方法。卷積神經(jīng)網(wǎng)絡(luò)由幾個(gè)級(jí)聯(lián)的卷積層和池層組成，后面是一個(gè)或多個(gè)完全連接的層。在所提出的方法中，每個(gè)被考慮的CNN在網(wǎng)絡(luò)的組成部分如何組合在一起以及來自所使用的層數(shù)方面與其他方面不同，正如下面詳細(xì)描述的那樣。為了直接從數(shù)據(jù)中學(xué)習(xí)判別特征，訓(xùn)練階段需要一套一致的標(biāo)記圖像。出于這個(gè)原因，對(duì)于所有考慮的方法，不同大小的圖像被分成不同大小的片段（不重疊），然后將它們中的每一個(gè)都送入網(wǎng)絡(luò)。與輸入不同的是，這些方法不同，網(wǎng)絡(luò)的輸出是相同的。特別是，三種不同的CNN能夠識(shí)別9類：未壓迫的，單壓縮的和雙壓縮的貼片（7個(gè)質(zhì)量因子從60到95，逐步考慮5）。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能空間域CNN：在第一種基于CNN的方法中，命名為基于空間域的CNN，網(wǎng)絡(luò)的輸入是三個(gè)顏色通道（RGB）上的N×N尺寸補(bǔ)丁，預(yù)處理根本不被考慮，并且僅僅是數(shù)據(jù)的規(guī)范化在0和1之間）被執(zhí)行。首先設(shè)計(jì)卷積網(wǎng)絡(luò)[12]，并在圖1（上）中進(jìn)行了總結(jié)。這個(gè)特定的網(wǎng)絡(luò)由兩個(gè)卷積塊和兩個(gè)完全連接的層組成。每個(gè)卷積塊由兩個(gè)卷積層組成，其中ReLU激活后面跟著一個(gè)匯聚層。所有卷積層使用3x3的內(nèi)核大小，而共享層內(nèi)核大小為2×2。為了防止過度擬合，我們使用Dropout，在完全連接的層次上隨機(jī)丟棄訓(xùn)練時(shí)的單位。特別是，這種類型的CNN針對(duì)每個(gè)考慮的二次質(zhì)量因子QF2 = 60：5：95進(jìn)行訓(xùn)練。因此，我們獲得了與QF2的每個(gè)值相對(duì)應(yīng)的八個(gè)不同的分類器。每個(gè)分類器都需要為輸入補(bǔ)丁輸出兩級(jí)分類。首先是未壓縮的單壓縮和雙壓縮補(bǔ)丁之間的類間分類。其次是QF1的內(nèi)部類別（在60：5：95的范圍內(nèi)，不包括QF1 = QF2）在雙重壓縮補(bǔ)丁的情況下。因此，我們選擇為每個(gè)QF1輸出9個(gè)普通類，未壓縮類，單個(gè)壓縮類和一個(gè)類。結(jié)果，CNN的最后一個(gè)完全連接的層被發(fā)送到九路軟最大連接，這產(chǎn)生了每個(gè)樣本應(yīng)被分類到每個(gè)類中的概率。作為損失函數(shù)，我們使用分類交叉熵函數(shù)[22]。我們注意到，錯(cuò)誤分類雙重壓縮補(bǔ)丁的內(nèi)部類型是錯(cuò)誤的，而錯(cuò)誤地將補(bǔ)丁的類別分類。因此，我們調(diào)整損失以將類內(nèi)錯(cuò)誤加權(quán)為類間錯(cuò)誤的1/9。在我們的初步實(shí)驗(yàn)中，這改善了課堂內(nèi)分類的準(zhǔn)確性。所提出的CNN模型是基于來自由未壓縮的單壓縮貼片或雙壓縮貼片構(gòu)成的訓(xùn)練集（即QF2 = 90和QF1從60變化到95）組成的標(biāo)簽貼片樣本進(jìn)行訓(xùn)練的。在測試階段，八個(gè)訓(xùn)練的CNN中的一個(gè)（根據(jù)保存在JPEG格式的EXIF頭中的質(zhì)量因子進(jìn)行選擇）用于通過將補(bǔ)丁大小的滑動(dòng)窗口應(yīng)用于掃描來提取測試圖像的基于補(bǔ)丁的特征整個(gè)圖像，為每個(gè)補(bǔ)丁分配一個(gè)類，從而在圖像級(jí)執(zhí)行定位。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能頻域CNN：在第二種提出的方法中，基于頻域的CNN，根據(jù)[23]擴(kuò)展評(píng)估系數(shù)數(shù)目的想法，對(duì)給定的補(bǔ)丁執(zhí)行預(yù)處理，以計(jì)算DCT系數(shù)的直方圖。詳細(xì)地說，給定一個(gè)N×N片，提取DCT系數(shù)，并且對(duì)于每個(gè)8×8塊，選擇以之字形掃描順序（DC被跳過）的前9個(gè)空間頻率。對(duì)于每個(gè)空間頻率i，j，建立表示量化的DCT值的絕對(duì)值的出現(xiàn)的直方圖hi，j。具體而言，hi，j（m）是m =（50..0，+50）的i，j DCT系數(shù)的直方圖中的值m的數(shù)量。因此，該網(wǎng)絡(luò)共有909個(gè)元素（101個(gè)直方圖箱×9個(gè)DCT頻率）的矢量作為輸入。再次，如前所述，訓(xùn)練8個(gè)CNN的陣列，它們中的每一個(gè)對(duì)應(yīng)于第二壓縮品質(zhì)因子QF2的不同值。然后使用特征向量來訓(xùn)練每個(gè)CNN，以便區(qū)分之前定義的9個(gè)類別（未壓縮，單一壓縮和雙重壓縮，QF2固定和主要質(zhì)量因子在QF1 = 60：5：95中變化）。所提出的CNN模型的架構(gòu)如圖1所示（下圖）。它包含兩個(gè)卷積層，然后是兩個(gè)池連接和三個(gè)完整連接。輸入數(shù)據(jù)的大小是909x1，輸出是九個(gè)類的分布。每個(gè)完全連接的層有256個(gè)神經(jīng)元，最后一個(gè)層的輸出發(fā)送到九路softmax，這產(chǎn)生了每個(gè)樣本應(yīng)該被分類到每個(gè)類中的概率。在我們的網(wǎng)絡(luò)中，每層都使用整流線性單元（ReLU）f（x）= max（0，x）作為激勵(lì)函數(shù)。在兩個(gè)完全連接的層中，使用Dropout技術(shù)。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能多域CNN：第三個(gè)考慮的方法是一個(gè)多域CNN，其中三個(gè)通道色塊和在該色塊上計(jì)算的DCT系數(shù)的直方圖用作網(wǎng)絡(luò)的輸入以便結(jié)合前兩種方法。在圖2中，提出的網(wǎng)絡(luò)被描繪出來，它由一個(gè)基于空間域的CNN和一個(gè)基于頻域的CNN組成，直到它們的第一個(gè)完全連接的層?；诙嘤虻腃NN學(xué)習(xí)來自R，G，B域和來自DCT的直方圖的特征之間的模式間關(guān)系，將兩個(gè)網(wǎng)絡(luò)的完全連接層（每個(gè)256維）的輸出連接在一起。通過這種方式，最后一個(gè)完全連接的層有512個(gè)神經(jīng)元，并且輸出被發(fā)送到九路softmax連接，這產(chǎn)生了每個(gè)樣本也使用一個(gè)丟失層分類到每個(gè)類中的概率。因此，與之前一樣，根據(jù)QF2的每個(gè)值設(shè)計(jì)八個(gè)不同的9類分類器。訓(xùn)練和測試階段與以前一樣進(jìn)行。

通過多域卷積神經(jīng)網(wǎng)絡(luò)定位JPEG雙重壓縮圖像偽造區(qū)域人工智能多域結(jié)論：在本文中，我們提出了采用卷積神經(jīng)網(wǎng)絡(luò)來檢測拼接偽造的一個(gè)步驟。我們開始探索美國有線電視新聞網(wǎng)的能力，對(duì)未經(jīng)壓縮的單張和雙張壓縮圖像進(jìn)行分類和本地化。在最新的案例中，我們的方法也能夠恢復(fù)原始?jí)嚎s質(zhì)量因素。我們提出了基于空間域的CNN及其與基于頻率的CNN的組合，并將其應(yīng)用于基于多域的方法。實(shí)驗(yàn)結(jié)果表明，空間域可以直接使用，并且當(dāng)與頻域相結(jié)合時(shí)，可以在DCT方法通常較弱（例如QF2 <QF1）的情況下導(dǎo)致優(yōu)越的性能。一些尚未解決的問題仍有待探討。首先，CNN體系結(jié)構(gòu)的選擇可能導(dǎo)致與在對(duì)象分類任務(wù)[11,18]中看到的非常不同的性能[11,18]，其中使用更深的體系結(jié)構(gòu)。其次，應(yīng)該通過收集一個(gè)更大的數(shù)據(jù)集來探索需要多少數(shù)據(jù)來訓(xùn)練一個(gè)好的CNN模型。我們的結(jié)果表明，空間信息可以幫助DCT方法需要至少64x64的補(bǔ)丁來構(gòu)建有用的統(tǒng)計(jì)信息。第三，應(yīng)該提供CNN檢測不同類型壓縮（如JPEG 2000或有損PNG）的能力。我們有希望的結(jié)果表明，該工具可以檢測以前壓縮的細(xì)微特征，并學(xué)習(xí)預(yù)測再壓縮時(shí)使用的第一個(gè)質(zhì)量因子。