在自動駕駛汽車中，傳感器融合是融合來自多個傳感器數(shù)據(jù)的過程。該步驟在機(jī)器人技術(shù)中是強(qiáng)制性的，因?yàn)樗峁┝烁叩目煽啃浴⑷哂嘈砸约白罱K的安全性。

為了更好地理解，讓我們考慮一個簡單的例子，如激光雷達(dá)和相機(jī)都在看著行人： 

如果兩個傳感器中的一個沒有檢測到行人，我們將使用另一個傳感器作為冗余來增加檢測到行人的機(jī)會。

如果兩個傳感器都檢測到了行人，傳感器融合技術(shù)將使我們更準(zhǔn)確地知道行人的位置……通過處理兩個傳感器的噪聲值。

由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進(jìn)行最精確的估計。

在融合傳感器時，我們實(shí)際上是在融合傳感器數(shù)據(jù)，或者叫做數(shù)據(jù)融合。有9種方法可以構(gòu)建數(shù)據(jù)融合算法。這9種方法又可以分為3大類。

本文將重點(diǎn)介紹傳感器融合的3種分類和9種算法。

按抽象級別進(jìn)行傳感器融合

最常見的融合類型是抽象級別的。在這種情況下，問題是“應(yīng)該什么時候進(jìn)行融合？”

文章激光雷達(dá)和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。

在業(yè)界，還有其他稱呼：低級（Low Level）、中級（Mid-Level）和高級（High-Level）傳感器融合。

低級別融合：融合原始數(shù)據(jù)

低級別傳感器融合是關(guān)于融合來自多個傳感器的原始數(shù)據(jù)。例如，融合來自激光雷達(dá)的點(diǎn)云數(shù)據(jù)和來自攝像頭的像素級數(shù)據(jù)。

? 這種類型的融合在未來幾年具有很大的潛力，因?yàn)槠淇紤]了所有數(shù)據(jù)。

? 早期融合（Low-Level）幾年前還很難做到的，因?yàn)樗璧奶幚砹亢艽?。每毫秒可以將?shù)十萬個點(diǎn)與數(shù)十萬個像素融合在一起。

下面是一個攝像頭和激光雷達(dá)低級別融合的示例。

在此過程中使用了對象檢測，但真正完成這項(xiàng)工作的是將3D點(diǎn)云投影到圖像中，然后將其與像素關(guān)聯(lián)起來。

中級別融合：融合檢測數(shù)據(jù)

中級傳感器融合是將傳感器獨(dú)立檢測到的物體進(jìn)行融合。

如果攝像頭檢測到障礙物，雷達(dá)也檢測到它，我們把這些結(jié)果融合到一起形成對障礙物的位置、類別和速度的最佳估計。通常使用的方法是卡爾曼濾波器（貝葉斯算法）。

? 這個過程很容易理解，并且包含了幾個現(xiàn)有的實(shí)現(xiàn)。

? 它嚴(yán)重依賴于檢測器。如果一個失敗，整個融合都可能失敗?？柭鼮V波器來解決這個問題！

中級傳感器融合示例：

在此示例中，我們將來自激光雷達(dá)的3D邊界框與來自對象檢測算法的2D邊界框融合在一起。該過程有效；但也可以逆轉(zhuǎn)。可以將3D激光雷達(dá)的結(jié)果映射到2D中，并在2D影像中進(jìn)行數(shù)據(jù)融合。

高級別融合：融合軌跡

最后，高級傳感器融合是關(guān)于融合對象及其軌跡。我們不僅依賴于檢測，還依賴于預(yù)測和跟蹤。

? 此過程高一級，其優(yōu)點(diǎn)是簡單。

? 一個主要問題是可能會丟失太多信息。如果追蹤是錯誤的，那么整件事都是錯誤的。

雷達(dá)和攝像頭之間按抽象級別的數(shù)據(jù)融合圖：

中心化級別的傳感器融合

融合算法的第二類方法是按中心化級別來區(qū)分的。該場景下的問題是“融合在哪里發(fā)生？”。主計算機(jī)可以做，或者每個傳感器可以做自己的檢測和融合。一些方法是通過使用稱為衛(wèi)星架構(gòu)的技術(shù)來做融合的。

我們來了解一下3種類型的融合：

中心化：一個中央單元處理融合（低級別）。

去中心化：每個傳感器融合數(shù)據(jù)并將其轉(zhuǎn)發(fā)到下一個。

分布式：每個傳感器在本地處理數(shù)據(jù)并將其發(fā)送到下一個單元（后期融合）。

我們以一輛經(jīng)典的自動駕駛汽車為例。在這種情況下，每個傳感器都有自己的計算機(jī)。所有這些計算機(jī)都連接到一個中央計算單元。

與此相反，Aptiv開發(fā)了一種衛(wèi)星架構(gòu)的架構(gòu)。這個想法是：所有傳感器都連接到一個中央單元上，該單元處理稱為主動安全域控制器的智能。

在這個過程中，利用傳感器的位置和傳遞的信息類型，可以幫助減輕車輛的總重量，并隨著傳感器的數(shù)量可以更好地擴(kuò)展。

左圖的情況如下：

傳感器只是“衛(wèi)星”：

它們只是用來收集原始數(shù)據(jù)的。

主計算機(jī)中進(jìn)行360°的融合：

不必安裝非常好的傳感器，因?yàn)椴粫M(jìn)行單個檢測。

檢測是在360°的全景圖上完成的。

? 這有幾個優(yōu)點(diǎn)，請閱讀。

這是“中心化融合”的兩個例子。當(dāng)我們使用經(jīng)典架構(gòu)時，可能會遇到另外兩種類型的融合。

雷達(dá)和攝像頭之間按抽象級別的數(shù)據(jù)融合圖：

按競爭級別的傳感器融合

對傳感器融合算法進(jìn)行分類的最后一種方法是按競爭級別。

在抽象級別，問題是“什么時候”融合應(yīng)該發(fā)生。

在中心化級別，它是關(guān)于“在哪里”的。

在競爭級別，問題是“融合應(yīng)該做什么？

”

同樣，有3種可能。

競爭融合

競爭融合是指傳感器用于相同目的。例如，當(dāng)同時使用雷達(dá)和激光雷達(dá)來檢測行人時。這里發(fā)生的數(shù)據(jù)融合過程稱為冗余，使用術(shù)語“競爭”。

互補(bǔ)融合

互補(bǔ)融合是指使用不同的傳感器觀察不同的場景來獲取我們使用其他方式無法獲得的東西。例如，使用多個攝像頭構(gòu)建全景圖時。由于這些傳感器相互補(bǔ)充，使用術(shù)語“互補(bǔ)”。

協(xié)同融合

最后，協(xié)同融合是關(guān)于使用兩個或更多傳感器來產(chǎn)生一個新場景，但是關(guān)于同一個對象的。例如，在使用2D傳感器進(jìn)行3D掃描或3D重建時。

希望這篇文章可以幫助您更好地了解如何使用傳感器融合，以及如何區(qū)分不同的融合算法。

融合通常由貝葉斯算法完成，例如卡爾曼濾波器。我們可以融合數(shù)據(jù)來估計物體的速度、位置或類別。