有關(guān)自動(dòng)駕駛的數(shù)據(jù)集哪里找？
直達(dá) HyperAI超神經(jīng)數(shù)據(jù)集傳送門：
數(shù)據(jù)集 - 超神經(jīng)
人臉識(shí)別是計(jì)算機(jī)視覺項(xiàng)目的應(yīng)用之一。在人臉識(shí)別的訓(xùn)練中，訓(xùn)練的數(shù)據(jù)量大、質(zhì)量穩(wěn)定、沒有「雜質(zhì)」，是研究中非常好的優(yōu)質(zhì)數(shù)據(jù)庫。
VGG-Face2 人臉識(shí)別數(shù)據(jù)集
VGG-Face2 數(shù)據(jù)集，是一個(gè)人臉圖片數(shù)據(jù)集。
數(shù)據(jù)集中圖像均來自 Google 圖片搜索。數(shù)據(jù)集中的人在姿勢、年齡、種族和職業(yè)方面有很大差異。
VGG-Face2 Dataset
發(fā)布機(jī)構(gòu)： 牛津大學(xué)
包含數(shù)量： 331 萬張圖片
數(shù)據(jù)格式： images
數(shù)據(jù)大?。?37.49 GB
發(fā)布時(shí)間： 2017 年
下載地址：VGG-Face2 人臉識(shí)別數(shù)據(jù)集 - 數(shù)據(jù)集下載 - 超神經(jīng)
Helen 人臉數(shù)據(jù)集
HELEN 數(shù)據(jù)集由 2,330 張 400*400 像素的人臉圖像組成。該數(shù)據(jù)集包括 2,000 張訓(xùn)練圖像和 330 張測試圖像，帶有高度準(zhǔn)確的、詳細(xì)和一致的人臉主要組成部分標(biāo)注。
Helen Dataset
發(fā)布機(jī)構(gòu)： 伊利諾斯大學(xué)
包含數(shù)量： 2,330 張 400*400 像素的人臉圖像
數(shù)據(jù)格式： images
數(shù)據(jù)大?。?1.02 GB
發(fā)布時(shí)間： 2012 年
下載地址：Helen 人臉數(shù)據(jù)集 - 數(shù)據(jù)集下載 - 超神經(jīng)
FairFace 人臉數(shù)據(jù)集
FairFace 是一個(gè)更種族均衡的人臉圖像數(shù)據(jù)集。 該數(shù)據(jù)集包含 108,501 張圖片，設(shè)及 7 個(gè)不同種族群體（白人、黑人、印度人、東亞人、東南亞人、中東人和拉丁裔）。
FairFace Dataset
發(fā)布機(jī)構(gòu)： 加州大學(xué)洛杉磯分校
包含數(shù)量： 108,501 張圖片
數(shù)據(jù)格式： images
數(shù)據(jù)大?。?2.49 GB
發(fā)布時(shí)間： 2020 年
下載地址： FairFace 人臉數(shù)據(jù)集 - 數(shù)據(jù)集下載 - 超神經(jīng)
姿態(tài)估計(jì)是利用某種幾何模型或結(jié)構(gòu)來表示物體的結(jié)構(gòu)和形狀。 當(dāng)前存在的難點(diǎn)包括背景復(fù)雜、復(fù)雜姿態(tài)樣本少等。
MPI-INF-3DHP 3D 人體姿態(tài)估計(jì)數(shù)據(jù)集
MPI-INF-3DHP 是一個(gè) 3D 人體姿態(tài)估計(jì)數(shù)據(jù)集，圖像有室內(nèi)和室外環(huán)境。 該數(shù)據(jù)集包含 130 多萬幀圖像，由 14 個(gè)攝像角度記錄 8 位參與者的 8 類活動(dòng)。
MPI-INF-3DHP Dataset
發(fā)布機(jī)構(gòu)： 薩爾州大學(xué)
包含數(shù)量： 130 多萬幀圖像
數(shù)據(jù)格式： video
數(shù)據(jù)大?。?21.77 GB
發(fā)布時(shí)間： 2016 年
下載地址：MPI-INF-3DHP 3D 人體姿態(tài)估計(jì)數(shù)據(jù)集 - 數(shù)據(jù)集下載 - 超神經(jīng)
HandNet 手部姿勢數(shù)據(jù)集
HandNet 手部姿勢數(shù)據(jù)集包含 10 位參與者的手在 RealSense RGB-D 相機(jī)前非剛性變形的深度圖。該數(shù)據(jù)集共包含 214,971 張深度圖，其中訓(xùn)練集 202,198 張，測試集 10,000 張，驗(yàn)證集 2,773 張。
HandNet Dataset
發(fā)布機(jī)構(gòu)： 以色列理工學(xué)院
包含數(shù)量： 214,971 張圖像
數(shù)據(jù)格式： images
數(shù)據(jù)大小： 12.85 GB
發(fā)布時(shí)間： 2015 年
下載地址：HandNet 手部姿勢數(shù)據(jù)集 - 數(shù)據(jù)集下載 - 超神經(jīng)
3DPW 姿態(tài)數(shù)據(jù)集
3DPW 全稱 3D Poses in the Wild，是首個(gè)具有精確 3D 姿態(tài)的戶外數(shù)據(jù)集，可用于解決姿態(tài)估計(jì)問題。 該數(shù)據(jù)集包括 60 個(gè)視頻序列，3D 人體掃描和 3D 人物模型。
3DPW Dataset
發(fā)布機(jī)構(gòu)： 漢諾威萊布尼茲大學(xué)
包含數(shù)量： 60 個(gè)視頻序列
數(shù)據(jù)格式： video
數(shù)據(jù)大?。?4.55 GB
發(fā)布時(shí)間： 2018 年
下載地址： 3DPW 姿態(tài)數(shù)據(jù)集 - 數(shù)據(jù)集下載 - 超神經(jīng)
人工智能在自動(dòng)駕駛與可以擔(dān)任駕駛員這一角色，通過對(duì)道路上發(fā)生的各種狀況信息進(jìn)行搜集、分析和處理，做出操作代替人為操控。
Comma.ai 自動(dòng)駕駛視頻數(shù)據(jù)集
Comma.ai 數(shù)據(jù)集是一個(gè)用于自動(dòng)駕駛的視頻數(shù)據(jù)集。 包含共計(jì) 7.25 小時(shí)的視頻，該數(shù)據(jù)集包含 10 個(gè)以 20Hz 頻率記錄的視頻。該數(shù)據(jù)集還包括如汽車時(shí)速、加速度、轉(zhuǎn)向角、GPS 坐標(biāo)、陀螺儀角度等的測量值。
Comma.ai Dataset
發(fā)布機(jī)構(gòu)： Comma.ai 公司
包含數(shù)量： 7.25 個(gè)小時(shí)視頻
數(shù)據(jù)格式： video
數(shù)據(jù)大小： 44.96 GB
發(fā)布時(shí)間： 2016 年
下載地址： Comma.ai 自動(dòng)駕駛視頻數(shù)據(jù)集 - 數(shù)據(jù)集下載 - 超神經(jīng)
Argoverse 自動(dòng)駕駛數(shù)據(jù)集
Argoverse 數(shù)據(jù)集包含 3D Tracking 和 Motion Forecasting 兩部分。
Argoverse 3D tracking 數(shù)據(jù)集包含 113 個(gè)場景的 3d 跟蹤注釋。 每個(gè)片段長度為 15-30 秒，共計(jì)包含 11319 個(gè)跟蹤對(duì)象。在訓(xùn)練集和測試集的每個(gè)片段場景中包含了五米內(nèi)的所有物體的注釋，可被理解為檢測汽車可駕駛區(qū)域（5 米）的所有物體，以 3d 框架形式展現(xiàn)。該數(shù)據(jù)集可被自動(dòng)駕駛等領(lǐng)域使用。
Argoverse Motion Forecasting 數(shù)據(jù)集為運(yùn)動(dòng)預(yù)測類模型的數(shù)據(jù)集， 包含 327793 個(gè)場景，每個(gè)場景時(shí)常 5 秒，且包含以 10 Hz 采樣的每個(gè)跟蹤對(duì)象的 2D 鳥瞰圖。該數(shù)據(jù)集是由超過 1000 小時(shí)的街道駕駛所獲取，可用于自動(dòng)駕駛等領(lǐng)域的研究。
Argoverse Dataset
發(fā)布機(jī)構(gòu)： ARGO AI
包含數(shù)量： 超過 3 萬個(gè)場景
數(shù)據(jù)大小： 260.38 GB
發(fā)布時(shí)間： 2019 年
下載地址：Argoverse自動(dòng)駕駛 - 數(shù)據(jù)集下載 - 超神經(jīng)
Talk2Car 自動(dòng)駕駛數(shù)據(jù)集
Talk2Car 數(shù)據(jù)集是一個(gè)對(duì)象引用數(shù)據(jù)集，包含了用自然語言為自動(dòng)駕駛汽車編寫的命令，即乘客可以通過說話的形式對(duì)自動(dòng)駕駛汽車下達(dá)命令。
Talk2Car 數(shù)據(jù)集建立在 nuScenes 數(shù)據(jù)集之上，包括一套廣泛的傳感器模式，即語義地圖、GPS、激光雷達(dá)、雷達(dá)和帶有 3D bounding box 標(biāo)注的 360° RGB 圖像。
Talk2Car Dataset
發(fā)布機(jī)構(gòu)： 比利時(shí)魯汶大學(xué)
數(shù)據(jù)格式： images
數(shù)據(jù)大小： 1.65 GB
發(fā)布時(shí)間： 2019 年
下載地址：Talk2Car 自動(dòng)駕駛數(shù)據(jù)集 - 數(shù)據(jù)集下載 - 超神經(jīng)
搜索或下載數(shù)據(jù)集，訪問以下鏈接：
數(shù)據(jù)集 - 超神經(jīng)
歡迎有志于自動(dòng)駕駛研發(fā)的同學(xué)（全職&實(shí)習(xí)）加入Nullmax，點(diǎn)擊查看崗位招聘詳情！在自動(dòng)駕駛領(lǐng)域，目標(biāo)檢測是一項(xiàng)富有挑戰(zhàn)性的工作，尤其是一些出現(xiàn)頻率較低的特殊目標(biāo)，常因數(shù)據(jù)不足導(dǎo)致檢測效果一般。
去年，Nullmax感知團(tuán)隊(duì)提出了一項(xiàng)針對(duì)少見目標(biāo)檢測的數(shù)據(jù)增強(qiáng)方法，并將相應(yīng)數(shù)據(jù)集開源上線，為行業(yè)解決數(shù)據(jù)缺乏難題，應(yīng)對(duì)長尾挑戰(zhàn)提供研究參考。
對(duì)于自動(dòng)駕駛車輛而言，準(zhǔn)確識(shí)別各類目標(biāo)和障礙物信息，可以有效保障行駛安全。因此感知系統(tǒng)既要檢測一些路上常見的目標(biāo)，比如車輛、行人、交通標(biāo)識(shí)等，也要檢測了一些少見的目標(biāo)，比如錐形筒、交通警示桶、三角警示牌，等等。
這些檢測少見目標(biāo)的神經(jīng)網(wǎng)絡(luò)模型，和其他常見目標(biāo)的檢測模型一樣，需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練。但這類目標(biāo)出現(xiàn)概率很低，所以獲取訓(xùn)練數(shù)據(jù)需要耗費(fèi)大量的成本和時(shí)間。
因此，Nullmax的感知團(tuán)隊(duì)提出了一種基于交通場景信息的數(shù)據(jù)增強(qiáng)方法，通過Copy-Paste方式零成本生成高度逼真的訓(xùn)練樣本，解決少見目標(biāo)檢測的數(shù)據(jù)難題。實(shí)驗(yàn)結(jié)果顯示，Nullmax的新方法可以顯著提升少見目標(biāo)檢測的任務(wù)效果。
同時(shí)，Nullmax建立了專用于自動(dòng)駕駛少見目標(biāo)檢測的數(shù)據(jù)集Rare Object Dataset（ROD），并已正式開源上線。ROD是該細(xì)分領(lǐng)域內(nèi)的首個(gè)公開數(shù)據(jù)集，可以為目標(biāo)檢測、數(shù)據(jù)增強(qiáng)等方面的研究者提供稀缺的數(shù)據(jù)，研究特殊目標(biāo)檢測相關(guān)課題。
ROD數(shù)據(jù)集現(xiàn)已開放下載： https://nullmax-vision.github.io/
01 ROD自動(dòng)駕駛數(shù)據(jù)集
Nullmax推出的ROD是一個(gè)多樣化的真實(shí)世界數(shù)據(jù)集，當(dāng)中包含大量訓(xùn)練圖像和驗(yàn)證圖像，并對(duì)小車、卡車、巴士、行人和自行車這5類常見目標(biāo)進(jìn)行了相應(yīng)標(biāo)注。
此外，ROD還提供了3類典型少見目標(biāo)的掩膜，可用于少見目標(biāo)檢測和數(shù)據(jù)增強(qiáng)方法的研究，當(dāng)中包括大約1000個(gè)錐形筒、100個(gè)交通警示桶和50個(gè)三角警示牌的掩膜數(shù)據(jù)。
ROD具有良好的數(shù)據(jù)多樣性，覆蓋了自動(dòng)駕駛的不同場景。它包含了不同的道路級(jí)別，包括高速公路、快速路、城市街道以及鄉(xiāng)村道路；不同的天氣狀況，比如晴天、陰天和雨天；以及不同的時(shí)間段，包括白天、傍晚和夜間。
02 基于交通場景信息的數(shù)據(jù)增強(qiáng)
為了解決少見目標(biāo)檢測的數(shù)據(jù)難題，Nullmax的感知團(tuán)隊(duì)提出了結(jié)合交通場景的數(shù)據(jù)增強(qiáng)方法，通過簡單有效的Copy-Paste增強(qiáng)方式生成逼真的訓(xùn)練數(shù)據(jù)，獲得了出色的檢測效果。
這項(xiàng)研究獲得了ICRA 2022收錄，全文地址：https://arxiv.org/pdf/2205.00376.pdf
通常來說，訓(xùn)練樣本較少的目標(biāo)檢測任務(wù)可以看作是面向不平衡或長尾的數(shù)據(jù)集。有一些研究者，通過重采樣訓(xùn)練數(shù)據(jù)和調(diào)整損失函數(shù)權(quán)重來解決這個(gè)問題，但這類方法對(duì)于專家經(jīng)驗(yàn)較為依賴。
數(shù)據(jù)增強(qiáng)是解決數(shù)據(jù)稀缺問題的另一個(gè)研究方向，旨在通過最小代價(jià)生成大量帶標(biāo)注的訓(xùn)練樣本。數(shù)據(jù)增強(qiáng)大致可以分為圖像級(jí)增強(qiáng)和實(shí)例級(jí)增強(qiáng)，當(dāng)包含特定目標(biāo)類別的圖像級(jí)訓(xùn)練數(shù)據(jù)達(dá)到一定數(shù)量時(shí)，前者是一種有效的方法；反之，則是實(shí)例級(jí)數(shù)據(jù)增強(qiáng)更為適合。
Nullmax采用的Copy-Paste方式，就是一種常見的實(shí)例級(jí)數(shù)據(jù)增強(qiáng)，它從源域復(fù)制特定目標(biāo)類別的實(shí)例掩膜粘貼到目標(biāo)域。通過系統(tǒng)性的研究，我們證明了在自動(dòng)駕駛領(lǐng)域，通過結(jié)合交通場景信息的Copy-Paste數(shù)據(jù)增強(qiáng)方式，可以達(dá)到出色的少見目標(biāo)檢測性能。
具體來說，Nullmax利用源域的目標(biāo)掩膜進(jìn)行實(shí)例級(jí)變換，創(chuàng)建逼真的目標(biāo)實(shí)例。并將交通場景信息用作全局的幾何約束，將局部自適應(yīng)的實(shí)例掩膜粘貼到目標(biāo)圖像上，生成訓(xùn)練數(shù)據(jù)。最后，再通過局部和全局的一致性保證訓(xùn)練數(shù)據(jù)的質(zhì)量和真實(shí)度。
Nullmax提出的方法包括了3個(gè)主要環(huán)節(jié)：
(1) 收集目標(biāo)實(shí)例掩膜和背景圖像。在Nullmax的研究中，所有的背景圖像來自于不同的真實(shí)交通場景。以錐形筒為例，它會(huì)涵蓋不同的類型、顏色和大小。
(2) 通過理解交通場景信息，計(jì)算實(shí)例掩膜的粘貼位置。在背景圖像上隨機(jī)粘貼目標(biāo)，效率低下，而且目標(biāo)之間的關(guān)聯(lián)可能與真實(shí)交通場景不符。Nullmax的方法以交通環(huán)境信息為約束，考慮相機(jī)內(nèi)外參，進(jìn)行實(shí)例掩膜的疊加。
(3) 對(duì)實(shí)例掩膜進(jìn)行局部自適應(yīng)轉(zhuǎn)換。為了確保目標(biāo)掩膜無縫粘貼到背景圖像中，Nullmax使用了一系列局部自適應(yīng)的數(shù)據(jù)增強(qiáng)策略：基于感知的景深，縮放粘貼對(duì)象；應(yīng)用多種實(shí)例級(jí)混合策略，確保圖像接縫盡量平滑；以及局部自適應(yīng)的顏色變換（HSV）。
實(shí)驗(yàn)顯示，Nullmax提出的數(shù)據(jù)增強(qiáng)方法在錐形筒檢測中取得了出色效果，并且這一方法也能夠推廣至其他類型的少見物體檢測任務(wù)當(dāng)中。
此外，Nullmax也研究了各組件的效果，分析了方法中實(shí)例掩膜域、實(shí)例掩膜數(shù)量和強(qiáng)化訓(xùn)練圖像數(shù)量的敏感性，證明了這一方法可為少見物體檢測任務(wù)提供有效的訓(xùn)練圖像。未來，我們希望通過增量訓(xùn)練對(duì)少見目標(biāo)檢測展開進(jìn)一步研究，歡迎感興趣的朋友關(guān)注交流！
最全自動(dòng)駕駛數(shù)據(jù)集總結(jié)這個(gè)應(yīng)該是我知道的比較全面的總結(jié)了，而且開源，還可以自己添加漏掉的數(shù)據(jù)集。
當(dāng)今社會(huì)，自動(dòng)駕駛技術(shù)已成為汽車產(chǎn)業(yè)的未來趨勢。但是，要想讓自動(dòng)駕駛車輛真正上路行駛，離不開大規(guī)模的高質(zhì)量數(shù)據(jù)集的支撐。
本文將為您介紹43個(gè)經(jīng)典、熱門的自動(dòng)駕駛數(shù)據(jù)集，希望對(duì)您在選擇適合的數(shù)據(jù)集時(shí)有所幫助。（篇幅較長，建議收藏細(xì)看~）
● 發(fā)布方：加州理工學(xué)院
● 發(fā)布時(shí)間：2009
● 簡介： 加州理工學(xué)院行人數(shù)據(jù)集由大約 10 小時(shí)的 640x480 30Hz 視頻組成，該視頻取自在城市環(huán)境中通過常規(guī)交通行駛的車輛。注釋了大約 250,000 幀（在 137 個(gè)大約分鐘長的片段中），總共 350,000 個(gè)邊界框和 2300 個(gè)獨(dú)特的行人。注釋包括邊界框和詳細(xì)的遮擋標(biāo)簽之間的時(shí)間對(duì)應(yīng)關(guān)系。更多信息可以在我們的 PAMI 2012 和 CVPR 2009 基準(zhǔn)測試文件中找到。
● 下載地址：https://opendatalab.org.cn/Caltech_Pedestrian_Detection_etc
● 論文地址： http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/files/CVPR09pedestrians.pdfhttp://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/files/PAMI12pedestrians.pdf
● 發(fā)布方：馬克斯普朗克信息學(xué)研究所
● 發(fā)布時(shí)間：2010
● 簡介： 新的TUD-布魯塞爾數(shù)據(jù)集是從布魯塞爾市中心的一輛駕駛汽車記錄的。該集包含508圖像對(duì) (每秒一對(duì)及其原始視頻的后繼圖像)，分辨率為640 × 480，帶有1326注釋的行人。由于行人從多個(gè)角度以非常小的比例出現(xiàn)，因此數(shù)據(jù)集具有挑戰(zhàn)性。
● 下載地址： https://opendatalab.org.cn/TUD-Brussels_Pedestrian
● 論文地址： https://www.mpi-inf.mpg.de/fileadmin/inf/d2/wojek/wojek09cvpr.pdf
● 發(fā)布方：中國國家自然科學(xué)基金
● 發(fā)布時(shí)間：未知
● 簡介： 中國交通標(biāo)志數(shù)據(jù)集，TSRD包括包含58個(gè)標(biāo)志類別的6164個(gè)交通標(biāo)志圖像。將圖像分為兩個(gè)子數(shù)據(jù)庫，分別為訓(xùn)練數(shù)據(jù)庫和測試數(shù)據(jù)庫。訓(xùn)練數(shù)據(jù)庫包括4170圖像，而測試數(shù)據(jù)庫包含1994圖像。所有圖像都注釋了符號(hào)和類別的四個(gè)corrdinates。
● 下載地址： https://opendatalab.org.cn/TSRD
● 發(fā)布方：中國國家自然科學(xué)基金
● 發(fā)布時(shí)間：未知
● 簡介： 中國交通標(biāo)志數(shù)據(jù)集，TSDD包括包含多種標(biāo)志的10000交通場景圖像。圖像是在不同的時(shí)間，天氣條件，照明條件以及移動(dòng)模糊條件下收集的。
● 下載地址： https://opendatalab.org.cn/TSDD
● 發(fā)布方：中國國家自然科學(xué)基金
● 發(fā)布時(shí)間：未知
● 簡介： 中國交通標(biāo)志數(shù)據(jù)集，TPD包括包含各種類型的交通面板的2329交通圖像，這些圖像是在各種不同的情況下收集的，例如天氣條件，光照，不同的環(huán)境，局部occluon等。
● 下載地址： https://opendatalab.org.cn/TPD
● 發(fā)布方：ISTI-CNR
● 發(fā)布時(shí)間：2016
● 簡介： CNRPark EXT是一個(gè)數(shù)據(jù)集，用于在164個(gè)停車位的停車場上建立的空置和占用停車位的大致150,000個(gè)標(biāo)記圖像 (補(bǔ)丁) 的停車場的視覺占用檢測。
● 下載地址： https://opendatalab.org.cn/CNRPark-EXT
● 發(fā)布方：中國科學(xué)技術(shù)大學(xué) · 邢臺(tái)金融控股集團(tuán)
● 發(fā)布時(shí)間：2018
● 簡介： 中國城市停車數(shù)據(jù)集（CCPD）是用于車牌檢測和識(shí)別的數(shù)據(jù)集。它包含超過 25 萬張獨(dú)特的汽車圖像，帶有車牌位置注釋。
● 下載地址： https://opendatalab.org.cn/CCPD
● 論文地址： http://openaccess.thecvf.com/content_ECCV_2018/papers/Zhenbo_Xu_Towards_End-to-End_License_ECCV_2018_paper.pdf
● 發(fā)布方：清華大學(xué) · 巴斯大學(xué)
● 發(fā)布時(shí)間：2018
● 簡介： 盡管在交通標(biāo)志檢測和分類領(lǐng)域取得了可喜的成果，但很少有作品為現(xiàn)實(shí)世界的圖像同時(shí)提供這兩個(gè)任務(wù)的解決方案。我們?yōu)檫@個(gè)問題做出了兩個(gè)貢獻(xiàn)。首先，我們從100000騰訊街景全景圖創(chuàng)建了一個(gè)大型交通標(biāo)志基準(zhǔn)，超越了以前的基準(zhǔn)。它提供包含30000交通標(biāo)志實(shí)例的100000圖像。這些圖像涵蓋了照度和天氣條件的大變化?；鶞?zhǔn)中的每個(gè)交通標(biāo)志都帶有類標(biāo)簽，其邊界框和像素掩碼。我們把這個(gè)基準(zhǔn)叫清華-騰訊100K。
● 下載地址： https://opendatalab.org.cn/Tsinghua-Tencent_100K_Tutorial
● 論文地址： https://d-nb.info/1165656485/34
● 發(fā)布方：上海美國學(xué)校浦西校區(qū)
● 發(fā)布時(shí)間：2019
● 簡介： 一個(gè)行人交通信號(hào)燈數(shù)據(jù)集，包含在上海數(shù)百個(gè)十字路口拍攝的 5000 多張照片。
● 下載地址： https://opendatalab.org.cn/PTL
● 論文地址： https://arxiv.org/pdf/1907.09706v1.pdf
● 發(fā)布方：西安交通大學(xué) · 長安大學(xué)
● 發(fā)布時(shí)間：2019
● 簡介： BLVD 是視覺認(rèn)知計(jì)算與智能車輛實(shí)驗(yàn)室收集的大規(guī)模 5D 語義數(shù)據(jù)集。該數(shù)據(jù)集包含 654 個(gè)高分辨率視頻剪輯，這些剪輯來自中國智能汽車驗(yàn)證中心 (IVPCC) 所在的中國江蘇省常熟市，總幀數(shù)為 120k。RGB 數(shù)據(jù)和 3D 點(diǎn)云的幀速率為 10fps/秒。該數(shù)據(jù)集包含完全注釋的幀，產(chǎn)生 249,129 個(gè) 3D 注釋、4,902 個(gè)用于跟蹤的獨(dú)立個(gè)體，總長度為 214,922 個(gè)點(diǎn)、6,004 個(gè)用于 5D 交互式事件識(shí)別的有效片段，以及 4,900 個(gè)用于 5D 意圖預(yù)測的個(gè)體。根據(jù)物體密度（低和高）和光照條件（白天和夜間），這些任務(wù)包含在四種場景中。
● 下載地址： https://opendatalab.org.cn/BLVD
● 論文地址： https://arxiv.org/pdf/1903.06405v1.pdf
● 發(fā)布方：加州大學(xué)伯克利分校 · 康奈爾大學(xué) · 加州大學(xué)圣地亞哥分校 · Element, Inc
● 發(fā)布時(shí)間：2020
● 簡介： 我們構(gòu)建了最大的駕駛視頻數(shù)據(jù)集 BDD100K，包含 10 萬個(gè)視頻和 10 個(gè)任務(wù)，以評(píng)估圖像識(shí)別算法在自動(dòng)駕駛方面的令人興奮的進(jìn)展。該數(shù)據(jù)集具有地理、環(huán)境和天氣的多樣性，這對(duì)于訓(xùn)練不太可能對(duì)新條件感到驚訝的模型很有用?；谶@個(gè)多樣化的數(shù)據(jù)集，我們?yōu)楫悩?gòu)多任務(wù)學(xué)習(xí)建立了一個(gè)基準(zhǔn)，并研究了如何一起解決這些任務(wù)。我們的實(shí)驗(yàn)表明，現(xiàn)有模型需要特殊的訓(xùn)練策略來執(zhí)行此類異構(gòu)任務(wù)。BDD100K 為未來在這個(gè)重要場所的學(xué)習(xí)打開了大門。更多詳細(xì)信息請參見數(shù)據(jù)集主頁。
● 下載地址： https://opendatalab.org.cn/BDD100K
● 論文地址： https://arxiv.org/pdf/1805.04687v2.pdf
● 發(fā)布方：南加州大學(xué) · 滴滴實(shí)驗(yàn)室
● 發(fā)布時(shí)間：2021
● 簡介： D 2-City是一個(gè)大型駕駛視頻數(shù)據(jù)集，提供10,000多個(gè)行車記錄儀視頻記錄在720p HD或1080p FHD。大約1000個(gè)視頻在所有道路對(duì)象的每個(gè)幀中都帶有檢測和跟蹤注釋，包括邊界框以及汽車，貨車，公共汽車，卡車，行人，摩托車，自行車，敞開式和封閉式三輪車，叉車的跟蹤id，以及大型和小型街區(qū)。視頻的一些剩余部分帶有在關(guān)鍵幀中注釋的道路對(duì)象。
● 下載地址： https://opendatalab.org.cn/D_square-City
● 論文地址： https://arxiv.org/pdf/1904.01975.pdf
● 發(fā)布方：華為
● 發(fā)布時(shí)間：2021
● 簡介： ONCE（One millioN sCenEs）是自動(dòng)駕駛場景下的3D物體檢測數(shù)據(jù)集。ONCE 數(shù)據(jù)集由 100 萬個(gè) LiDAR 場景和 700 萬個(gè)對(duì)應(yīng)的相機(jī)圖像組成。這些數(shù)據(jù)選自 144 個(gè)駕駛小時(shí)，比 nuScenes 和 Waymo 等其他可用的 3D 自動(dòng)駕駛數(shù)據(jù)集長 20 倍，并且是在一系列不同的地區(qū)、時(shí)期和天氣條件下收集的。由組成：100 萬個(gè) LiDAR 幀，700 萬個(gè)相機(jī)圖像 200 平方公里的駕駛區(qū)域，144 個(gè)駕駛小時(shí) 15k 個(gè)完全注釋的場景，分為 5 個(gè)類別（汽車、公共汽車、卡車、行人、騎自行車的人） 多樣化的環(huán)境（白天/夜晚、晴天/雨天、城市/郊區(qū)）。
● 下載地址： https://opendatalab.org.cn/ONCE
● 論文地址： https://arxiv.org/pdf/2106.11037v3.pdf
● 發(fā)布方：印度理工學(xué)院 · 東京大學(xué) · UrbanX Technologies
● 發(fā)布時(shí)間：2021
● 簡介： 道路損壞數(shù)據(jù)集 2020 (RDD-2020) 其次是一個(gè)大規(guī)模的異構(gòu)數(shù)據(jù)集，包含使用智能手機(jī)從多個(gè)國家收集的 26620 張圖像。這些圖像是從印度、日本和捷克共和國的道路上收集的。
● 下載地址： https://opendatalab.org.cn/RDD-2020
● 論文地址： https://arxiv.org/ftp/arxiv/papers/2209/2209.08538.pdf
● 發(fā)布方：華為諾亞方舟實(shí)驗(yàn)室 · 中山大學(xué) · 香港中文大學(xué)
● 發(fā)布時(shí)間：2021
● 簡介： 我們引入了一個(gè)新的大規(guī)模2D數(shù)據(jù)集，名為SODA10M，其中包含10m個(gè)未標(biāo)記圖像和具有6個(gè)代表性對(duì)象類別的20k個(gè)標(biāo)記圖像。SODA10M旨在促進(jìn)自動(dòng)駕駛中自我監(jiān)督學(xué)習(xí)和領(lǐng)域適應(yīng)的重大進(jìn)步。它是迄今為止最大的2D自動(dòng)駕駛數(shù)據(jù)集，將成為社區(qū)更具挑戰(zhàn)性的基準(zhǔn)。
● 下載地址： https://opendatalab.org.cn/SODA10M
● 論文地址： https://arxiv.org/pdf/2106.11118.pdf
● 發(fā)布方：Facebook Reality Labs
● 發(fā)布時(shí)間：2022
● 簡介： 多光譜圖像對(duì)可以提供組合信息，使對(duì)象檢測應(yīng)用在開放世界中更加可靠和健壯。為了充分利用不同的模態(tài)，作者提出了一種簡單而有效的跨模態(tài)特征融合方法，稱為跨模態(tài)融合變壓器 (CFT)。與以前基于CNNs的工作不同，我們的網(wǎng)絡(luò)在Transformer方案的指導(dǎo)下，在特征提取階段學(xué)習(xí)遠(yuǎn)程依賴關(guān)系并集成全局上下文信息。更重要的是，通過利用變壓器的自我關(guān)注，網(wǎng)絡(luò)可以自然地同時(shí)執(zhí)行模態(tài)內(nèi)和模態(tài)間融合，并可靠地捕獲RGB和熱域之間的潛在相互作用。從而大大提高了多光譜目標(biāo)檢測的性能。在多個(gè)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)和消融研究表明，該方案是有效的，并獲得了最先進(jìn)的檢測性能。我們的代碼和模型可在https://github.com/DocF/多光譜-對(duì)象檢測。
● 下載地址： https://opendatalab.org.cn/Mapillary_Traffic_Sign_Dataset
● 發(fā)布方：本田歐洲研究所 · 馬克斯普朗克智能系統(tǒng)研究所
● 發(fā)布時(shí)間：2013
● 簡介： KITTI Road 是道路和車道估計(jì)基準(zhǔn)，由 289 個(gè)訓(xùn)練圖像和 290 個(gè)測試圖像組成。它包含三種不同類別的道路場景：* uu - 城市未標(biāo)記 (98/100) * um - 城市標(biāo)記 (95/96) * umm - 城市多標(biāo)記車道 (96/94) * 城市 - 地面以上三者的組合事實(shí)已通過圖像的手動(dòng)注釋生成，可用于兩種不同的道路地形類型：道路 - 道路區(qū)域，即所有車道的組成，車道 - 自我車道，即車輛當(dāng)前所在的車道繼續(xù)行駛。地面實(shí)況僅用于訓(xùn)練圖像。
● 下載地址： https://opendatalab.org.cn/KITTI_Road
● 論文地址： http://www.cvlibs.net/publications/Fritsch2013ITSC.pdf
● 發(fā)布方：Tusimple
● 發(fā)布時(shí)間：2017
● 簡介： 復(fù)雜性: 良好和中等天氣條件不同的白天2車道/3車道/4車道/或更多高速公路。不同的交通狀況 數(shù)據(jù)集大小: 培訓(xùn): 3626視頻剪輯，3626帶注釋的幀 測試: 2782視頻剪輯 攝像機(jī)和視頻剪輯: 20幀的1s剪輯攝像機(jī)的視圖方向非常接近行駛方向 注釋類型: 車道標(biāo)記的折線。
● 下載地址： https://opendatalab.org.cn/tusimple_lane
● 論文地址： https://arxiv.org/pdf/1907.01294
● 發(fā)布方：上海人工智能實(shí)驗(yàn)室 · 上海交通大學(xué) · 商湯科技研究所
● 發(fā)布時(shí)間：2022
● 簡介： OpenLane 是迄今為止第一個(gè)真實(shí)世界和規(guī)模最大的 3D 車道數(shù)據(jù)集。我們的數(shù)據(jù)集從公共感知數(shù)據(jù)集 Waymo Open Dataset 中收集有價(jià)值的內(nèi)容，并為 1000 個(gè)路段提供車道和最近路徑對(duì)象（CIPO）注釋。簡而言之，OpenLane 擁有 200K 幀和超過 880K 仔細(xì)注釋的車道。我們公開發(fā)布了 OpenLane 數(shù)據(jù)集，以幫助研究界在 3D 感知和自動(dòng)駕駛技術(shù)方面取得進(jìn)步。
● 下載地址： https://opendatalab.org.cn/OpenLane
● 論文地址： https://arxiv.org/pdf/2203.11089.pdf
● 發(fā)布方：上海人工智能實(shí)驗(yàn)室
● 發(fā)布時(shí)間：2023
● 簡介： 全球首個(gè)自動(dòng)駕駛道路結(jié)構(gòu)感知和推理基準(zhǔn)。數(shù)據(jù)集的首要任務(wù)是場景結(jié)構(gòu)感知和推理，這需要模型能夠識(shí)別周圍環(huán)境中車道的可行駛狀態(tài)。該數(shù)據(jù)集的任務(wù)不僅包括車道中心線和交通要素檢測，還包括檢測到的對(duì)象的拓?fù)潢P(guān)系識(shí)別。
● 下載地址： https://opendatalab.org.cn/OpenLane-V2
● 發(fā)布方：波恩大學(xué)
● 發(fā)布時(shí)間：2019
● 簡介： 我們提出了一個(gè)基于 KITTI Vision Benchmark 的大規(guī)模數(shù)據(jù)集，并使用了里程計(jì)任務(wù)提供的所有序列。我們?yōu)樾蛄?00-10 的每個(gè)單獨(dú)掃描提供密集注釋，這使得能夠使用多個(gè)順序掃描進(jìn)行語義場景解釋，如語義分割和語義場景完成。剩余的序列，即序列 11-21，被用作測試集，顯示大量具有挑戰(zhàn)性的交通情況和環(huán)境類型。未提供測試集的標(biāo)簽，我們使用評(píng)估服務(wù)對(duì)提交進(jìn)行評(píng)分并提供測試集結(jié)果。
● 下載地址： https://opendatalab.org.cn/SemanticKITTI
● 論文地址： https://arxiv.org/pdf/1904.01416v3.pdf
● 發(fā)布方：Argo AI
● 發(fā)布時(shí)間：2019
● 簡介： Argoverse 1開源數(shù)據(jù)集合包括: 具有113 3D注釋場景的3D跟蹤數(shù)據(jù)集 具有324,557場景的運(yùn)動(dòng)預(yù)測數(shù)據(jù)集 Argoverse 2開源數(shù)據(jù)集合包括: 具有1,000 3D注釋場景的傳感器數(shù)據(jù)集-每個(gè)場景都具有激光雷達(dá)，環(huán)形攝像頭和立體聲傳感器數(shù)據(jù) 具有20,000個(gè)未標(biāo)記場景的Lidar數(shù)據(jù)集，適用于自我監(jiān)督學(xué)習(xí) 運(yùn)動(dòng)預(yù)測數(shù)據(jù)集，具有250,000有趣的駕駛場景，其屬性比其前身Argoverse 1運(yùn)動(dòng)預(yù)測數(shù)據(jù)集更豐富 具有1,000場景的地圖更改數(shù)據(jù)集，其中200描述了自映射以來更改的場景。
● 下載地址： https://opendatalab.org.cn/Argoverse1
● 論文地址： https://openaccess.thecvf.com/content_CVPR_2019/papers/Chang_Argoverse_3D_Tracking_and_Forecasting_With_Rich_Maps_CVPR_2019_paper.pdf
● 發(fā)布方：Google · Waymo LLC
● 發(fā)布時(shí)間：2020
● 簡介： Waymo Open數(shù)據(jù)集由兩個(gè)數(shù)據(jù)集組成，具有高分辨率傳感器數(shù)據(jù)和用于2,030片段的標(biāo)簽的感知數(shù)據(jù)集，以及具有對(duì)象軌跡和用于103,354片段的相應(yīng)3D地圖的運(yùn)動(dòng)數(shù)據(jù)集。2022年4月，我們擴(kuò)展了感知數(shù)據(jù)集，以包括關(guān)鍵點(diǎn)標(biāo)簽，2d到3D關(guān)聯(lián)標(biāo)簽，3D語義分割標(biāo)簽以及針對(duì)3D攝像機(jī)檢測挑戰(zhàn)的新測試集。2022年6月，我們擴(kuò)展了感知數(shù)據(jù)集，以包括2D視頻全景分割標(biāo)簽。本數(shù)據(jù)集包含Motion的V1.1版本，Perception v1.4.0版本。
● 下載地址： https://opendatalab.org.cn/Waymo
● 論文地址： https://openaccess.thecvf.com/content_CVPR_2020/papers/Sun_Scalability_in_Perception_for_Autonomous_Driving_Waymo_Open_Dataset_CVPR_2020_paper.pdf
● 發(fā)布方：Google · Waymo LLC
● 發(fā)布時(shí)間：2023
● 簡介： 這個(gè)數(shù)據(jù)集包含了Motion v1.2，添加了激光雷達(dá)數(shù)據(jù)和車道。將 tf_examples 中的最大地圖點(diǎn)數(shù)增加到 30k，并將采樣減少到 1.0m 以增加地圖覆蓋范圍，因此覆蓋范圍與場景原型格式的數(shù)據(jù)集相等。
● 下載地址： https://opendatalab.org.cn/Waymo_Motion_Dataset_v1.2
● 發(fā)布方：APTIV Company
● 發(fā)布時(shí)間：2020
● 簡介： nuScenes數(shù)據(jù)集是一個(gè)大規(guī)模的自動(dòng)駕駛數(shù)據(jù)集。該數(shù)據(jù)集具有用于在波士頓和新加坡收集的1000場景的3D邊界框。每個(gè)場景長20秒，注釋為2Hz。這導(dǎo)致總共28130個(gè)用于訓(xùn)練的樣本，6019個(gè)用于驗(yàn)證的樣本和6008個(gè)用于測試的樣本。該數(shù)據(jù)集具有完整的自動(dòng)駕駛車輛數(shù)據(jù)套件: 32光束激光雷達(dá)，6個(gè)攝像頭和具有完整360 ° 覆蓋的雷達(dá)。3D對(duì)象檢測挑戰(zhàn)評(píng)估10個(gè)類別的性能: 汽車，卡車，公共汽車，拖車，建筑車輛，行人，摩托車，自行車，交通錐和障礙物。
● 下載地址： https://opendatalab.org.cn/nuScenes
● 論文地址： https://arxiv.org/pdf/1903.11027v5.pdf
● 發(fā)布方：達(dá)姆施塔特工業(yè)大學(xué) · 馬克斯普朗克信息學(xué)研究所
● 發(fā)布時(shí)間：2016
● 簡介： Cityscapes是一個(gè)大型數(shù)據(jù)庫，專注于對(duì)城市街道場景的語義理解。它為分為8個(gè)類別 (平面，人類，車輛，構(gòu)造，對(duì)象，自然，天空和虛空) 的30個(gè)類提供語義，實(shí)例和密集的像素注釋。數(shù)據(jù)集由大約5000個(gè)精細(xì)注釋圖像和20000個(gè)粗糙注釋圖像組成。在幾個(gè)月，白天和良好的天氣條件下，在50個(gè)城市中捕獲了數(shù)據(jù)。它最初被記錄為視頻，因此手動(dòng)選擇幀以具有以下功能: 大量動(dòng)態(tài)對(duì)象，不同的場景布局和不同的背景。
● 下載地址： https://opendatalab.org.cn/CityScapes
● 論文地址： https://arxiv.org/pdf/1604.01685v2.pdf
● 發(fā)布方：亞琛工業(yè)大學(xué)
● 發(fā)布時(shí)間：2020
● 簡介： 該數(shù)據(jù)集包含兩個(gè)合成的、語義分割的道路場景圖像子集，它們是為開發(fā)和應(yīng)用論文“A Sim2Real Deep Learning Approach for the Transformation of Images from Multiple Vehicle-Mounted Cameras to a Semantically Segmented”中描述的方法而創(chuàng)建的。該數(shù)據(jù)集可以通過 Github 上描述的 Cam2BEV 方法的官方代碼實(shí)現(xiàn)來使用。
● 下載地址： https://opendatalab.org.cn/Cam2BEV
● 論文地址： https://arxiv.org/pdf/2005.04078v1.pdf
● 發(fā)布方：Lyft
● 發(fā)布時(shí)間：2020
● 簡介： 該數(shù)據(jù)集包括我們的自動(dòng)車隊(duì)遇到的汽車，騎自行車的人，行人和其他交通代理的運(yùn)動(dòng)日志。這些日志來自通過我們團(tuán)隊(duì)的感知系統(tǒng)處理原始激光雷達(dá)、攝像機(jī)和雷達(dá)數(shù)據(jù)，非常適合訓(xùn)練運(yùn)動(dòng)預(yù)測模型。該數(shù)據(jù)集由捕獲自動(dòng)駕駛車輛周圍環(huán)境的170,000場景組成。每個(gè)場景都會(huì)編碼給定時(shí)間點(diǎn)車輛周圍的狀態(tài)。 該基線解決方案對(duì)來自包含在數(shù)據(jù)集內(nèi)的代理位置的200萬多個(gè)樣本進(jìn)行訓(xùn)練。該模型一次預(yù)測單個(gè)代理。首先，柵格生成一個(gè)鳥瞰圖 (BEV) 自頂向下的柵格，該柵格對(duì)所有代理和地圖進(jìn)行編碼。網(wǎng)絡(luò)根據(jù)此柵格推斷代理的未來坐標(biāo)。
● 下載地址： https://opendatalab.org.cn/Lyft_Level_5_Prediction
● 論文地址： https://arxiv.org/pdf/2006.14480v2.pdf
● 發(fā)布方：香港大學(xué)
● 發(fā)布時(shí)間：2022
● 簡介： Deepconcident數(shù)據(jù)集是第一個(gè)用于自動(dòng)駕駛的大規(guī)模事故數(shù)據(jù)集，該數(shù)據(jù)集包含全面的傳感器集，并支持各種自動(dòng)駕駛?cè)蝿?wù)。值得注意的是，對(duì)于我們設(shè)計(jì)的每個(gè)場景，我們都有四個(gè)數(shù)據(jù)收集工具，其中兩個(gè)設(shè)計(jì)用于相互碰撞，另外兩個(gè)分別跟隨。因此，deep事故還可以支持多車輛合作自動(dòng)駕駛。(1) 各種事故場景，每種情況下的四種數(shù)據(jù)收集車輛提供不同的視角，并實(shí)現(xiàn)多車輛協(xié)作自動(dòng)駕駛。(2) 131k帶注釋的激光雷達(dá)樣本 (3倍nuScenes) 和791k帶注釋的帶有細(xì)粒度對(duì)象注釋的攝像機(jī)圖像 (總共六個(gè)類別: 汽車，貨車，卡車，行人，騎自行車的人，摩托車)。(3) 支持許多任務(wù): 3D物體檢測和跟蹤 (基于激光雷達(dá)、基于多視圖圖像和基于單目圖像) 、BEV語義和實(shí)例分割 (基于多視圖圖像) 、運(yùn)動(dòng)預(yù)測。(4) 各種場景發(fā)生的地方、天氣、一天中的時(shí)間。
● 下載地址： https://opendatalab.org.cn/DeepAccident
● 發(fā)布方：卡內(nèi)基梅隆大學(xué)
● 發(fā)布時(shí)間：2021
● 簡介： 全傳感器套件 (3倍激光雷達(dá)、1倍SPAD激光雷達(dá)、4倍雷達(dá)、5倍RGB、5倍深度相機(jī)、IMU、全球定位系統(tǒng)) 高密度遠(yuǎn)距離激光雷達(dá)點(diǎn)云 來自SPAD-LiDAR的多回波點(diǎn)云 每個(gè)具有1000幀 (100 s) 的100序列 不包括車禍和違反交通規(guī)則在內(nèi)的分布數(shù)據(jù) 用于5個(gè)攝像機(jī)視點(diǎn)的500,000注釋圖像 每個(gè)LiDAR/雷達(dá)傳感器的100,000個(gè)帶注釋的幀 26M 2D/3D邊界框精確注釋為4個(gè)對(duì)象類別 (汽車、騎自行車的人、摩托車、行人) 跨時(shí)間注釋對(duì)象身份以形成軌跡 對(duì)象屬性，如截?cái)?遮擋百分比、角和線速度、加速度、制動(dòng)、轉(zhuǎn)向、油門 順序點(diǎn)云泛光分割: 為所有序列中的23個(gè)語義類注釋的所有點(diǎn); 屬于前景對(duì)象的點(diǎn)也為唯一實(shí)例類注釋。 視頻全景分割: 為所有視頻中的23個(gè)語義類注釋的所有像素。屬于前景對(duì)象的像素也被注釋為一個(gè)唯一的實(shí)例類。 可免費(fèi)用于非商業(yè)和商業(yè)用途。
● 下載地址： https://opendatalab.org.cn/AIOdrive
● 論文地址： https://www.xinshuoweng.com/papers/AIODrive/arXiv.pdf
● 發(fā)布方：奧迪
● 發(fā)布時(shí)間：2020
● 簡介： 我們已經(jīng)發(fā)布了奧迪自動(dòng)駕駛數(shù)據(jù)集 (A2D2)，以支持從事自動(dòng)駕駛的初創(chuàng)公司和學(xué)術(shù)研究人員。為車輛配備多模式傳感器套件，記錄大型數(shù)據(jù)集并對(duì)其進(jìn)行標(biāo)記是耗時(shí)且費(fèi)力的。我們的數(shù)據(jù)集消除了這種高進(jìn)入壁壘，并使研究人員和開發(fā)人員可以專注于開發(fā)新技術(shù)。數(shù)據(jù)集具有2D語義分割，3D點(diǎn)云，3D邊界框和車輛總線數(shù)據(jù)。
● 下載地址： https://opendatalab.org.cn/A2D2
● 論文地址： https://arxiv.org/pdf/2004.06320.pdf
● 發(fā)布方：普渡大學(xué) · 美國沃爾沃汽車技術(shù)公司 · Luminar Technologies
● 發(fā)布時(shí)間：2020
● 簡介： Cirrus數(shù)據(jù)集包含6,285對(duì)RGB、LiDAR高斯和LiDAR均勻幀。Cirrus已在整個(gè)250米激光雷達(dá)有效范圍內(nèi)為八個(gè)對(duì)象類別 (如下所述) 進(jìn)行了注釋。它包括高速公路和低速城市道路場景。所有圖像都經(jīng)過了匿名化過程，模糊了人臉和車牌，以消除個(gè)人身份信息。
● 下載地址： https://opendatalab.org.cn/Cirrus
● 論文地址： https://arxiv.org/pdf/2012.02938.pdf
● 發(fā)布方：卡內(nèi)基梅隆大學(xué)
● 發(fā)布時(shí)間：2018
● 簡介： 從寬基線、未校準(zhǔn)和非同步的相機(jī)中觀察到的多個(gè)動(dòng)態(tài)剛性物體（例如車輛）的快速準(zhǔn)確的 3D 重建具有挑戰(zhàn)性。一方面，特征跟蹤在每個(gè)視圖中都能很好地工作，但由于視野重疊有限或由于遮擋，很難在多個(gè)攝像機(jī)之間進(jìn)行對(duì)應(yīng)。另一方面，深度學(xué)習(xí)的進(jìn)步導(dǎo)致強(qiáng)大的檢測器可以跨不同的視點(diǎn)工作，但對(duì)于基于三角剖分的重建仍然不夠精確。在這項(xiàng)工作中，我們開發(fā)了一個(gè)框架來融合單視圖特征軌跡和多視圖檢測到的部分位置，以顯著改善移動(dòng)車輛的檢測、定位和重建，即使在存在強(qiáng)遮擋的情況下也是如此。我們通過重建 3 分鐘窗口內(nèi)通過的 40 多輛車輛，在繁忙的交通路口展示了我們的框架。
● 下載地址： https://opendatalab.org.cn/CarFusion
● 論文地址： http://openaccess.thecvf.com/content_cvpr_2018/papers/Reddy_CarFusion_Combining_Point_CVPR_2018_paper.pdf
● 發(fā)布方：Motional
● 發(fā)布時(shí)間：2021
● 簡介： nuPlan是世界上第一個(gè)自動(dòng)駕駛的大型規(guī)劃基準(zhǔn)。盡管越來越多的基于ML的運(yùn)動(dòng)計(jì)劃人員，但缺乏已建立的數(shù)據(jù)集，仿真框架和指標(biāo)限制了該領(lǐng)域的進(jìn)展。用于自動(dòng)駕駛車輛運(yùn)動(dòng)預(yù)測的現(xiàn)有基準(zhǔn) (Argoverse，Lyft，Waymo) 集中在其他代理的短期運(yùn)動(dòng)預(yù)測上，而不是自我車輛的長期計(jì)劃。這導(dǎo)致以前的工作使用具有L2-based指標(biāo)的開環(huán)評(píng)估，這些指標(biāo)不適合公平評(píng)估長期計(jì)劃。我們的基準(zhǔn)測試通過提供培訓(xùn)框架來開發(fā)基于機(jī)器學(xué)習(xí)的計(jì)劃者，輕量級(jí)閉環(huán)模擬器，特定于運(yùn)動(dòng)計(jì)劃的指標(biāo)以及可視化結(jié)果的交互式工具，克服了這些限制。
● 下載地址： https://opendatalab.org.cn/nuPlan-v1
● 論文地址： https://arxiv.org/pdf/2106.11810.pdf
● 發(fā)布方：Motional
● 發(fā)布時(shí)間：2021
● 簡介： nuPlan v1.1 數(shù)據(jù)集對(duì) v1.0 數(shù)據(jù)集進(jìn)行了多項(xiàng)改進(jìn)——場景標(biāo)記頻率顯著增加，場景標(biāo)記性能得到改進(jìn)，交通燈標(biāo)簽和計(jì)劃路線現(xiàn)在更加準(zhǔn)確。有關(guān)如何開始的信息，請參閱位于http://github.com/motional/nuplan-devkit的開發(fā)工具包。
● 下載地址： https://opendatalab.org.cn/nuPlan-v1.1
● 發(fā)布方：浙江大學(xué) · 倫敦帝國理工學(xué)院 · 百度
● 發(fā)布時(shí)間：2018
● 簡介： Q-Traffic 是一個(gè)大規(guī)模的交通預(yù)測數(shù)據(jù)集，由三個(gè)子數(shù)據(jù)集組成：查詢子數(shù)據(jù)集、交通速度子數(shù)據(jù)集和路網(wǎng)子數(shù)據(jù)集。
● 下載地址： https://opendatalab.org.cn/Q-Traffic
● 論文地址： https://arxiv.org/pdf/1806.07380v1.pdf
● 發(fā)布方：馬克斯普朗克智能系統(tǒng)研究所 · 伊利諾伊大學(xué)厄巴納香檳分校
● 發(fā)布時(shí)間：2022
● 簡介： TransFuser: 模仿基于變壓器的傳感器融合用于自動(dòng)駕駛，用于端到端自動(dòng)駕駛的多模態(tài)融合變壓器 為了生成基于交叉點(diǎn)的方案的路線，我們檢查通過生成的方案有效的交叉點(diǎn)的所有遍歷，并包括這些用于訓(xùn)練。在8個(gè)公共城鎮(zhèn)地圖上，我們通過交叉路口獲得了大約2500條這樣的路線。這些路線的平均長度為100m。由于其他情況，我們的數(shù)據(jù)集中有大量的交叉路口，因此我們沿著彎曲的高速公路收集場景1和3的數(shù)據(jù)。大約有500條這樣的路線。平均路線長度為400m，并且該場景在路線的中間產(chǎn)生。最后，由于更改車道具有挑戰(zhàn)性，因此我們提取了類似于場景1和場景3的彎曲路線，但包括沿路線而不是CARLA場景的車道更改。大約有500條車道變更路線，平均長度為400m。每條這樣的路線都有2個(gè)車道變更，一個(gè)在起點(diǎn)，一個(gè)在中途點(diǎn)。
● 下載地址： https://opendatalab.org.cn/transfuser_carla
● 論文地址： https://arxiv.org/pdf/2205.15997.pdf
● 發(fā)布方：賓夕法尼亞大學(xué)
● 發(fā)布時(shí)間：2019
● 簡介： Multi Vehicle Stereo Event Camera (MVSEC) 數(shù)據(jù)集是一組數(shù)據(jù)，旨在為基于事件的攝像機(jī)開發(fā)新穎的 3D 感知算法。立體事件數(shù)據(jù)從汽車、摩托車、六軸飛行器和手持?jǐn)?shù)據(jù)中收集，并與激光雷達(dá)、IMU、運(yùn)動(dòng)捕捉和 GPS 融合，以提供地面真實(shí)姿態(tài)和深度圖像。
● 下載地址： https://opendatalab.org.cn/MVSEC
● 論文地址： https://arxiv.org/pdf/1801.10202v2.pdf
● 發(fā)布方：密歇根大學(xué) · 福特汽車公司研究
● 發(fā)布時(shí)間：2020
● 簡介： 我們提供了一個(gè)基于改裝的福特F-250皮卡的自主地面車輛試驗(yàn)臺(tái)收集的數(shù)據(jù)集。該車輛配備了專業(yè) (Applanix POS LV) 和消費(fèi)者 (Xsens mti-g) 慣性測量單元 (IMU)，Velodyne 3D-lidar掃描儀，兩個(gè)推掃帚前視Riegl激光雷達(dá)和一個(gè)Point Grey Ladybug3全向攝像機(jī)系統(tǒng)。在這里，我們提供了來自安裝在車輛上的這些傳感器的時(shí)間記錄數(shù)據(jù)，這些數(shù)據(jù)是在2009年11月到12月期間在福特研究園區(qū)和密歇根州迪爾伯恩市中心駕駛車輛時(shí)收集的。這些數(shù)據(jù)集中的車輛路徑軌跡包含幾個(gè)大型和小型環(huán)路閉合，這對(duì)于測試各種最先進(jìn)的計(jì)算機(jī)視覺和SLAM (同時(shí)定位和映射) 算法應(yīng)該是有用的。數(shù)據(jù)集的大小很大 (約100 GB)，因此在下載數(shù)據(jù)集之前，請確保您有足夠的帶寬。
● 下載地址： https://opendatalab.org.cn/Ford
● 論文地址： https://arxiv.org/pdf/2003.07969.pdf
● 發(fā)布方：羅徹斯特理工學(xué)院
● 發(fā)布時(shí)間：2020
● 簡介： 收集車禍數(shù)據(jù)集 (CCD) 用于交通事故分析。它包含由安裝在駕駛車輛上的行車記錄儀拍攝的真實(shí)交通事故視頻，這對(duì)于開發(fā)有安全保障的自動(dòng)駕駛系統(tǒng)至關(guān)重要。 CCD 區(qū)別于現(xiàn)有數(shù)據(jù)集，用于多樣化的事故注釋，包括環(huán)境屬性（白天/夜晚、下雪/下雨/良好的天氣條件）、是否涉及自我車輛、事故參與者和事故原因描述。
● 下載地址： https://opendatalab.org.cn/CCD
● 論文地址： https://arxiv.org/pdf/2008.00334v1.pdf
● 發(fā)布方：哈佛大學(xué) · 富士通研究所 · CBMM & MIT · 麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室
● 發(fā)布時(shí)間：2021
● 簡介： 我們引入了一個(gè)具有挑戰(zhàn)性的新數(shù)據(jù)集，用于同時(shí)進(jìn)行對(duì)象類別和視點(diǎn)分類——Biased-Cars 數(shù)據(jù)集。我們的數(shù)據(jù)集具有照片般逼真的戶外場景數(shù)據(jù)，可對(duì)場景雜亂（樹木、街道設(shè)施和行人）、汽車顏色、對(duì)象遮擋、不同背景（建筑物/道路紋理）和照明條件（天空地圖）進(jìn)行精細(xì)控制。 Biased-Cars 由 5 種不同汽車模型的 15K 圖像組成，這些圖像是從多個(gè)尺度的 0-90 度方位角和 0-50 度天頂角之間變化的視點(diǎn)看到的。我們的數(shù)據(jù)集提供了對(duì)類別、視點(diǎn)和其他場景參數(shù)的聯(lián)合分布的完全控制，并且使用基于物理的渲染確保了照片的真實(shí)感。
● 下載地址： https://opendatalab.org.cn/Biased-Cars
● 論文地址： https://arxiv.org/pdf/2007.08032v3.pdf
● 發(fā)布方：弗吉尼亞大學(xué) · 伊利諾伊大學(xué)厄巴納香檳分校 · 萊斯大學(xué)
● 發(fā)布時(shí)間：2021
● 簡介： EyeCar數(shù)據(jù)集包含來自20名參與者的3.5小時(shí)凝視行為（匯總和原始），以及超過315，000個(gè)追尾碰撞視頻幀。它包含 21 個(gè)在各種交通、天氣和日光條件下拍攝的前視視頻。每個(gè)視頻長度為 30 秒，包含典型的駕駛?cè)蝿?wù)（例如，車道保持、并入和制動(dòng)），以結(jié)束追尾碰撞。
● 下載地址： https://opendatalab.org.cn/EyeCar
● 論文地址： https://arxiv.org/pdf/1912.07773v4.pdf
● 發(fā)布方：香港中文大學(xué) · 加州大學(xué)
● 發(fā)布時(shí)間：2022
● 簡介： 我們從YouTube上抓取第一視圖駕駛視頻。收集總長度超過120小時(shí)的134視頻。如圖1所示，這些視頻涵蓋了具有各種天氣條件 (晴天，雨天，下雪等) 和區(qū)域 (農(nóng)村和城市地區(qū)) 的不同駕駛場景。我們每一秒鐘采樣一個(gè)幀，得到130萬幀的數(shù)據(jù)集。我們將YouTube駕駛數(shù)據(jù)集分為具有70% 數(shù)據(jù)的訓(xùn)練集和具有30% 數(shù)據(jù)的測試集，并在訓(xùn)練集上進(jìn)行ACO的訓(xùn)練。
● 下載地址： https://opendatalab.org.cn/YouTube_Driving_Dataset
● 論文地址： https://arxiv.org/pdf/2204.02393.pdf
