一般來說，進(jìn)行車牌識(shí)別的理論基礎(chǔ)是圖像分割和圖像識(shí)別理論：首先對(duì)含有車輛號(hào)牌的圖像進(jìn)行分析處理，從而確定牌照在圖像中的位置，并把牌照區(qū)域提取出來，再進(jìn)一步識(shí)別上面的文本字符。車牌識(shí)別過程包括圖像采集、預(yù)處理、車牌定位、字符分割、字符識(shí)別、結(jié)果輸出等一系列算法運(yùn)算，其運(yùn)行流程如下圖所示:

　　一、圖像采集

　　圖像采集方式分為靜態(tài)與動(dòng)態(tài)兩種：靜態(tài)采集依靠地感線圈、紅外或雷達(dá)等裝置，當(dāng)有車輛通過時(shí)這些裝置時(shí)相機(jī)會(huì)接到一個(gè)觸發(fā)信號(hào)，從而立刻抓拍一張圖像，該方法的優(yōu)點(diǎn)是觸發(fā)率高，性能穩(wěn)定，缺點(diǎn)是需要切割地面鋪設(shè)線圈，施工量大。

　　動(dòng)態(tài)采集則是在實(shí)時(shí)視頻模式下進(jìn)行，不需要其他感應(yīng)裝置給相機(jī)發(fā)送任何觸發(fā)信號(hào)，完全依靠算法從實(shí)時(shí)的視頻流圖像中采集車輛信息，該方法的優(yōu)點(diǎn)是施工方便，不需要安裝其他感應(yīng)裝置或零部件。但其缺點(diǎn)也十分顯著，由于算法的限制，動(dòng)態(tài)采集的觸發(fā)率與識(shí)別率較靜態(tài)采集要稍低一些。

　　二、預(yù)處理

　　相機(jī)拍攝的圖像經(jīng)常受光照、天氣、相機(jī)位置等因素的影響，所以在獲取到車輛圖像后先要對(duì)其做一些預(yù)處理，以保證得到車牌最清晰的圖像。預(yù)處理可以在兩個(gè)環(huán)節(jié)中進(jìn)行，一是在架設(shè)相機(jī)時(shí)就根據(jù)現(xiàn)場環(huán)境提前設(shè)置好相機(jī)的屬性參數(shù)，比如設(shè)置相機(jī)為自動(dòng)曝光處理、自動(dòng)白平衡處理、自動(dòng)逆光處理、自動(dòng)過爆處理等。

　　二是圖像拍攝完畢后對(duì)其進(jìn)行噪聲過濾、對(duì)比度增強(qiáng)、圖像縮放等處理。常用的去噪方法有均值濾波、中值濾波和高斯濾波等；常用的增強(qiáng)對(duì)比度的方法有對(duì)比度線性拉伸、直方圖均衡和同態(tài)濾波器等；常用的圖像縮放的主要方法有最近鄰插值法、雙線性插值法和立方卷積插值等。預(yù)處理過程較為關(guān)鍵，處理效果的好壞直接影響后面車牌識(shí)別的精度。

　　三、車牌定位

　　對(duì)于簡單的車牌識(shí)別而言，我們只需要車牌部分的長方形圖像就夠了，其他部分的圖像可有可無，因此從整個(gè)圖像中準(zhǔn)確地檢測出車牌區(qū)域顯得十分重要，如果提取錯(cuò)誤或提取不完整，會(huì)直接導(dǎo)致最終識(shí)別失敗。

　　車牌定位方法一般會(huì)依據(jù)牌照紋理特征、顏色特征和形狀特征等信息，采用投影分析、連通域分析、機(jī)器學(xué)習(xí)等算法檢測車牌。投影分析方法根據(jù)車牌字符與背景交替出現(xiàn)的次數(shù)相比于其他部分要多這個(gè)特征，通過圖像在水平和垂直方向的投影分析來定位車牌。

　　連通域分析根據(jù)車牌中的每個(gè)字符都是一個(gè)連通域且這些連通域的結(jié)構(gòu)和顏色都一致的特征，通過檢測并合并這些連通域來定位車牌。

　　機(jī)器學(xué)習(xí)算法使用從很多個(gè)車牌樣本中提取出來的特征把一個(gè)弱分類器訓(xùn)練成一個(gè)強(qiáng)分類器，從而定位出圖像中的車牌區(qū)域。但由于實(shí)時(shí)道路上的環(huán)境背景十分復(fù)雜，且不可能所有的車牌圖像都很清晰，所以很容易把類似的長方形道路設(shè)施識(shí)別成車牌，因此有效的排除偽車牌、提高定位的準(zhǔn)確率和提高識(shí)別速度一直是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)難點(diǎn)。

　　四、車牌校正

　　由于受拍攝角度等因素的影響，圖像中的車牌難免存在各種各樣變形的情況，為了不給后面的識(shí)別過程帶來麻煩，需要對(duì)提取出來的車牌區(qū)域進(jìn)行校正處理，去除車牌邊框等噪聲，有利于字符識(shí)別。

　　目前常用校正方法有：Hough變換法，即通過檢測車牌上下、左右邊框直線以及長度比來計(jì)算傾斜角度；旋轉(zhuǎn)投影法，即通過按不同角度將圖像在水平軸上進(jìn)行垂直投影，其投影值為0的點(diǎn)數(shù)之和最大時(shí)的角度即為垂直傾斜角度，水平角度的計(jì)算方法與其相似；主成分分析法，根據(jù)車牌背景與字符交界處的顏色具有固定搭配這一特征、求出顏色對(duì)特征點(diǎn)的主成分方向即為車牌的水平傾斜角度。

　　五、字符分割

　　提取出車牌區(qū)域后，需要再對(duì)車牌區(qū)域以一個(gè)字符為單位進(jìn)行分割，目的是為了弄清楚車牌中總共有幾個(gè)字符、字符間的位置關(guān)系等信息，保證車牌類型匹配和字符識(shí)別正確。

　　該過程的主要思路是，基于車牌的二值化結(jié)果或邊緣提取結(jié)果，利用字符的結(jié)構(gòu)特征、字符間的相似性、字符間間隔等信息，一方面把單個(gè)字符分別提取出來，也包括粘連和斷裂字符等特殊情況的處理；另一方面把寬、高相似的字符歸為一類從而去除車牌邊框以及一些小的噪聲。一般采用的算法有:連通域分析、投影分析，字符聚類和模板匹配等。

　　六、字符識(shí)別

　　對(duì)分割后的字符的灰度圖像進(jìn)行歸一化處理，特征提取，然后經(jīng)過機(jī)器學(xué)習(xí)或與字符數(shù)據(jù)庫模板進(jìn)行匹配，最后選取匹配度最高的結(jié)果作為識(shí)別結(jié)果，易混淆字符包括：0與D、0與Q、2與Z、8與B、5與S、6與G、4與A等。

　　常用的字符識(shí)別算法包括：模板匹配法、人工神經(jīng)網(wǎng)絡(luò)法、支持向量機(jī)法和Adaboost分類法等。模板匹配法的優(yōu)點(diǎn)是識(shí)別速度快、方法簡單，缺點(diǎn)是對(duì)斷裂、污損等情況的處理有一些困難；人工神經(jīng)網(wǎng)絡(luò)法學(xué)習(xí)能力強(qiáng)、適應(yīng)性強(qiáng)、分類能力強(qiáng)但比較耗時(shí)。

　　支持向量機(jī)法對(duì)于未見過的測試樣本具有更好的識(shí)別能力且需要較少的訓(xùn)練樣本；Adaboost分類法能側(cè)重于比較重要的訓(xùn)練數(shù)據(jù)，識(shí)別速度快、實(shí)時(shí)性較高。我國車牌由漢字、英文字母和阿拉伯?dāng)?shù)字3種字符組成，且具有統(tǒng)一的樣式，這也是識(shí)別過程的方便之處。

　　七、車牌結(jié)果輸出

　　將車牌識(shí)別結(jié)果以文本格式輸出，包括車牌號(hào)，車牌顏色，車牌類型等。