交通信號控制是緩解交通擁堵、提高出行效率和減少安全事故的重要手段。固定配時方法是交通信號控制系統常用的控制算法,其缺點在于難以根據實時的交通流實現紅綠燈信號的自由切換,增加不必要的等待時間。因此尋求更加高效、智能的交通信號控制方法愈加受到研究者的關注。由于交通控制系統是一個復雜的不確定系統,并具有非線性結構,傳統的自適應方法雖然頗有成效,但還是難以適應多變的交通流,對交通模型依賴嚴重。而強化學習方法不需要建立交通模型,而是通過路口控制器與交通環境的不斷交互與學習,實現控制方案的改善。本文將交通信號控制系統當成由單個交叉口信號控制器Agent組成的多智能體系統,并引入強化學習方法實現城市路網交通信號控制。對路網的最小控制單元,即單交叉路口的研究是實現區域交通控制的基礎。當前科技的迅速發展使得交通數據的收集更加便捷,為了充分使用收集的交通數據,引入深度強化學習算法實現交叉口的實時控制,并提出了一種新的狀態空間設計方法。解決了傳統強化學習方法難以應用到狀態空間較大或連續系統中的弊病。并使用深度強化學習算法在微觀交通仿真軟件SUMO中對單個路口進行仿真,實驗結果驗證了該方法的有效性。在單交叉口信...

【文章頁數】：67 頁

【學位級別】：碩士

【部分圖文】：

圖3.10每個步長累積獎賞值

第三章深度強化學習在單交叉口控制中的應用27圖3.9一個步長中車輛到達率分布情況SUMO中車輛進入路網的個數和路徑都需要人為設定，即仿真前要定義路由文件，路由文件對最終仿真的影響比較大，車流量的不同最終訓練的結果差異也很大，本文使用動態交通流對交叉路口進行訓練，使得交叉口最終學習....

圖4.9三交叉口干道仿真路網仍然采用SUMO作為仿真平臺，交叉口分別記為intersection1、intersection2、

第四章區域交通信號協調控制45表4.2NashQ學習算法更新過程NashQ學習算法1：對S×A1×A2中的112(,,)tQsaa和212(,,)tQsaa賦初值2：對所有的Agenti2：設定初始狀態S03：交叉口分別選取動作1ta和動作2ta，動作的選取同樣遵循ε貪心法，即以....

圖4.10每個周期中車輛的到達率分布情況

東南大學碩士學位論文46圖4.10每個周期中車輛的到達率分布情況則使用NashQ學習算法實現交叉口控制時，每周期的車輛總體延遲曲線如圖4.11所示。圖4.11NashQ學習算法與定時控制算法總體延遲時間比較由圖可以看出，雖然交叉口intersection1可能并未達到自身狀態的最....

圖4.11NashQ學習算法與定時控制算法總體延遲時間比較

東南大學碩士學位論文46圖4.10每個周期中車輛的到達率分布情況則使用NashQ學習算法實現交叉口控制時，每周期的車輛總體延遲曲線如圖4.11所示。圖4.11NashQ學習算法與定時控制算法總體延遲時間比較由圖可以看出，雖然交叉口intersection1可能并未達到自身狀態的最....

本文編號：4049536