• 목록

Q-learning-based route-guidance and vehicle assignment for OHT systems in semiconductor fabs
 

본 연구에서는 반도체 제조 시설(팹, FAB)에서 사용되는 자동화 물류 처리 시스템인 OHT(Overhead Hoist Transport)의 경로 설정 및 작업 배정에 대한 강화 학습 기반 알고리즘을 제시한다. 팹의 규모가 증가함에 따라, 팹 내에서 운영되는 OHT의 수도 증가한다. 현재 산업에서 일반적으로 사용되는 OHT 경로 설정 알고리즘은 최단 경로 탐색을 위한 수학적 최적화 기반 알고리즘이지만, 1,000대 이상의 OHT를 운영하는 대규모 팹에서는 해당 알고리즘이 비효율적인 것으로 입증되었다.

본 연구에서는 OHT 경로 설정 및 작업 배정을 위한 강화 학습 기반 알고리즘인 Q-러닝을 소개한다. Q-러닝은 OHT 시스템의 전체적인 혼잡도와 교통 상태를 고려하여 경로를 동적으로 재설정하고 작업을 배정한다. 실제 팹 규모와 동일한 환경에서의 실험을 통해 Q-러닝 기존 최적화 기반 알고리즘보다 더 효과적임을 확인하였으며, OHT 레일 레이아웃 설계에서도 더 효율적인 성과를 보였다.

We present a reinforcement learning-based algorithm for route guidance and vehicle assignment of an overhead hoist transport system, a typical form of automated material handling system in semiconductor fabrication facilities (fabs). As the size of the fab increases, so does the number of vehicles required to operate in the fab. The algorithm most commonly used in industry, a mathematical optimization-based algorithm that constantly seeks the shortest routes, has been proven ineffective in dealing with fabs operating around 1,000 vehicles or more. In this paper, we introduce Q-learning, a reinforcement learning-based algorithm for route guidance and vehicle assignment. Q-learning dynamically reroutes the vehicles based on the congestion and traffic conditions. It also assigns vehicles to tasks based on the overall congestion of the track. We show that the proposed algorithm is considerably more effective than the existing algorithm in an actual fab-scale experiment. Moreover, we illustrate that the Q-learning-based algorithm is more effective in designing the track layouts.

* URL: https://ieeexplore.ieee.org/abstract/document/9185357