현재 한국어로 정식 발매되지 않은 게임을 즐기는 방법은, 유저 번역 패치가 나올 때까지 기다리거나 자동 번역기를 사용하는 방법이 있습니다. 유저 번역 패치의 경우 게임 발매 이후 번역까지 시간이 오래 걸리며, 마이너한 게임이라면 번역 패치 자체가 제공되지 않는 경우도 많습니다. 자동 번역기를 사용하는 경우, 특정 엔진을 사용하는 게임에만 적용 가능하거나, 번역 결과가 별도의 공간에 표시되어 불편함을 겪는 경우가 많습니다. 이러한 불편함을 개선하기 위해, 실시간 번역을 지원하면서도 번역 결과를 바로 원본 텍스트 위에 겹쳐 표시하여, 번역 결과를 보기 위해 시선을 다른 곳으로 돌릴 필요가 없는 번역기를 개발하고자 합니다. 

첫번째,  실시간 번역

stepfun-ai/GOT-OCR2_0 모델을 이용해 게임화면의 텍스트를 인식하고, 인식한 텍스트를 Cloud Translation API를 이용해 번역합니다.

두번째,  가장 비슷한 폰트 탐색

Hugging Face에서 공개 되어있는 stepfun-ai/GOT-OCR2_0 모델을 이용해 인식한 텍스트와 가장 유사한 폰트를 탐색하고 번역된 텍스트에 적용합니다.

세번째,  번역된 문장을 원본 문장 위에 겹쳐 표시

별도의 번역 결과창을 두지 않고 번역된 결과를 원본이 되는 문장 위에 바로 겹쳐 표시해, 사용자가 게임 화면과 번역창을 번갈아보는 불편함을 겪지 않도록 합니다.

https://huggingface.co/stepfun-ai/GOT-OCR2_0  - OCR 이미지 인식 모델

https://github.com/JeffersonQin/YuzuMarker.FontDetection  - 폰트 탐색 모델

Cloud Translation API - 번역 API (Text-to-Text)  

https://github.com/zyddnys/manga-image-translator

https://github.com/JollyToday/AI_Image_Translator_Translate_Images