【Python】スクショ画像を文字認識して翻訳するツールを作ってみた！【Tesseract ×Googletrans】

pip install Pillow
pip install pyocr
pip install googletrans
pip install watchdog
brew install tcl-tk
brew install tesseract

from PIL import Image
import pyocr.builders
from googletrans import Translator
from watchdog.events import FileSystemEventHandler
from watchdog.observers import Observer
import tkinter as tk
import os
import time
import sys
import queue


#########################
# スクショ翻訳クラス
#########################
class TransScreenShot(tk.Frame):

    def __init__(self, master=None):
        super().__init__(master)

        ###############
        # 環境変数
        ###############
        # 監視フォルダパス
        self.watch_path = "【スクリーンショット保存パス】"
        # 変換言語（英語->日本語）
        self.lang_trans_from = "de"
        self.lang_trans_to = "ja"
        # OCR読込言語（英語）
        self.lang_read_from = "eng"

        ###############
        # 変数
        ###############
        self.queue = queue.Queue()

        ###############
        # Tkウィジェット設定
        ###############
        self.master = master
        self.master.title("スクショ翻訳くん")
        self.master.bind("<Destroy>", self.shutdown)
        self.master.bind("<<WatchdogEvent>>", self.handle_watchdog_event)
        self.pack()
        # 変換前テキスト
        self.from_text_label = tk.Label(self, text=u"【翻訳前】(英語)")
        self.from_text_widget = tk.Text(self, width=70, height=15)
        # 変換後テキスト
        self.to_text_label = tk.Label(self, text=u"【翻訳後】(日本語)")
        self.to_text_widget = tk.Text(self, width=70, height=15)
        # 翻訳ボタン
        self.trans_button = tk.Button(self, text=u"翻訳", command=self.do_trans_txt, width=20, height=2)
        # レイアウト設定
        self.create_widgets()

        ###############
        # WatchDog設定
        ###############
        # OCRツール読込
        tools = pyocr.get_available_tools()
        if len(tools) == 0:
            print("No OCR tool found")
            sys.exit(1)
        self.tool = tools[0]
        # WatchDogでの監視開始
        handler = ChangeHandler(self)
        self.observer = Observer()
        self.observer.schedule(handler, self.watch_path, recursive=True)
        self.observer.start()

    # Tkレイアウト設定
    def create_widgets(self):
        self.from_text_label.grid(column=0, row=0, sticky=tk.W)
        self.from_text_widget.grid(column=0, row=1, columnspan=5, sticky=(tk.N, tk.S, tk.E, tk.W))
        self.to_text_label.grid(column=0, row=2, sticky=tk.W)
        self.to_text_widget.grid(column=0, row=3, columnspan=5, sticky=(tk.N, tk.S, tk.E, tk.W))
        self.trans_button.grid(column=0, row=4, columnspan=5)

    # テキスト翻訳処理
    def do_trans_txt(self):
        translator = Translator()
        trans = translator.translate(self.from_text_widget.get("1.0", "end -1c"),
                                     src=self.lang_trans_from,
                                     dest=self.lang_trans_to)
        # TO_TEXTに反映
        self.to_text_widget.delete("1.0", "end")
        self.to_text_widget.insert("1.0", trans.text)

    # WatchDogイベント（キュー実行）
    def handle_watchdog_event(self, event):
        # キューからイベントを取得
        event = self.queue.get()
        src_path = event.src_path
        # png拡張子じゃなければreturn
        root, ext = os.path.splitext(src_path)
        if ".png" != ext:
            return
        # 保存中（隠しファイル）の場合
        filename = os.path.basename(src_path)
        if filename.startswith("."):
            # 一文字目「.」を削除して1秒待機
            src_path = os.path.dirname(src_path) + "/" + filename[1:]
            time.sleep(1.0)
        # OCRで画像からテキストに変換
        txt = self.tool.image_to_string(
            Image.open(src_path),
            lang=self.lang_read_from,
            builder=pyocr.builders.TextBuilder(tesseract_layout=6)
        )
        # 読み込んだ画像を削除
        os.remove(src_path)
        # 翻訳前テキスト設定
        self.from_text_widget.delete("1.0", "end")
        self.from_text_widget.insert("1.0", txt)
        # 翻訳処理呼び出し
        self.do_trans_txt()

    # WatchDog通知処理
    def notify(self, event):
        # イベントをキューに格納
        self.queue.put(event)
        self.master.event_generate("<<WatchdogEvent>>", when="tail")

    # WatchDogシャットダウン処理
    def shutdown(self, event):
        print("shutdown...")
        self.observer.stop()
        self.observer.join()


#########################
# 監視・OCR読込クラス
#########################
class ChangeHandler(FileSystemEventHandler):
    def __init__(self, trans_screen_shot):
        self.trans_screen_shot = trans_screen_shot

    # 作成された時のイベント
    def on_created(self, event):
        self.trans_screen_shot.notify(event)


if __name__ == "__main__":
    # GUI表示
    root = tk.Tk()
    ts = TransScreenShot(master=root)
    ts.mainloop()

#########################
# スクショ翻訳クラス
#########################
class TransScreenShot(tk.Frame):

    def __init__(self, master=None):
・・・略・・・
        # 監視フォルダパス
        self.watch_path = "【スクリーンショット保存パス】"
・・・略・・・
        self.queue = queue.Queue()
・・・略・・・
        # WatchDogでの監視開始
        handler = ChangeHandler(self)
        self.observer = Observer()
        self.observer.schedule(handler, self.watch_path, recursive=True)
        self.observer.start()

・・・略・・・

    # WatchDogイベント（キュー実行）
    def handle_watchdog_event(self, event):
        # キューからイベントを取得
        event = self.queue.get()
        src_path = event.src_path

・・・略・・・

    # WatchDog通知処理
    def notify(self, event):
        # イベントをキューに格納
        self.queue.put(event)
        self.master.event_generate("<<WatchdogEvent>>", when="tail")

    # WatchDogシャットダウン処理
    def shutdown(self, event):
        print("shutdown...")
        self.observer.stop()
        self.observer.join()


#########################
# 監視・OCR読込クラス
#########################
class ChangeHandler(FileSystemEventHandler):
    def __init__(self, trans_screen_shot):
        self.trans_screen_shot = trans_screen_shot

    # 作成された時のイベント
    def on_created(self, event):
        self.trans_screen_shot.notify(event)


if __name__ == "__main__":
    # GUI表示
    root = tk.Tk()
    ts = TransScreenShot(master=root)
    ts.mainloop()

        # 監視フォルダパス
        self.watch_path = "【スクリーンショット保存パス】"

#########################
# スクショ翻訳クラス
#########################
class TransScreenShot(tk.Frame):

    def __init__(self, master=None):
・・・略・・・
        # OCR読込言語（英語）
        self.lang_read_from = "eng"
・・・略・・・
        # OCRツール読込
        tools = pyocr.get_available_tools()
        if len(tools) == 0:
            print("No OCR tool found")
            sys.exit(1)
        self.tool = tools[0]

・・・略・・・

    # WatchDogイベント（キュー実行）
    def handle_watchdog_event(self, event):
        # キューからイベントを取得
        event = self.queue.get()
        src_path = event.src_path
        # png拡張子じゃなければreturn
        root, ext = os.path.splitext(src_path)
        if ".png" != ext:
            return
        # 保存中（隠しファイル）の場合
        filename = os.path.basename(src_path)
        if filename.startswith("."):
            # 一文字目「.」を削除して1秒待機
            src_path = os.path.dirname(src_path) + "/" + filename[1:]
            time.sleep(1.0)
        # OCRで画像からテキストに変換
        txt = self.tool.image_to_string(
            Image.open(src_path),
            lang=self.lang_read_from,
            builder=pyocr.builders.TextBuilder(tesseract_layout=6)
        )

    # WatchDogイベント（キュー実行）
    def handle_watchdog_event(self, event):
        # キューからイベントを取得
        event = self.queue.get()
        src_path = event.src_path
        # png拡張子じゃなければreturn
        root, ext = os.path.splitext(src_path)
        if ".png" != ext:
            return
        # 保存中（隠しファイル）の場合
        filename = os.path.basename(src_path)
        if filename.startswith("."):
            # 一文字目「.」を削除して1秒待機
            src_path = os.path.dirname(src_path) + "/" + filename[1:]
            time.sleep(1.0)
        # OCRで画像からテキストに変換
        txt = self.tool.image_to_string(
            Image.open(src_path),
            lang=self.lang_read_from,
            builder=pyocr.builders.TextBuilder(tesseract_layout=6)
        )

#########################
# スクショ翻訳クラス
#########################
class TransScreenShot(tk.Frame):

    def __init__(self, master=None):
・・・略・・・
        self.watch_path = "【スクリーンショット保存パス】"
        # 変換言語（英語->日本語）
        self.lang_trans_from = "de"
        self.lang_trans_to = "ja"

・・・略・・・

    # テキスト翻訳処理
    def do_trans_txt(self):
        translator = Translator()
        trans = translator.translate(self.from_text_widget.get("1.0", "end -1c"),
                                     src=self.lang_trans_from,
                                     dest=self.lang_trans_to)
        # TO_TEXTに反映
        self.to_text_widget.delete("1.0", "end")
        self.to_text_widget.insert("1.0", trans.text)

    # WatchDogイベント（キュー実行）
    def handle_watchdog_event(self, event):
・・・略・・・
        # 翻訳前テキスト設定
        self.from_text_widget.delete("1.0", "end")
        self.from_text_widget.insert("1.0", txt)
        # 翻訳処理呼び出し
        self.do_trans_txt()