9月7日「対訳データからニューラル機械翻訳機を作ってみよう 」セミナーのプログラムコード

https://www.chosakai-kinki.jp/d_seminar/d_220907/d_220907.html

経済産業調査会での上記URLのセミナーで使うプログラムコードを置いておきます。コピペしてお使いください。セミナー開催におきましては、以下のサイトほか、多くのサイトからの情報を参考にしました。ありがとうございました。

•ニューラル機械翻訳モデルを自作してみる（アスタミューゼLab様）

•https://lab.astamuse.co.jp/entry/neural-machine-translation

•AI素人が日英のAI翻訳モデルをGoogle Colaboratoryで作成・評価してみた。（@nukatogo様） •https://qiita.com/nukatogo/items/9482cece6a1a527a9cde •

（１）スライド１５

! pip install mecab-python3 unidic-lite
import MeCab
print(MeCab.Tagger().parse("今年もあと４か月を切りました！"))

（２）スライド３６

from google.colab import drive
drive.mount('/content/drive')
!apt install -y openjdk-8-jdk python3 python3-pip
!update-alternatives --set java /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java
!java -version
!wget https://github.com/modernmt/modernmt/releases/download/v4.7/mmt-4.7-ubuntu.tar.gz
!tar xvfz mmt-4.7-ubuntu.tar.gz
!cd mmt; pip3 install -r requirements.txt

（３）スライド４１

!mmt/mmt create ja en -e default /content/drive/MyDrive/corpus  --train-steps 1000 --save-interval 1000 --arch transformer_mmt_big --fp16

（４）スライド４３

!mmt/mmt start -e default &

（５）スライド４５

!mmt/mmt translate "仏教徒になった"

（６）スライド４７

!mmt/mmt create ja en -e default /content/drive/MyDrive/corpus --resume --train-steps 2000 --save-interval 1000 --arch transformer_mmt_big --fp16

（７）スライド４９

!zip -r /content/mmt/engines.zip /content/mmt/engines/
!zip -r /content/mmt/runtime.zip /content/mmt/runtime/
!cp /content/mmt/engines.zip /content/drive/MyDrive/
!cp /content/mmt/runtime.zip /content/drive/MyDrive/

（８）スライド５０

!unzip /content/drive/MyDrive/engines.zip -d /
!unzip /content/drive/MyDrive/runtime.zip -d /