9月7日「対訳データからニューラル機械翻訳機を作ってみよう 」セミナーのプログラムコード

https://www.chosakai-kinki.jp/d_seminar/d_220907/d_220907.html

経済産業調査会での上記URLのセミナーで使うプログラムコードを置いておきます。コピペしてお使いください。セミナー開催におきましては、以下のサイトほか、多くのサイトからの情報を参考にしました。ありがとうございました。

•ニューラル機械翻訳モデルを自作してみる(アスタミューゼLab様)

https://lab.astamuse.co.jp/entry/neural-machine-translation

•AI素人が日英のAI翻訳モデルをGoogle Colaboratoryで作成・評価してみた。(@nukatogo様) •https://qiita.com/nukatogo/items/9482cece6a1a527a9cde

(1)スライド15

! pip install mecab-python3 unidic-lite
import MeCab
print(MeCab.Tagger().parse("今年もあと4か月を切りました!"))

(2)スライド36

from google.colab import drive
drive.mount('/content/drive')
!apt install -y openjdk-8-jdk python3 python3-pip
!update-alternatives --set java /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java
!java -version
!wget https://github.com/modernmt/modernmt/releases/download/v4.7/mmt-4.7-ubuntu.tar.gz
!tar xvfz mmt-4.7-ubuntu.tar.gz
!cd mmt; pip3 install -r requirements.txt

(3)スライド41

!mmt/mmt create ja en -e default /content/drive/MyDrive/corpus  --train-steps 1000 --save-interval 1000 --arch transformer_mmt_big --fp16

(4)スライド43

!mmt/mmt start -e default &

(5)スライド45

!mmt/mmt translate "仏教徒になった"

(6)スライド47

!mmt/mmt create ja en -e default /content/drive/MyDrive/corpus --resume --train-steps 2000 --save-interval 1000 --arch transformer_mmt_big --fp16

(7)スライド49

!zip -r /content/mmt/engines.zip /content/mmt/engines/
!zip -r /content/mmt/runtime.zip /content/mmt/runtime/
!cp /content/mmt/engines.zip /content/drive/MyDrive/
!cp /content/mmt/runtime.zip /content/drive/MyDrive/

(8)スライド50

!unzip /content/drive/MyDrive/engines.zip -d /
!unzip /content/drive/MyDrive/runtime.zip -d /