<img src="https://trc.taboola.com/1341089/log/3/unip?en=page_view" width="0" height="0" style="display:none">
  • Twitter
  • facebook
  • LINE
  • pocket
  • はてな
Feb. 07, 2019

AI翻訳アプリの精度をプロの英語翻訳者が実際に検証してみた

AIの進化により、人工知能を活用した翻訳アプリの存在感がますます高まっています。
今回は、英語翻訳における翻訳アプリの精度をプロの英語翻訳者が実際に検証してみました。

関連記事

 

1. 全体の概況

Google Neural Machine Translation(いわゆるGoogle翻訳)を筆頭に、各社がヒトの脳神経細胞(ニューラルネットワーク)の学習機能をモデルにしたディープラーニングをAI翻訳に導入し、従来の統計型翻訳と比較して、翻訳精度が飛躍的に向上し始めています。

ai-translation_1 しかし、いまだ特定の状況下では精度の高い翻訳が難しいなどの問題があります。旅行で使うような短い会話の場合、おおむね正しく翻訳できる場合が多いのですが、文章が長くなるにつれ、訳漏れが生じたり、翻訳の精度が落ち、新聞記事の翻訳などは意味が通じないことが多いのが実情です。

また、英語から日本語への翻訳は比較的得意なようですが、日本語から英語への翻訳はミスが目立ちます。また、翻訳の手段として、これまではWeb上での翻訳やアプリを介した翻訳が主流でしたが、近年ではウェアラブル翻訳機や、旅行中の会話に特化したスティック型翻訳機が注目を集めています。

まず、機械翻訳を分類すると以下のようになります。

 

  • ルール型機械翻訳:文法や単語の組み合わせを元に人が作った翻訳ルールをベースに翻訳します。ルールや辞書を作っていくと、精度が上がっていきます。
  • フレーズベース統計型翻訳:大量のコーパス(対訳文章)を参考に、言語間の翻訳パターンを学習し、それらパターンを繋ぎ合わせて翻訳します。質の良いコーパスを大量に収集すると精度が上がっていきます。
  • ニューラル型機械翻訳:大量のコーパスに基づいて、入力言語→中間表現→出力言語の順に変換するニューラルネットを学習して翻訳します。質の良いコーパスを大量に収集するとともに、学習処理の演算量が多くて速いサーバリソースが確保できると精度が上がっていきます。
この内、2016年ごろから実用化が進められているのがニューラル型機械翻訳であり、提供している主なプレイヤーは以下の通りです。

・Google:2016.11~
・NICT(情報通信研究機構):2016.12~
・Microsoft:2016.11~
・Naver(LINE):2017.07~

 

2. 翻訳アプリで短文を翻訳してみると・・・(日⇔英)

ai-translation_2 スマホで利用できる音声認識機能付き翻訳アプリの内、Google、NICT、Microsoftの翻訳精度の現状を見ていきます。
(2018年6月現在)

 

Google(Google翻訳)

2016年からAI技術を導入したことにより、翻訳精度が飛躍的に高まりました。100言語以上に対応し、リアルタイム翻訳が可能です。事前にダウンロードすることでオフラインでの利用も可能ですが、翻訳にぎこちなさが残ります。

日英: 「東京駅までの行き方を教えてください」  
→ 「please show me directions to Tokyo station」

日英: 「チェックインしたいのですが、上田で予約しています」  
→ 「I'd like to check in but I have made a reservation at Ueda」

※日本人がよく使うためらいの「が」が「but」になっていて違和感があります。また、「上田」を名前と認識していません。

英日: 「Do you have any regional specialties?」  
→ 「地域特産品はありますか?」

英日: 「We will take care of it right away.」  
→ 「私たちはすぐにそれを世話します」

※少々ぎこちない訳出です。

 

NICT(Voice Tra)

31言語に対応し、音声認識処理にディープラーニングを導入し、翻訳精度が高いとの口コミが多数あります。また、翻訳した言葉を再翻訳し、母国語に戻す機能がついています。他のアプリでは弱いとされる日本語から英語、英語から日本語への翻訳精度が比較的高いですが、翻訳に少々ぎこちなさが残ります。

日英: 「東京駅までの行き方を教えてください」  
→ 「please tell me how to get to Tokyo station」

日英: 「チェックインしたいのですが、上田で予約しています」  
→ 「I'd like to check in but I made a reservation at Ueda」

※日本人がよく使うためらいの「が」が「but」になっていて違和感があります。また、「上田」を名前と認識していません。

英日: 「Do you have any regional specialties?」  
→ 「地方特産品はありますか?」

英日: 「We will take care of it right away.」  
→ 「すぐに対応いたします」

※こなれている印象の訳出です。

 

Microsoft (Microsoft Translator)

2016年から高度なニュートラルネットワークベースを採用したことにより翻訳精度が向上しました。対応言語数50以上、オフライン対応です。音声のリアルタイム翻訳に特化していますが、翻訳はぎこちなさが残ります。

日英: 「東京駅までの行き方を教えてください」  
→ 「please tell me how to get to Tokyo station」

日英: 「チェックインしたいのですが、上田で予約しています」  
→ 「I want to check in, but I have a reservation in Ueda」

※日本人がよく使うためらいの「が」が「but」になっていて違和感があります。また、「上田」を名前と認識していません。

英日: 「Do you have any regional specialties?」  
→ 「郷土料理はありますか?」

※レストランで交わされる会話であればすばらしい訳出です。

英日: 「We will take care of it right away.」  
→ 「私たちはすぐにそれを大事にします」

※ぎこちない訳出です。

 

3. 比較的長文を翻訳してみると・・・(日英、英日)

ai-translation_3 英語から日本語への翻訳について
Google、Weblioともに、シンプルな完全文の場合はおおむね正確に翻訳されます。しかし修飾語が多い文章の場合、どの部分がどこを修飾しているのか見分けることが、まだかなり苦手なように感じます。また、抽象的な表現や複数意味のある文言の翻訳を正しく選択することも難しいようです。

Ex: 英国の新聞「the Guardian」よりトランプ大統領ロンドン訪問取りやめの記事の翻訳例

 

Google(Google翻訳)

英日: 「President will not now open new US embassy next month.」  
→ 「大統領は来月、新しい米国大使館を開かない。」

英日: 「Donald Trump has backed off the idea of visiting Britain next month to open the new US embassy in London amid fears of mass protests.」  
→ 「ドナルド・トランプ氏は来月英国を訪れ、大規模な抗議の恐怖の中でロンドンで新しい米国大使館を開く考えを否定した。」

※修飾語のかかり方のミスが目立ちます。

英日: 「instead, it had been expected that Trump would make a brief, less formal “working visit” next month, to cut the ribbon on the $1bn (£750m) embassy in Nine Elms, south-west London, and hold meetings with May.」  
→ 「その代わりに、ロンドン南西部のNine Elmsにある10億ドル(750百万ポンド)の大使館でリボンをカットし、5月にミーティングを開くために、トランプは来月、短くてフォーマルでない「働く訪問」を行うだろうと予想されていた。」

※「to cut the ribbon on…」はテープカットのことですが、直訳の「リボンをカット」となっています。また、「hold a meeting with May」はメイ首相と会談するという意味ですが、「5月にミーティングを開く」となっています。他にも「working visit」を「働く訪問」とするなど、直訳の傾向が強いです。

 

Weblio

複数の翻訳候補から選択できるしくみです。シンプルな文章の場合にはおおむねミスなく翻訳されますが、複雑な文章や抽象的なイディオムになると精度が落ちます。Googleと比較すると、多少複雑な文章でもおおむね正しい翻訳ができる場合が多いです。

英日: 「President will not now open new US embassy next month.」  
→ 「大統領は、来月、現在新しいアメリカ大使館を開きません。」

英日: 「Donald Trump has backed off the idea of visiting Britain next month to open the new US embassy in London amid fears of mass protests.」
→ 「ドナルド・トランプは、集団での抗議活動の恐れの中で新しいアメリカ大使館をロンドンに開くために来月英国を訪問するというアイデアを撤回しました。」

※「集団での抗議活動の恐れの中で」など、あまり自然でない部分もありますが、全体の趣旨はなんとか判別可能です。

英日: 「instead, it had been expected that Trump would make a brief, less formal “working visit” next month, to cut the ribbon on the $1bn (£750m) embassy in Nine Elms, south-west London, and hold meetings with May.」  
→ 「その代わりに、トランプが来月短い、より正式でない「働く訪問」をすると予想されました。そして、Nineエルムズ(南西ロンドン)の10億ドル(£750m)の大使館でリボンを裁断して、5月で会議を開きました。」

※「to cut the ribbon on…」はテープカットのことですが、直訳の「リボンを裁断」となっています。また、「hold a meeting with May」はメイ首相と会談するという意味ですが、「5月に会議を開く」となりミスが目立ちます。

 

日本語から英語への翻訳について
Google、Weblioとも、日本語から英語への翻訳精度はまだ低いです。特に、日本語は主語の省略が多く、そのような場合にミスが目立つようです。しかし、日本語の文章を少々手直しすると、Googleでは一部おかしな訳出になりますが、Weblioではおおむね意味の通る英語に翻訳されます。

 

Google

日英: 「日本マクドナルドは11日、ドリンクメニューの「カフェラテ」をリニューアルし、これまでの税込み200円を150円に値下げすると発表した。」
→ 「Japan McDonald's announced on 11th that renewal of the drink menu 'Cafe latte' will cut down 200 yen including tax up to 150 yen.」

(日本語手直し)「12月11日、日本マクドナルドはドリンクメニューの「カフェラテ」をリニューアルし、彼らはこれまでの税込み200円から150円に値下げすると発表した。」  
→ 「On December 11, Japan McDonald's renewed the drink menu "Caffe latte", they announced that they will cut prices down to 200 yen from 200 yen to 150 yen.」

Weblio

日英: 「日本マクドナルドは11日、ドリンクメニューの「カフェラテ」をリニューアルし、これまでの税込み200円を150円に値下げすると発表した」  
→ 「McDonald's Co. Japan, Ltd. renewed "the caffe latte" of the drink menu on 11th and announced that I cut past tax-included 200 yen to 150 yen.」

(日本語手直し)「12月11日、日本マクドナルドはドリンクメニューの「カフェラテ」をリニューアルし、彼らはこれまでの税込み200円から150円に値下げすると発表した。」  
→ 「On December 11, McDonald's Co. Japan, Ltd. renewed "the caffe latte" of the drink menu and announced that they cut it to 150 yen from past tax-included 200 yen.」

 

4. 主要言語間の翻訳精度(一般論)

一般的に、言語間の距離が近いほど翻訳精度が向上する傾向があります(日本語と韓国語/ 英語とヨーロッパ系言語など)。AIを活用したディープラーニングの場合、ビッグデータが必要不可欠なので、翻訳する言語間のデータ数が関係している可能性があります。

英語→日本語:ニューラル翻訳(NMT)の導入により精度が向上しました。簡単な会話や構造がシンプルな場合は翻訳精度が高いです。しかし、抽象的な表現や複数の意味を有する言葉の翻訳は苦手です。

日本語→英語:英日と比較すると翻訳精度はまだ低いです。特に日本語特有の主語の省略に対応できず、意味の通らない文章になることが多いです。

日本語→中国語:正確さはまずまずですが、文脈によっては全く意味の通らない場合もあり、実用性は低いです。

日本語→韓国語、韓国語→日本語:文法構造が似ているため、比較的精度の高い翻訳が可能です。また、文化的背景が似ていることから同じ意味を有する単語や言い回しがあり、他言語に比べて翻訳が容易です。

 

5. 主要言語間の翻訳精度(論文より)

下記の、英語を含む翻訳の精度を示す図からもわかるように、NMTにより、以前のフレーズベース型翻訳と比較して、精度が大幅に向上しています。言語によっては人間による翻訳と同等の質を保持しています。その一方で、英語と文構造が似ているといわれる中国語ですが、ヨーロッパ系言語と比較すると翻訳の精度は向上の余地があるといえます。

translation model

出典:Google Research Blog
https://ai.googleblog.com/2016/09/a-neural-network-for-machine.html

日本語を含めたアジア諸国の言語においても、NMTは以前に比べ高品質な翻訳を提供することが可能になりました。

下記の表は、統計型翻訳(SMT)とAI翻訳(NMT)を用いた翻訳の精度に対する5段階評価の割合を比較したものです(5が最高評価、1が最低評価となっています)。

日本語・中国語間の翻訳の場合、もともと精度が低かったということもありますが、全体的に精度が向上し、最高評価の5が飛躍的に増えています。

一方で、日本語・英語間の場合には、1や2など低評価の割合は減るものの、4の評価が最も増加し、最高評価の5が減少していることがわかります。機械翻訳の研究開発者・中澤敏明氏(京都大)によると、これはNMTの「訳抜け」および「重複」の問題だということです。従来の翻訳では文章を分解し、パーツごとに翻訳していましたが、NMTを活用することにより、文章単位で翻訳を行い、より流暢な訳出が可能となりました。

 

しかしながら、NMTの特徴として、訳の一部を抜かしてしまう「訳抜け」や、同じ単語を複数回訳してしまう「重複」が起こりやすいことが挙げられます。NMTは英語の流暢さ(fluency)においては全体で飛躍的な向上を示す一方で、正確さ(accuracy)では完璧でない傾向があるとされています。

 

科学技術論文翻訳タスクにおけるNMTとSMTの精度の比較

出典:機械翻訳の新しいパラダイム:ニューラル機械翻訳の原理(中澤敏明)
https://www.jstage.jst.go.jp/article/johokanri/60/5/60_299/_html/-char/ja/
図4 日英、日中 科学技術論文翻訳タスクにおけるNMTとSMTの精度の比較

6. 音声認識機能付き翻訳アプリの比較

〈スマホアプリ〉
- Google翻訳
- Microsoft翻訳
- Voice Tra(NICT)
- Naver Papago翻訳

 

翻訳アプリ比較表
サービス 対応言語数 音声翻訳 テキスト翻訳 画像翻訳 オフライン
Google翻訳 100以上
Microsoft翻訳 60以上
VoiceTra 31 × ×
Naver Papago 40
  • Twitter
  • facebook
  • LINE
  • pocket
  • はてな

翻訳会社を選ぶおすすめの依頼方法:失敗しない10のキホン

WIPの翻訳をつくるサービスはこちら