アプリ情報
BLEUスコアとGLEU(Google-BLEU)スコアを計算します。
使い方
- 参照訳(人の翻訳)と評価訳(機械翻訳出力)をそれぞれのフィールドに入力します。
- 各センテンスは改行で区切り、参照訳と評価訳のセンテンス数(行数)は同じにしてください。
- 現在、処理できるセンテンス数の上限を500としています。
- 基本的には日本語訳での使用を想定しています。
- スコアの「小数点以下桁数」を指定します。デフォルトでは4桁に四捨五入されます。
- 「センテンス数確認」ボタンを押し、参照訳と評価訳の数が同じであることを確認します。
- 改行で行を数えているため、実際に文字が入力されていなくても1とカウントします。
- 「スコア計算」ボタンを押します。
- 画面が切り換わり、BLEUとGLEUのスコアが表示されます。
- センテンス数が多い場合、処理に時間がかかります。
- スコアは0〜1の間です。百分率(パーセント)にするには100倍します。
ご注意
- 入力された訳文テキストは、サーバー側で一切保存はしていません。ただし不安な方は機密情報の入力は避けてください。
- 本ソフトウェアの動作の完全性は保証しません。また使用により発生した損害や費用について提供者は責任を負いません。
- 無償でご利用いただけますが、ユーザー・サポートは提供していません。
サンプル
以下のサンプルを参照訳と評価訳に入力して試してみてください。
参照訳 | 評価訳 |
こんにちは、私は学生です。
こんばんは、彼は日本人です。
日本の首都は東京です。
明日は晴れです。
今日の気温は12度です。
|
こんにちは、私は社会人です。
こんばんは、彼はアメリカ人です。
アメリカの首都はワシントンDCです。
明日は雨です。
昨日の気温は32度です。
|
BLEUが0.3092、GLEUが0.4492と表示されます(小数点以下4桁)。
スコア計算について
- スコア計算にNLTK、日本語分かち書きにJanomeを使用しています。(ライセンス情報)
- BLEU値の計算にはコーパス・レベルBLEU値をデフォルト設定で使っています(例:平滑化しない)。また算出時にn-gramの一致がなくても警告を表示していません。
- 同様にGLEUの計算にはコーパス・レベルGLEU値をデフォルト設定で使っています。
- 本アプリは簡易にスコアを計算することを目的としており、細かなオプション指定はできないため、研究などの目的には適していません。