誰か読んで教えてクレメンス

https://dl.acm.org/citation.cfm?id=1625736

https://link.springer.com/content/pdf/10.1007%2F978-3-319-42911-3.pdf

http://www.aclweb.org/anthology/C14-1156

Fillipovaの文圧縮の日本語適応。

論文リンク

テキストの生成だけでなく、原文書からのコピーも行えるCopyNetを提案
CopyNetでは、selective readという方法を用いて、生成した単語の原文書における位置情報をエンコードし、単語のコピー確率の計算に用いる。各単語の生成確率は、デコーダのstateから単語を生成する確率と単語を原文書からコピーする確率を算出し、それらのmixtureとなる。
pointer-generator networkと比べると少し複雑なモデルで、distraction機構は入っていない。

解説スライド：https://www.slideshare.net/akihikowatanabe3110/incorporating-copying-mechanism-in-sequene-to-sequence-learning

文を生成する際に、prototypeとなるsentenceをEdit Vectorに従い編集することで、文を生成するモデルを提案

要約の話というよりは、テキストの生成の話ではある。
が、細かいところは読んでいないが、要約の研究に応用できる可能性がありそう（文融合、文圧縮など）。
あとで読む。

概要

Yahoo! Answersデータセットの質問本文、タイトル対を質問-要約対とみなして質問要約モデルを構築する話。
http://aclweb.org/anthology/I17-1080

著者

Tatsuya ISHIGAKI, Hiroya Takamura, Manabu Okumura

Tokyo Institute of Technology

手法

質問要約データセットを用いて、抽出型、生成型のいくつかの要約モデルを学習＆ROUGEと人手評価で比較。

• ルールで抽出(先頭文、先頭質問文など)
• 教師あり機械学習を用いて抽出(質問文か否か、他に質問文が存在するかなどを素性に使用)
• ニューラルなモデルで生成(Encoder-Decoder, 注意機構付きEncoder-decoder、コピー機構付きencoder-decoderを比較)

実験設定・使用データ

Yahoo Answersデータセットをフィルタリングした作成した質問-要約対。

結果

生成型の手法がROUGE/人手評価ともに良い結果。

割と新しめのSurvey論文

Neuralなモデルで「文書」の要約を行う研究。

提案手法では、attention-basedなsequence-to-sequenceモデルにdistractionと呼ばれる機構を導入することを提案。

distractionを導入するmotivationは、入力文書中の異なる情報を横断的に参照（一度着目した情報には今後あまり着目しないようなバイアスをかける）したうえで、要約を生成しようというもの。
これにより、生成される要約の冗長性を排除するのが狙い。

以下の3つのアプローチを用いて、distractionを実現

1. [Distraction over input content vectors]
   　tステップ目において、decoderのinputとして用いるcontext vectorを
   計算する際に、通常の計算に加えて、t-1ステップ目までに使用した
   context vectorの情報を活用することで、これまでdecoderのinputとして
   利用された情報をあまり重視視しないように、context vectorを生成する。

2. [Distraction over attention weight vectors]
   　attentionの重みを計算する際に、過去に高いattentionの重みがついた
   encoderのhidden stateについては、あまり重要視しないように
   attentionの重みを計算。1と同様に、t-1ステップ目までのattention weightの
   historyを保持しておき活用する。

3. [Distration in decoding]
   　decodingステップでbeam-searchを行う際のスコア計算に、distraction scoreを導入。distraction
   scoreはtステップ目までに用いられたcontext vector、attention
   weight、decoderのstateから計算され、これまでと同じような情報に基づいて
   単語が生成された場合は、スコアが低くなるようになっている。

CNN、およびLCSTS data (大規模な**語のheadline generationデータ)で評価した結果、上記3つのdistraction機構を導入した場合に、最も高いROUGEスコアを獲得

特に、原文書が長い場合に、短い場合と比較して、distraction機構を導入すると、
ROUGEスコアの改善幅が大きくなったことが示されている

論文URL

概要

小規模なデータセットのパフォーマンスを向上させるための効果的な方法であるプレトレーニングにフォーカスした研究。

Neural Headline Generationタスク(NHG)におけるseq2seqのencoder、decoder、中間層に事前にプレトレーニングしたパラメータを用いることを提案。その結果、パープレキシティとROUGEが改善した。

NHGモデルを訓練する場合の一般的なアプローチでは、テキストの先頭数文(一文か二文程度)を使っているため(src:一文目, trg:タイトルのペア)、それ以降のテキスト情報は未使用となっている。ここでは、プレトレーニングの段階で全てのテキスト情報を学習することで、より単語と文脈の理解ができるようなパラメータになるみたい。

論文リンク

http://www.aclweb.org/anthology/W17-4503

Conference

ACL2017

論文リンク

https://aclweb.org/anthology/D15-1044

概要

http://www.aclweb.org/anthology/K16-1028
扱うタスクは文要約，文書要約の2つ．
Encoder-decoderを用いた生成型文要約モデルに品詞、固有表現、TF、IDFなどの素性を組み込むモデルを提案。
また、LSTMを階層的に構築する生成型文書要約モデルを提案。

著者

Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Çag ̆lar Gu ̇lçehre and Bing Xiang
IBM Watson

手法

1. いろいろな素性を組み込んだEncoder-decoder文要約器
   
   単語の品詞タグembeddingなどをconcatすることで，表層的な情報だけではなく単語の品詞や意味情報も考慮する文要約モデル．

2. 文書要約モデル
   
   入力文書を文分割し文ごとに文ベクトルを生成．デコード時には入力の単語ベクトルと文ベクトルにAttentionスコアを計算しながら出力単語を決定する．

実験設定・使用データ

文要約: DUCデータセット
文書要約: CNN/Dailyデータセット

結果

品詞などの素性を加えると性能が向上した．
階層的な文書要約モデルでベースラインを上回ったが，抽出にはまだ勝てない．

http://www.aclweb.org/anthology/P16-1046

単語の生成だけでなく、原文書から単語のコピーを行えるpointer-generator networkを提案
coverage mechanismを導入することで、単語のrepetition（繰り返し）現象を改善

CNN/Daily Mail DatasetによってSoTAなabstractiveモデルを上回る結果

supervisedなsummarizationの先駆け
http://delivery.acm.org/10.1145/220000/215333/p68-kupiec.pdf?ip=131.112.138.2&id=215333&acc=ACTIVE%20SERVICE&key=D2341B890AD12BFE%2EE857D5F645C75AE5%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35&CFID=1014019812&CFTOKEN=92716557&acm=1512612864_8a31cd777db3ba3efffce8915d97559c

概要

http://aclweb.org/anthology/P/P17/P17-1108.pdf
ニューラルな生成型要約のAttentionスコア計算に、TextRankを用いて計算した文の相対的な重要度を用いる「Graph-based Attention」を提案。文書要約タスクにおいてstate-of-the-artな性能を示した。

著者

Jiwei Tan, Xiaojun Wan and Jianguo Xiao
Peking University

手法

要約生成の流れは以下。

1. 単語を逐次LSTMでエンコードし、文ベクトルを作成。
2. 文ベクトルをまたLSTMで逐次読み込み文書ベクトルを作成しデコーダ側の初期状態として利用。
3. デコード時のattentionスコアの計算にはTextRankアルゴリズムを用いて計算した文の重要度を用いる。
4. 文ベクトルから単語ベクトル→softmaxで出力単語を決定という処理を繰り返す。

実験設定・使用データ

CNN/Dailyデータセット

結果

Graph-based Attentionを取り入れたらROUGE、人手評価ともに良くなった。これまで、文書要約タスクでは、生成的手法は抽出的手法に勝つことができなかったが、提案モデルは抽出的手法よりも良い評価を得た。