fkubota / carrier-owl

arxiv--> DeepL --> Slack/LINE

最近のやったことはこちら(timeline)

url: https://fkubota.github.io/timeline/

github commit

These cards are powered by https://github.com/anuraghazra/github-readme-stats

carrier-owl's Issues

Workflow が Run owl で失敗する

Workflow がしばしば失敗します。
エラーメッセージと、メッセージから推測できる直接的な原因を以下に記載します。

■エラーメッセージ

Run poetry run python src/carrier-owl.py
  poetry run python src/carrier-owl.py
  shell: /bin/bash -e {0}
  env:
    pythonLocation: /opt/hostedtoolcache/Python/3.8.6/x64
    LD_LIBRARY_PATH: /opt/hostedtoolcache/Python/3.8.6/x64/lib
    SLACK_ID: ***
Traceback (most recent call last):
  File "src/carrier-owl.py", line 188, in <module>
    main()
  File "src/carrier-owl.py", line 183, in main
    results = serch_keywords(id_list, config['keywords'])
  File "src/carrier-owl.py", line 64, in serch_keywords
    title = bs.find('meta', attrs={'property': 'og:title'})['content']
TypeError: 'NoneType' object is not subscriptable

Error: Process completed with exit code 1.

■直接的な原因
src/carrier-owl.py の serch_keywords()関数にて、
bs.find('meta', attrs={'property': 'og:title'}) の戻り値がNoneになっている

readmeを充実させる

UnitTest作成

複数領域指定対応

README記載のarXivカテゴリの定義について

https://arxiv.org/help/api/user-manual#query_details
5.3. Subject Classifications

astro-ph	Astrophysics
astro-ph.CO	Cosmology and Nongalactic Astrophysics
astro-ph.EP	Earth and Planetary Astrophysics
...

ChromedriverがChromeのversionに合わなくてGithub Actionがエラーで止まります

Carrier-Owlをクローンして利用させてもらっているものです。素敵なシステム作成ありがとうございます。

急にGithub Actionがエラーでワークしなくなったので確認したところ以下の画像のエラーが出ていました。
(私の環境だけでしたらすいません)

解決案として

• chromedriver追従してアップデートする
• (可能であれば)Github Actionで利用可能なGoogleのバージョンを固定する

の2つが考えられます。前者だと毎回アップデートのたびに追従するのが負担かなという懸念があります。
私の方でもchromedriverをアップデートしてPRしようとしましたがインストール時にコケてしまうのでまず報告だけさせてもらいました。

chromedriver-binary v87 -> v89
https://pypi.org/project/chromedriver-binary/89.0.4389.23.0/

LINE通知対応

amagaeruさんのPR

SecretsにLINE_IDとして登録する。
Secretsが複数用意されていればそれら全てに通知がいくような仕様にする。

アイコン作る＆名前かえる

discordに対応

debug用途でオプションでslack_idを渡せるようにする

--slack_id, --line_token を追加

タイトルに改行が含まれる場合がある

Carrier-Owl/src/carrier_owl.py

Lines 54 to 62 in 5460771

	for article in articles:
	url = article['arxiv_url']
	title = article['title']
	abstract = article['summary']
	score, hit_keywords = calc_score(abstract, keywords)
	if (score != 0) and (score >= score_threshold):
	title_trans = get_translated_text('ja', 'en', title, driver)
	abstract = abstract.replace('\n', '')
	abstract_trans = get_translated_text('ja', 'en', abstract, driver)

でtitleも改行のreplaceを行なったほうがいいかもしれない、という提案になります。
60行目に以下を挿入するだけになります。

            title = title.replace('\n', '')

例えば以下の論文では改行置換ありなしでdeeplの結果が変わっていました。

url: http://arxiv.org/abs/2205.00779v1

改行置換なし

title:    ゼブラ ゼロブロックによるCNNアクセラレータのメモリ帯域幅の削減
   活性化マップの正則化
title_en:    Zebra: Memory Bandwidth Reduction for CNN Accelerators With Zero Block
 Regularization of Activation Maps

改行置換あり

title:    ゼブラ 活性化マップのゼロブロック正則化を用いたCNNアクセラレータのメモリ帯域幅の削減
title_en:    Zebra: Memory Bandwidth Reduction for CNN Accelerators With Zero Block  Regularization of Activation Maps

論文のタイトルには改行が含まれておらず、arxiv.queryの結果には含まれているのでarxiv.queryのところで何とかして欲しい気持ちですが、↓を見る限りは使う側で対処した方が良さそうかなという感じです。

lukasschwab/arxiv.py#48

deepLに対応させる

readmeにgithub actionsを有効にする説明を加える

fork後にgithub actionsを有効にしなければならないのでその説明。

send関数と翻訳関数を分ける

アブストラクトの改行の有無について

出力されるアブストラクトに改行を入れていると思いますが、何か意図があるのでしょうか(slackだと見づらいなど)。
私は改行を取り除いてlineに通知していますが、他の方の意見も聞きたいと思いissueを立てました。

arxiv_apiで昨日の論文を取得しようとすると取得数が0になってしまう。

論文のタイトルを翻訳したほうがよいか

固有名詞をタイトルにしている論文もあるのでわざわざ翻訳しなくてもよいのかなと思いました。

chrome-driverの記述

https://qiita.com/Chanmoro/items/9a3c86bb465c1cce738a

v2.1.0用のREADMEを書く

• workflow_dispach
• threshold

config駆動にする

[bug] actions でこける

関連ci: https://github.com/fkubota/Carrier-Owl/runs/6331532347?check_suite_focus=true

github actionsにworkflow_dispatchを導入する

github actionsの手動実行を楽にするためにやる。

https://twitter.com/hpp_ricecake/status/1343447022486003713?s=20

配信日固定案

(2日前の論文を送る場合)

月火水木金に送信するように設定を行うと、土日にarxivが更新されない以上、水木金にしか配信されない。
これを解消したい。

現在の案

• 月火水木金にその前の木金月火水に出た論文を配信する仕様にする。
• デメリットとしてはこの仕様だと、土日に論文が配信してほしい人に対応できない。

Comments をメッセージに含めるオプションをつけたい

赤枠の Comments の部分（通常既に会議に出ているかどうかが書かれている）は読むときの判断材料になりやすく、個人的にはチェックする部分なので、例えば include_comments みたいな bool 値を設定して、True のときは一緒に流せるようにできると嬉しいです。（やる気が出てきたら自分でPR出そうと思います）

ヒット件数の通知

BeautifulSoup(スクレイピング)からarXiv API利用へ変更

arXivにはPublicなarXivAPIが存在するので、そちらを使うほうが正しいアクセスの方法かと思います。

• https://arxiv.org/help/api/index
• https://github.com/lukasschwab/arxiv.py
• https://note.nkmk.me/python-arxiv-api-download-rss/

Scoreの通知閾値を実装

score => threshold
を満たしたものだけ通知する。

プライベートリポジトリに変更

notebookのslack idをtxtに対応させる