k8tems / kinokonow

ツイッターで今起こっている事をまとめるサービス

インストール

pip install -r requirements.txt

実行

ストリーム

python -m kinokonow.listen

ワーカー

celery -A kinokonow.tasks.celery -l INFO worker

定期ツイート

celery -A kinokonow.tasks.celery -l INFO beat

フレーズ候補抽出鯖

python -m kinokonow.yahooma

ライセンス

wordcloud2.js
Tag cloud/Wordle presentation on 2D canvas or HTML
url: https://github.com/timdream/wordcloud2.js
license : MIT

kinokonow's Issues

検索結果のツイートを日時で降順ソートして表示する

一部の文字がバグってワードクラウドに表示される

dbにちゃんと保存されてるthat'sが

ワードクラウドではアポストロフィが'として表示されてる

AJAXのエラーの対応が無い

RTから抽出した単語はワードクラウドに含めない

検索結果にRTを表示しないならワードクラウドにも表示しないべき
検索結果だけRTを無視してる現状、ワードクラウドに載ってても検索結果に何も出ない単語がいくつかあって気持ち悪い

botのツイートを弾く

botのツイートがクラウドに大きく表示されてる事が多く、邪魔なのでviaのホワイトリストを作って弾きたい

検索結果に表示されてる日時が日本時間で9時間前になってる

小さい文字からマウスを離した後の挙動がおかしい

ある程度小さい文字の上にマウスを重ねた後に離すと元の大きさに戻らない

他の文字と重なって見た目が汚くなる

.git等無駄なファイルはコンテナに含めない

ツイートが二重に保存されている事がある

docker stack deployで前のコンテナが暫く立ったままになってるから？
ツイートidのインデックスを作ってユニークにしたい

ロード中はわかるようにgifを表示する

ワードクラウドのロードを非同期でする

検索で大文字小文字を無視したい

ban、BanとBANの区別をなくしたい

CI用のスクリプトこっちのレポジトリに持ってくる

コード本体と関連性が高いのでレポジトリはやっぱり分けない方がいい

nグラムを候補にあげる

ツイートが失敗してる

font.ttfのロードが失敗してると思われる

検索結果の高さを%で固定しない

検索結果の行の高さをcssのheight%で定義せずにツイートの行数に応じて調節されるようにしたい

jumanppを暫く使う予定は無いのでプリプロセスで半角スペースを省かない

ツイ消しの対応

ツイ消しを検出したら該当ツイートをdbから削除する

検索でメンションを無視する

メンションに検索語が入ってるとヒットするのが邪魔なので無視したい

提案
・予めプリプロセスしてメンション無しの文字列をdbに保管する
・正規表現の条件でメンションを無視するようにする

同じユーザーが同じ単語を何度連呼しても一回として数えてidfの計算をしたい

モーダルダイアログで検索

文字をクリックする度に下にスクロールするのがうざいので文字がクリックされた時検索関係を表示するモーダルを出したい

検索が長すぎ

簡単な検索なのに1秒以上かかってる

ツイートの行が長すぎるとモーダルからはみ出る

同一ツイートで同じ単語が何度も連呼されても一つの単語として扱う

保存するツイートのデータは必要最低限のものだけにする

mongoは保存されたデータを全てメモリに展開しようとするので消費メモリ節約に繋がる

形態素解析でtfidf前の名詞抽出の性能を上げる

ヤフーのキーフレーズ抽出だとフレーズの取り残しが多すぎる
代わりにmecabかjumanppで抽出して取り残しを減らしたい
発生したノイズはtfidfで排除すれば問題無さそう

ツイートがそのままレンダリングされているせいで改行が無視されてる

外部からのリプライは弾く

ストリームAPIが何故か外部からのリプライを捕まえてて、内容はまずキノコと関係無いので省きたい

ツイート数が少ない名詞を罰する

1回しかツイートされてないのにワードクラウド入りしてる名詞を失くしたい
同じ人が複数回ツイートしてるだけの名詞も罰してスコアを下げたい