timtoronto634 / receiptocr

ReceiptOCR

receiptocr's Issues

リクエストを受け取って画像名を取得、画像は保存

index.tsの中身が今はサンプルリクエストになってるので、これを実際のリクエスト、実際の画像に置き換え

レスポンスの内容をCSVに保存

レスポンスそのままだとどの商品がどれに対応しているのかわからない

##### ローカルに画像を保存する

base64でそのまま保存も可

##### 画像を受け付けるサーバーの立て方探す

node.jsのAPI的な
画像はおそらくbase64で受け取るが、Reactのリサーチ次第

PR templateの修正

「わかりやすいタイトルをつけた」はPR作成者が確認する項目
「目的」チケットのリンク等を貼るようにコメント追加
「プレビューの確認」をPR作成者用のコメントに追加

backend開発環境の整備

docker でnode.jsの環境作成　node_modulesは外においたりする
vscodeにauto lintingの設定を追加

webpack でreact等のフロント環境整備

GoogleAPIのOAuth2.0スコープの理解

https://developers.google.com/identity/protocols/oauth2/scopes?hl=ja
なんのことかわからない

##### カメラにアクセスする方法探す

Reactコンポーネントの、カメラにアクセスできるものを探す

docker 整備

docker-composeだけで全体が立ち上がるように環境を整備する

Vision APIの実装

GCPの用意
サンプル画像を用いてリクエストを送り、結果を得る。
帰ってきた結果を保存し、開発中は実際にAPIを叩くのではなく結果をローカルから返すようにする

APIに投げる画像の前処理

やらない予定だったが、金額が一つとして取れないのは困るので、検討する。

以下にアイデアを列挙する

• 基本的に商品名が左、金額が右、で出ているので、その間に縦線を引いてクロップし、金額の部分だけをAPIに投げれば、正確にOCRしてくれるのではないだろうか
  • 縦線の見つけ方
    • マージン最大化
    • 画像をブロックに区切ってブロック内のピクセル合計値が閾値を下回るブロックを縦につなげていく→ブロックサイズは二分探索

[努力要件]ロゴ作成

120x120ピクセルのロゴがあると楽しい

AWSにデプロイ検討

docker image 作成後、
ECRにpush
ECSからホスト

全体をgithub actions で自動化する

自動テストの追加

getNecessaryInfoを実装したので、テストを書いてみる。

入力: result_jsonを読む。JSON.parse(fs.readFileSync('textdetection_result_saved.json', 'utf8'))
出力：理想的な出力を含めばよし

[
  '烏龍茶MB',
  '有料レジ袋',
  'みかん',
  'バナナ',
  'ルヴァン黒糖入り',
  '具だくさんうの花',
  'ブルガリアYGプレーン',
  '手巻おにぎり(ツナマヨ',
  '手巻おにぎり',
]