eightfx / dataanalysis-onbtc

BTCの約定履歴を分析するリポジトリ

これは何？

このリポジトリはeightが開発した自動売買botの残骸です。

データ分析して役に立たなかった、あるいは上手く学習できなかったメモ書きを纏めてリポジトリにしたものです(有用なものは公開しない)。

/apps/以降はメモ書きを抽出して貼り付けたので、ディレクトリ構成などの問題により動作しない可能性がありますが動作確認はしていません。

しかし、/lib/などには約定履歴の読込、整形、分析したり、バックテストしたりするモジュールが用意されているので、その部分だけ切り取って使えばそれなりに便利だと思います。

apps/以降は全部削除して利用すると良いと思います。

ディレクトリ構成

.
├── README.org
├── apps # 各プロジェクト
│   ├── DQN_forBTC # btcの強化学習による自動売買
│   ├── FFT # 高速フーリエ変換を用いた特徴量作成
│   ├── entropy # 情報エントロピーを用いた特徴量作成
│   ├── lstm # LSTMによる機械学習
│   └── talib #talibを用いた各インジケータによる特徴量作成
├── data # 一時的なデータはここに入れる
├── docker
├── lib # 各プロジェクトで共通のライブラリ
│   ├── discord # discordに接続するためのモジュール
│   ├── logger # loggerを使用するためのモジュール
│   ├── mysql # mysqlを使用するためのモジュール
│   └── utils # その他便利なモジュール
│       ├── backtest.py # 自動売買をバックテストするモジュール
│       ├── create_imbalance_bar.py # tick imbalance barなどを生成するモジュール
│       └── reshape_data.py # 約定履歴を整形するモジュール
└── logs # loggerの出力先

使い方

前提

https://github.com/eightfx/FTX_to_MySQL

上記のリポジトリはDBに約定履歴を記録しますが、これを稼働している想定で作っています。

DBの形式が上と同じであれば問題なく稼働すると思います。

libについて

このリポジトリは/lib/mysqlで約定履歴を読み込むためのモジュールを用意しており、lib/utils/reshape_dataでDBから読み込んだ情報を整形することもできます。

それから、lib/discordで取得した約定履歴から生成した画像などをdiscordに送信することも可能です。

これらを用いて、apps/ディレクトリに新規にフォルダを作ってimportすればデータ分析するための最低限のツールは利用できます。importする方法は例えば次のようなコードを追加すればいいです。

from pathlib import Path
import sys
root_path = Path(__file__).resolve().parent.parent # 階層に合わせてparentを調節する
sys.path.append(str(root_path))

from lib.mysql.setting import *

参考

/apps/で利用したリポジトリは下記です。

https://github.com/YutaroOgawa/Deep-Reinforcement-Learning-Book

https://github.com/richmanbtc/mlbot_tutorial