akira-isegawa / akira-isegawa.github.io

技術系の下調べ帳

Akira-Isegawa.github.io

技術系の下調べ帳

akira-isegawa.github.io's Issues

QAタスクの日本語データセットを集める

QAタスクの日本語データセットを集めるためのissue

Retrieval Augumented Generation（RAG）の情報を集める

Retrieval Augumented Generation（RAG）の情報を集めるためのissue

生成AI下調べ帳

生成AIについて、ソフトウェアエンジニア視点で下記のような問いを立てた。急速に進歩している分野で、全てに完全な答えを出すことはできないだろうが、おおよその見通しが立てられるよう、下調べをしておく。

• 生成AIの仕組みは？
  • Transformerの仕組み
  • 何がイノベーションを起こしたのか
    • Self Attention
    • 事前学習（Pre-training）と事後学習（Post-Training）
    • Scaling Laws
    • ハードウェアの進化
  • GPTの仕組み
    • GPT, GPT-2, GPT-3のモデル
    • 事前学習（Pre-training）の仕方
    • 事後学習（Post-Training）の仕方
  • マルチモーダルの仕組み
• 生成AIの使い方は？
  • 代表的なモデルとできること
  • 生成AIが得意なタスク
  • 主な使い方
    • プロンプトエンジニアリング
      • zero-shot, few-shot
      • Chaing-of-Thought
      • Tree-of-Thoughts
      • Generate Knowledge Prompting
      • Directional Stimulus Prompting
    • 設計パターン
      • 生成AI＋検索
      • 生成AI＋Agent
      • 生成AI＋コード実行
    • embedding
    • fine-tuning
  • 性能評価
    • モデルのベンチマーク
    • 下流タスクの性能評価
  • 生成AIシステムの運用
  • リスク管理
• 生成AIとどう関わっていけばいいのか？
  • 関わり方のパターンの整理
  • ソフトウェア（SaaS）業界がどう変わるか？
  • 上記を受けて、個人的にはどう考えるか？
• 開発業務でどう活用するか？
  • github copilot
    • セットアップ
    • 実装
    • ドキュメント作成
  • github copilot chat
    • セットアップ
    • コード生成
    • テストコード生成
    • デバッグ
    • レビューリファクタリング
    • コード変換
  • OpenAIのAPI
• 顧客にどういう価値を提供できるか？
• その他、個別に深堀りしたいトピック
  • 教材・学習コンテンツ
  • 日本語LLM
  • データセット
    • QAタスクの日本語データセット
  • フレームワーク（LangChain、LlamaIndex、Haystack等）
  • Retrieval Augumented Generation(RAG)
  • Program-Aided Language Models(PAL)
  • 自律型AIエンジニア
  • Transformerの次は？
    • Transformer以前の歴史
    • 改善の方向性（大規模化？軽量化？ドメイン特化？）
    • Transformerの後継モデルは？

github copilotの使い方

目次

• 基本的な使い方
  • github copilot
  • github copilot chat
  • 使い分け
  • Visual Studio Codeのcopilotのコマンド
• コード生成・コード補完・デバッグ
  • コード補完
  • コメントからコード生成
  • コードからコメント生成
  • プロンプトからコード生成
• テスト
  • テストケースの洗い出し
  • テストコード生成
• コードレビュー・改善
  • 機能性
  • 可読性
    • ネーミング
    • コメントやドキュメント
    • 長さ・複雑さ
  • タイポ・コーディングスタイル
  • 重複チェック
  • パフォーマンスと効率性
  • エラーハンドリング
  • セキュリティ
  • 再利用性・モジュラリティ
  • テストの網羅性
• ドキュメント作成
• コード変換

参考サイト

copilotの使い方

• GitHub Copilotのドキュメント
  • https://docs.github.com/ja/copilot/about-github-copilot
• Visual Studio Code: Github Copilot overview
  • https://code.visualstudio.com/docs/copilot/overview
• VSCode ではじめる GitHub Copilot 活用術
  • https://qiita.com/RyoWakabayashi/items/1207128e88669c76bf5f
• サクっと始めるAIネイティブ開発
  • https://zenn.dev/umi_mori/books/ai-native-programming/viewer/intro

日本語LLMの情報を集める

日本語LLMの情報を集めるためのissue

生成AIのフレームワーク

生成AIのフレームワークについて調べるためのissue

• LangChain
• LlamaIndex
• Haystack

生成AI関連の教材・学習コンテンツを集める

生成AI関連の教材・学習コンテンツを集めるためのissue

Program-Aided Language Models（PAL）の情報を集める

Program-Aided Language Models（PAL）の情報を集めるためのissue

IntelliJ IDEA Plugin開発の調査

ToDo

• Webをざっと見る
  • 公式ドキュメント
  • 入門記事
• hello world
• UIの表示方法
• 設定のUIの作成方法、設定値の取得方法
• ソースコードの取得方法
• 社内への配布方法

github actionsのカスタムアクションの作り方メモ

ToDo

• 公式ドキュメントを確認
• github actionsのローカルでの実行方法を確認
• githubのpull requestのデータを取得する方法
• secretの受け渡し方法
• 外部サービスのデータの取得方法 → 通常のnode.jsの方法でアクセス可能
• pull requestに結果を出力する方法

公式ドキュメントの情報

• カスタムアクションとは
  • https://docs.github.com/ja/actions/creating-actions/about-custom-actions
  • github actionsのアクションの内容をカスタマイズできる
  • marketplaceに公開することもできるし、privateリポジトリでも自分のカスタムアクションや自組織（organization）のカスタムアクションを利用することができる
• JavaScriptアクション
  • https://docs.github.com/ja/actions/creating-actions/creating-a-javascript-action
  • Dockerコンテナのアクションと、JavaScriptアクションがある
  • DockerコンテナのアクションよりもJavaScriptアクションの方が高速らしい（どのくらい？）
  • TypeScriptのテンプレートもある
    • https://github.com/actions/typescript-action