stability-ai / fastchat Goto Github PK

Can we use japanese-stablelm-3b-4e1t-instruct for chatting?

If yes, how can we do it?
Do we need add stop string like <|endoftext|> as follows?
Where do we put it?

以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。

### 指示: 
与えられたことわざの意味を小学生でも分かるように教えてください。

### 入力: 
情けは人のためならず

### 応答: 
人に情けをかけた人の人生は、意図せずとも人に幸せをもたらすのである。<|endoftext|>

### 入力: 
もう少し詳しく教えてください

### 応答: 

This issue is duprication of https://huggingface.co/stabilityai/japanese-stablelm-3b-4e1t-instruct/discussions/1 and Stability-AI/StableLM#103.

Thank you for maintaining the benchmarks. Currently, I am evaluating models with Japanese MT-Bench, and I need the prompts “single-v1-multi-turn” and “single-math-v1-multi-turn” to execute the function 'make_judge_simgle' in gen_judgement.py, but I can't find them. There seems to be only the prompts “single-v1” and “single-math-v1” in fastchat/llm_judge/data/judge_ja_prompts.jsonl. I would appreciate it if you could tell me where to find them or how to evaluate them.

Hi,
I found the latest version of question_full.jsonl could not be parsed due to the quotation mark...

{"question_id": 50, "category": "reasoning", "turns": ["保護者たちは、休み時間中のいじめについて校長に苦情を申し立てました。校長はこの問題を速やかに解決したいと考え、休憩補助員に警戒するよう指示しました。補助員が校長に報告すべき状況はどれでしょうか？\na) 関心を示さない少女が一人でベンチに座り、本に夢中で、仲間との交流を全く見せていません。\nb) 一対一のバスケットボールゲームに参加している2人の男の子が、最後に得点したバスケットについて激しく議論しています。\nc) 4人の女の子が別の女の子を囲み、彼女のリュックを持っているようです。\nd) "3人の男の子が携帯ゲーム機に集中しており、これは校則に違反しています。学校内でゲーム機を遊ぶことは許可されていません。", "補助員が状況（c）の女の子のグループに立ち向かい、彼女たちがいじめを否定し、ただゲームをしていただけだと主張した場合、補助員はこれが真実か、それともいじめを隠すための言い訳かを判断するためにどうすべきでしょうか？"]}

In this line,

彼女のリュックを持っているようです。\nd) "3人の男の子が携帯ゲーム機に集中しており

The " right after \nd) should be omitted or escaped...?

You can easily confirm this if you use VSCode

maybe solved by #12