scb-10x / wangchanglm-api

API service for WangChanGLM Demo

WangChanGLM API

API Service for the WangChanGLM model. More information about the model can be found here.

Pairs nicely with the WangChanGLM App.

Try out the public demo at https://wangchanglm.in.th

Build docker

docker build -t scb10x/thaillm .

Run docker

mkdir .cache #optional
chmod 777 .cache #optional

# on cpu
docker run --restart unless-stopped -p 80:7860 -v `pwd`/.cache:/home/user/.cache -dt scb10x/thaillm

# on gpu
docker run --gpus all --restart unless-stopped -p 80:7860 -v `pwd`/.cache:/home/user/.cache -dt scb10x/thaillm

Request with cURL

curl --request POST \
  --url http://localhost:80/generate \
  --header 'Content-Type: application/json' \
  --data '{"instruction": "เขียนบทความเกี่ยวกับ ประโยชน์ของการออกกำลังกาย"}'

Deploy on GCP

Create a VM

1. Compute Engine > Create an instance
2. GPUs > NVIDIA T4
3. Machine Type > n1-standard-8
4. Boot disk > Switch Image > Debian 10 based Deep Learning VM with M108 > 250GB
5. Firewall > Allow HTTP traffic > Allow HTTPS traffic
6. Create

Install git-lfs on the VM

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs

SSH into the VM and build

1. clone this repo
2. build docker: ./scripts/build.sh
3. run docker: ./scripts/start.sh

wangchanglm-api's Issues

Support advanced parameters in the API

As a client,
I can provide additional hyperparameters to the API for inference
So that users can explore the model better

Hyperparams - currently in the colab demo, we allow max new tokens, temperature and top p. I think we can reference OpenAssistant and use their set of hyperparameters. For chat mode, we also allow native huggingface and langchain since they give slightly different results we havent experimented enough to know which one is definitely better.

Another one for hyperparameter. We may want to add yes/no option for forcing model to begin generation in Thai (default being yes as per our audience)

Update API to return only <bot> response

Currently the API returns the full completion:

<context>: วันที่ 10 พ.ค. 66 ที่ศาลอาญา ศาลนัดฟังคําพิพากษาคดีที่พนักงานอัยการคดีพิเศษ 1 เป็นโจทก์ฟ้อง น.ส.วันทนีย์ หรือเดียร์ ทิพย์ประเวช, นายเมธี หรือบอส ชิณภา สองสามีภรรยา, นายปิยะ หรือเป้ คีรีสุวรรณกุล, น.ส.พรสวรรค์ หรือฝ้าย ภูอินอ้อย, น.ส.ธวัลรัตน์ ทิพย์ประเวช มารดาของ น.ส.วันทนีย์ จําเลยที่ 1, น.ส.วิไลวรรณ หรือมิ้น หงษ์ประชาทรัพย์, น.ส.นิตยา หรือโบว์ พินนอก, นายบริภัทร เข็มรัตน์ (ได้ประกัน) และนายปิยะเศรษฐ์ ธิโสภา ที่ร่วมกันเป็นจําเลยที่ 1-9 ตามลําดับ ในความผิดฐานร่วมกันกู้ยืมเงินอันเป็นการฉ้อโกงประชาชน <human>: พาดหัวข่าวนี้ให้หน่อย <bot>: คดีนี้เกิดขึ้นเมื่อวันที่ 10 พฤษภาคม พ.ศ. 2546 เป็นการฟ้องร้องคดีอาชญากรรมที่ศาลแขวงพระนครเหนือ

Update the api to return only the portion after the <bot>:

Implement sensitive topics filter