【问题反馈】使用GitHub Actions下载禁漫本子（已截止于2023-08-12） about jmcomic-crawler-python

[buiawpkgew1]

我不理解为啥下载这么多

[hect0x7]

你并没有按照教程走😶，注意分支

[hect0x7]

你好 发现这个本子421458 无法成功，疑似是名称太长?

确实，整个路径的长度超过了linux的限制
解决方案是改option，不使用本子名称作为文件夹名字，而使用本子id

# Github Actions 下载脚本配置
version: '2.0'

dir_rule:
  base_dir: /home/runner/work/jmcomic/download/
  rule: Bd_Aauthor_Aid_Pindex # 改这里

[hect0x7]

有位用Github Actions下这个本子JM308016，10.6W张图🤣
下载耗时4h 13m，一共下载了105390/106050张图，虽然少图但还算是成功跑完了。
上传耗时1h 11m，上传遇到问题失败了，整个工作流以失败告终，😂难绷。
上传失败的原因是，上传前要压缩文件夹，压缩过程中打开的图片过多，压缩到第33569个文件就失败了。

解决方式：
首先不推荐这么干，Github Actions跑的脚本是一次性下完全部本的章节的，这可能给禁漫服务器造成过大压力，甚至把服务器搞挂掉。而且风险也很大，我要是禁漫后端开发人员，直接封禁ip了，甚至可能要求网站强制登录，访问过频繁就直接封号。
其次，就算想要下，也建议本地安装，用你自己的电脑下，同时配置好你的下载策略，间歇性的访问。
最后，考虑到一个album里的文件数可能非常多，可以增加一个压缩photo的选项，将（531个章节共106050张图）→（531个压缩文件），这样应该能保证Github Actions的上传不会报错。
不过这么大的文件，用Github Actions下完，还得从Github上下载下来解压，为何不直接用本地下载呢......🤷‍♂️

[chenjunjia97]

这个怎么搞

[hect0x7]

这个怎么搞

jm-comic1.cc这个域名暂时不适用，原因见Issue #14
你需要手动指定别的域名，比如 jmcomic2.group 或 18comic.vip

[chenjunjia97]

换成18comic.vip报443

[hect0x7]

换成18comic.vip报443

18comic.vip需要梯子，你可以试别的域名，或者使用Github Actions。

[chenjunjia97]

挂梯子了配的全局也不行

[hect0x7]

挂梯子了配的全局也不行

让我看看你的option

[chenjunjia97]

[hect0x7]

你的option没配代理，你要在option当中配代理，因为请求库不会走系统代理的。
代理配置方式参考assets/config/option_use_proxy.yml，非常详细

[chenjunjia97]

配哪个？

[hect0x7]

配哪个？

都可以

[chenjunjia97]

ok

[llxb318000]

目前遇到两个问题，一是“keywords”这个的正则可能写错了（应该是html里多了个换行符）。二是无论输入哪个ID，只能下载第一章……

[llxb318000]

目前遇到两个问题，一是“keywords”这个的正则可能写错了（应该是html里多了个换行符）。二是无论输入哪个ID，只能下载第一章……

[hect0x7]

show me your code

[llxb318000]

我使用了你提供的这种下载方式。

jm_option.save_to_file('./默认配置.yml')

我修改了配置里的域名，其他都没有修改。

jm_option = jmcomic.create_option('./默认配置.yml')
jmcomic.download_album('396871', jm_option)

[hect0x7]

我使用了你提供的这种下载方式。

jm_option.save_to_file('./默认配置.yml')

我修改了配置里的域名，其他都没有修改。

jm_option = jmcomic.create_option('./默认配置.yml') jmcomic.download_album('396871', jm_option)

keywords和只能下载第一章的问题，其实都是域名的问题，我猜你大概率使用的是jm-comic1.cc这类域名。
正如上文提到的，目前正则不太匹配这类域名的网页。
如果你使用的是18comic.vip，则没有任何问题。所以结论是，建议你配置代理使用。

[rotent]

为什么1.9.0 提交后action没有下载呢

[hect0x7]

为什么1.9.0 提交后action没有下载呢

你是按照文档一步一步来的吗？https://github.com/hect0x7/JMComic-Crawler-Python/blob/master/assets/docs/%E6%95%99%E7%A8%8B%EF%BC%9A%E4%BD%BF%E7%94%A8Github%20Actions%E4%B8%8B%E8%BD%BD%E7%A6%81%E6%BC%AB%E6%9C%AC%E5%AD%90.md

[rotent]

是的，1.7.0还可以的，昨晚您更新了之后我跟着sync fork，怎么提交都没触发> > 为什么1.9.0 提交后action没有下载呢

你是按照文档一步一步来的吗？https://github.com/hect0x7/JMComic-Crawler-Python/blob/master/assets/docs/%E6%95%99%E7%A8%8B%EF%BC%9A%E4%BD%BF%E7%94%A8Github%20Actions%E4%B8%8B%E8%BD%BD%E7%A6%81%E6%BC%AB%E6%9C%AC%E5%AD%90.md

[hect0x7]

是的，1.7.0还可以的，昨晚您更新了之后我跟着sync fork，怎么提交都没触发> > 为什么1.9.0 提交后action没有下载呢

你是按照文档一步一步来的吗？https://github.com/hect0x7/JMComic-Crawler-Python/blob/master/assets/docs/%E6%95%99%E7%A8%8B%EF%BC%9A%E4%BD%BF%E7%94%A8Github%20Actions%E4%B8%8B%E8%BD%BD%E7%A6%81%E6%BC%AB%E6%9C%AC%E5%AD%90.md

你试试编辑这个文件 https://github.com/rotent/JM/edit/workflow/usage/jmcomic_workflows.py

[rotent]

是的，1.7.0还可以的，昨晚您更新了之后我跟着sync fork，怎么提交都没触发> > 为什么1.9.0 提交后action没有下载呢

你是按照文档一步一步来的吗？https://github.com/hect0x7/JMComic-Crawler-Python/blob/master/assets/docs/%E6%95%99%E7%A8%8B%EF%BC%9A%E4%BD%BF%E7%94%A8Github%20Actions%E4%B8%8B%E8%BD%BD%E7%A6%81%E6%BC%AB%E6%9C%AC%E5%AD%90.md

你试试编辑这个文件 https://github.com/rotent/JM/edit/workflow/usage/jmcomic_workflows.py

感谢感谢，可以了

[Greeay7]

Run cd ./usage/
Traceback (most recent call last):
File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflows.py", line 50, in
main()
File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflows.py", line 9, in main
from jmcomic import create_option, str_to_list, download_album, print_eye_catching
ModuleNotFoundError: No module named 'jmcomic'
Error: Process completed with exit code 1.
想问下这个报错的原因是什么啊？

[hect0x7]

Run cd ./usage/ Traceback (most recent call last): File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflows.py", line 50, in main() File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflows.py", line 9, in main from jmcomic import create_option, str_to_list, download_album, print_eye_catching ModuleNotFoundError: No module named 'jmcomic' Error: Process completed with exit code 1. 想问下这个报错的原因是什么啊？

你是自己修改了工作流文件啊？为什么不按教程走？

[Greeay7]

Run cd ./usage/ Traceback (most recent call last): File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflows.py", line 50, in main() File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflows.py", line 9, in main from jmcomic import create_option, str_to_list, download_album, print_eye_catching ModuleNotFoundError: No module named 'jmcomic' Error: Process completed with exit code 1. 想问下这个报错的原因是什么啊？

你是自己修改了工作流文件啊？为什么不按教程走？

我不加master，只是更改jmcomic_workflow.py，action 不会动不知道为什么，只能在push后加一个master...他才会动

[hect0x7]

Run cd ./usage/ Traceback (most recent call last): File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflows.py", line 50, in main() File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflows.py", line 9, in main from jmcomic import create_option, str_to_list, download_album, print_eye_catching ModuleNotFoundError: No module named 'jmcomic' Error: Process completed with exit code 1. 想问下这个报错的原因是什么啊？

你是自己修改了工作流文件啊？为什么不按教程走？

我不加master，只是更改jmcomic_workflow.py，action 不会动不知道为什么，只能在push后加一个master...他才会动

为什么不改workflow分支的jmcomic_workflow.py？

[Greeay7]

Run cd ./usage/ Traceback (most recent call last): File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflows.py", line 50, in main() File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflows.py", line 9, in main from jmcomic import create_option, str_to_list, download_album, print_eye_catching ModuleNotFoundError: No module named 'jmcomic' Error: Process completed with exit code 1. 想问下这个报错的原因是什么啊？

你是自己修改了工作流文件啊？为什么不按教程走？

我不加master，只是更改jmcomic_workflow.py，action 不会动不知道为什么，只能在push后加一个master...他才会动

为什么不改workflow分支的jmcomic_workflow.py？
哦，我懂了，谢谢，因为昨天那个网站我一开始一直进不去，就自己直接找了，改的是master分支的。。。抱歉，麻烦了

[fvlw]

AssertionError: 请求失败，响应状态码为403
无法下载。

[hect0x7]

AssertionError: 请求失败，响应状态码为403 无法下载。

最近禁漫服务器好像崩得很厉害，今天开始禁漫给所有18comic.*的域名加了强制cloudflare人机验证，浏览器也绕不开。
Github Actions暂时不能用了，如果你还想用的话，唯一还可以使用的方式是：本地安装并选择禁漫的=內地網域=，例如 jm-comic2.cc

[fvlw]

AssertionError: 请求失败，响应状态码为403 无法下载。

最近禁漫服务器好像崩得很厉害，今天开始禁漫给所有18comic.*的域名加了强制cloudflare人机验证，浏览器也绕不开。 Github Actions暂时不能用了，如果你还想用的话，唯一还可以使用的方式是：本地安装并选择禁漫的=內地網域=，例如 jm-comic2.cc

老哥可以打包一份可执行exe吗 我发现releases没有可以直接可以运行的二进制文件

[hect0x7]

AssertionError: 请求失败，响应状态码为403 无法下载。

最近禁漫服务器好像崩得很厉害，今天开始禁漫给所有18comic.*的域名加了强制cloudflare人机验证，浏览器也绕不开。 Github Actions暂时不能用了，如果你还想用的话，唯一还可以使用的方式是：本地安装并选择禁漫的=內地網域=，例如 jm-comic2.cc

老哥可以打包一份可执行exe吗 我发现releases没有可以直接可以运行的二进制文件

你会编程吗？这个仓库做的东西可不是什么可执行程序exe，而是python语言可以使用的API，需要你稍微有一点点编程经验才能上手。如果你不会编程，还是别费力气折腾了（no offence）

[fvlw]

AssertionError: 请求失败，响应状态码为403 无法下载。

最近禁漫服务器好像崩得很厉害，今天开始禁漫给所有18comic.*的域名加了强制cloudflare人机验证，浏览器也绕不开。 Github Actions暂时不能用了，如果你还想用的话，唯一还可以使用的方式是：本地安装并选择禁漫的=內地網域=，例如 jm-comic2.cc

老哥可以打包一份可执行exe吗 我发现releases没有可以直接可以运行的二进制文件

你会编程吗？这个仓库做的东西可不是什么可执行程序exe，而是python语言可以使用的API，需要你稍微有一点点编程经验才能上手。如果你不会编程，还是别费力气折腾了（no offence）

我不懂编程，我之前用过you-get这个项目也是python写的，他有提供可执行的二进制文件，https://github.com/LussacZheng/you-get.exe/releases

[Jerry198384]

請問這個錯誤怎麼解決.謝謝!

[hect0x7]

請問這個錯誤怎麼解決.謝謝!

最近比较特殊，你爬个楼看看上面的回答就知道了

[hect0x7]

这个issue暂时关闭，因为各位遇到的问题完全相同，具体原因和解决方案看上面。

[elarhy]

Run cd ./usage/
cd ./usage/
python jmcomic_workflow_download.py
shell: /usr/bin/bash -e {0}
env:
pythonLocation: /opt/hostedtoolcache/Python/3.11.3/x64
PKG_CONFIG_PATH: /opt/hostedtoolcache/Python/3.11.3/x64/lib/pkgconfig
Python_ROOT_DIR: /opt/hostedtoolcache/Python/3.11.3/x64
Python2_ROOT_DIR: /opt/hostedtoolcache/Python/3.11.3/x64
Python3_ROOT_DIR: /opt/hostedtoolcache/Python/3.11.3/x64
LD_LIBRARY_PATH: /opt/hostedtoolcache/Python/3.11.3/x64/lib
JM_USERNAME:
JM_PASSWORD:
Traceback (most recent call last):
File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflow_download.py", line 50, in
main()
File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflow_download.py", line 46, in main
download_album(str_to_list(jm_albums), option=get_option())
^^^^^^^^^^^^
File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflow_download.py", line 13, in get_option
option = create_option('../assets/config/option_workflow_download.yml')
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/opt/hostedtoolcache/Python/3.11.3/x64/lib/python3.11/site-packages/jmcomic/api.py", line 142, in create_option
option = JmOption.from_file(filepath)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/opt/hostedtoolcache/Python/3.11.3/x64/lib/python3.11/site-packages/jmcomic/jm_option.py", line 289, in from_file
return cls.construct(dic)
^^^^^^^^^^^^^^^^^^
File "/opt/hostedtoolcache/Python/3.11.3/x64/lib/python3.11/site-packages/jmcomic/jm_option.py", line 272, in construct
return cls(**dic)
^^^^^^^^^^
TypeError: JmOption.init() got an unexpected keyword argument 'dir_tree'
Error: Process completed with exit code 1.

萌新不懂，之前1.9版本的时候跑没问题，今天更新了2.0一直卡死在这里。
爬楼看了下好像是网站那边的问题？

[hect0x7]

Run cd ./usage/ cd ./usage/ python jmcomic_workflow_download.py shell: /usr/bin/bash -e {0} env: pythonLocation: /opt/hostedtoolcache/Python/3.11.3/x64 PKG_CONFIG_PATH: /opt/hostedtoolcache/Python/3.11.3/x64/lib/pkgconfig Python_ROOT_DIR: /opt/hostedtoolcache/Python/3.11.3/x64 Python2_ROOT_DIR: /opt/hostedtoolcache/Python/3.11.3/x64 Python3_ROOT_DIR: /opt/hostedtoolcache/Python/3.11.3/x64 LD_LIBRARY_PATH: /opt/hostedtoolcache/Python/3.11.3/x64/lib JM_USERNAME: JM_PASSWORD: Traceback (most recent call last): File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflow_download.py", line 50, in main() File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflow_download.py", line 46, in main download_album(str_to_list(jm_albums), option=get_option()) ^^^^^^^^^^^^ File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflow_download.py", line 13, in get_option option = create_option('../assets/config/option_workflow_download.yml') ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/hostedtoolcache/Python/3.11.3/x64/lib/python3.11/site-packages/jmcomic/api.py", line 142, in create_option option = JmOption.from_file(filepath) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/hostedtoolcache/Python/3.11.3/x64/lib/python3.11/site-packages/jmcomic/jm_option.py", line 289, in from_file return cls.construct(dic) ^^^^^^^^^^^^^^^^^^ File "/opt/hostedtoolcache/Python/3.11.3/x64/lib/python3.11/site-packages/jmcomic/jm_option.py", line 272, in construct return cls(**dic) ^^^^^^^^^^ TypeError: JmOption.init() got an unexpected keyword argument 'dir_tree' Error: Process completed with exit code 1.

萌新不懂，之前1.9版本的时候跑没问题，今天更新了2.0一直卡死在这里。 爬楼看了下好像是网站那边的问题？

是我忘记改工作流的配置，你重新fork一下能用了

[elarhy]

Run cd ./usage/ cd ./usage/ python jmcomic_workflow_download.py shell: /usr/bin/bash -e {0} env: pythonLocation: /opt/hostedtoolcache/Python/3.11.3/x64 PKG_CONFIG_PATH: /opt/hostedtoolcache/Python/3.11.3/x64/lib/pkgconfig Python_ROOT_DIR: /opt/hostedtoolcache/Python/3.11.3/x64 Python2_ROOT_DIR: /opt/hostedtoolcache/Python/3.11.3/x64 Python3_ROOT_DIR: /opt/hostedtoolcache/Python/3.11.3/x64 LD_LIBRARY_PATH: /opt/hostedtoolcache/Python/3.11.3/x64/lib JM_USERNAME: JM_PASSWORD: Traceback (most recent call last): File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflow_download.py", line 50, in main() File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflow_download.py", line 46, in main download_album(str_to_list(jm_albums), option=get_option()) ^^^^^^^^^^^^ File "/home/runner/work/JMComic-Crawler-Python/JMComic-Crawler-Python/usage/jmcomic_workflow_download.py", line 13, in get_option option = create_option('../assets/config/option_workflow_download.yml') ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/hostedtoolcache/Python/3.11.3/x64/lib/python3.11/site-packages/jmcomic/api.py", line 142, in create_option option = JmOption.from_file(filepath) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/opt/hostedtoolcache/Python/3.11.3/x64/lib/python3.11/site-packages/jmcomic/jm_option.py", line 289, in from_file return cls.construct(dic) ^^^^^^^^^^^^^^^^^^ File "/opt/hostedtoolcache/Python/3.11.3/x64/lib/python3.11/site-packages/jmcomic/jm_option.py", line 272, in construct return cls(**dic) ^^^^^^^^^^ TypeError: JmOption.init() got an unexpected keyword argument 'dir_tree' Error: Process completed with exit code 1.
萌新不懂，之前1.9版本的时候跑没问题，今天更新了2.0一直卡死在这里。 爬楼看了下好像是网站那边的问题？

是我忘记改工作流的配置，你重新fork一下能用了

谢谢~辛苦了大佬

[fvlw]

还是403 为什么你的https://github.com/hect0x7/JMComic-Crawler-Python/actions/runs/4966621611
可以打包成功
我自己的https://github.com/fvlw/JMComic-Crawler-Python/actions/runs/5002781121/jobs/8963167818
就下载失败

[hect0x7]

还是403 为什么你的https://github.com/hect0x7/JMComic-Crawler-Python/actions/runs/4966621611 可以打包成功 我自己的https://github.com/fvlw/JMComic-Crawler-Python/actions/runs/5002781121/jobs/8963167818 就下载失败

因为前几天禁漫下人机验证了，这几天又加回来了，你过段时间再试试，说不定就又可以了。
当然，你也可以不这么被动，具体该怎么做请爬楼。

[bjssliu]

用这个18comic.vip拒绝访问了，请问从哪修改这个默认的地址呢？

[bjssliu]

唯一还可以使用的方式是：本地安装并选择禁漫的=內地網域=，例如 jm-comic2.cc，这个位置在哪呢，没有找到

[hect0x7]

唯一还可以使用的方式是：本地安装并选择禁漫的=內地網域=，例如 jm-comic2.cc，这个位置在哪呢，没有找到

使用配置文件的方式

[aaaxukun]

现在可以下载吗，今天试了一下，action不了

[hect0x7]

现在可以下载吗，今天试了一下，action不了

最近都可以，但你没有按教程走，你的步骤是错的

[aaaxukun]

我一步步按教程来的，但真的action里面没有运行的程序qwq

[aaaxukun]

是因为没有进行这一步吗

[hect0x7]

https://github.com/hect0x7/JMComic-Crawler-Python/blob/master/assets/docs/%E6%95%99%E7%A8%8B%EF%BC%9A%E4%BD%BF%E7%94%A8Github%20Actions%E4%B8%8B%E8%BD%BD%E7%A6%81%E6%BC%AB%E6%9C%AC%E5%AD%90.md

[Greeay7]

我想问下有什么批量下载github action workflow的结果artifacts的方式吗？只能自己一个个点击是吗？

[hect0x7]

我想问下有什么批量下载github action workflow的结果artifacts的方式吗？只能自己一个个点击是吗？

理论上讲，你可以利用Github官方提供的API自动爬取Artifacts，或者自己写爬虫或者找找开源库。

但我看你的工作流每次都只下一本漫画，为什么不一次提交多个漫画id一起下载，是不知道吗？

[Greeay7]

因为一次加多个本子很容易跑死。。。所以就一次一本了，但是这个好像更麻烦了。。。

[XIaoluo241]

您好，找不到assets/config/option use proxy.yml这个文件，不知道该如何配置代理

[hect0x7]

您好，找不到assets/config/option use proxy.yml这个文件，不知道该如何配置代理

代理配置方式如下：

client:
  postman:
    meta_data:
      # 以下proxies的写法都可以:
      # proxies: clash
      # proxies: v2ray
      # proxies: 127.0.0.1:7890
      # proxies:
      #   http: http://127.0.0.1:7890
      #   https: https://127.0.0.1:7890
      proxies: clash

[Greeay7]

AssertionError: 请求失败，响应状态码为403，原因为: [ip地区禁止访问/爬虫被识别], URL=[https://18comic.vip/album/383188]
2023-06-21 23:24:44:【api】https://18comic.vip/album/383188
这种情况怎么办？

[Daheyuan]

请问下这里的端口拒绝访问是什么意思？我把本地防火墙都关了不行。
代理改过127.0.0.1:22307也不可以。

[hect0x7]

请问下这里的端口拒绝访问是什么意思？我把本地防火墙都关了不行。 代理改过127.0.0.1:22307也不可以。

应该来说，把proxies配置成下面应该就可以的:

proxies: 127.0.0.1:22307

如果不行，你要先排查通过浏览器+代理访问禁漫是否可以

[hect0x7]

AssertionError: 请求失败，响应状态码为403，原因为: [ip地区禁止访问/爬虫被识别], URL=[https://18comic.vip/album/383188] 2023-06-21 23:24:44:【api】https://18comic.vip/album/383188 这种情况怎么办？

我试了下，本地没问题，但github actions用不了，暂时不清楚什么情况

[hect0x7]

请问下这里的端口拒绝访问是什么意思？我把本地防火墙都关了不行。 代理改过127.0.0.1:22307也不可以。

你可以输入以下代码，然后重新测试下你的代理配置 proxies: 127.0.0.1:22307

pip install commonX --upgrade

[hect0x7]

AssertionError: 请求失败，响应状态码为403，原因为: [ip地区禁止访问/爬虫被识别], URL=[https://18comic.vip/album/383188] 2023-06-21 23:24:44:【api】https://18comic.vip/album/383188 这种情况怎么办？

Github Actions好像又可以了。。。只能说cloudflare的风控很玄学😑
我怀疑cf是拉黑了部分Github Actions的ip段？不清楚。
总之，现在的情况是，本地访问这几周一直很稳定，G A有时候会被403。

[Daheyuan]

请问下这里的端口拒绝访问是什么意思？我把本地防火墙都关了不行。 代理改过127.0.0.1:22307也不可以。

你可以输入以下代码，然后重新测试下你的代理配置 proxies: 127.0.0.1:22307

pip install commonX --upgrade

安裝了這個commonX后確實就可以了，謝謝大佬！！不過這個commonX是做什麽的呀

[hect0x7]

请问下这里的端口拒绝访问是什么意思？我把本地防火墙都关了不行。 代理改过127.0.0.1:22307也不可以。

你可以输入以下代码，然后重新测试下你的代理配置 proxies: 127.0.0.1:22307

pip install commonX --upgrade

安裝了這個commonX后確實就可以了，謝謝大佬！！不過這個commonX是做什麽的呀

我造的一个开源轮子😇封装了网络请求、os、文件io的一些操作
你的代理不能生效的原因，一方面是配置不对，一方面也是commonX的代码有一些问题，所以我修正了代码以后你通过上面的命令更新这个库就可以了。

[vinouno]

感谢您的工作。
我有一个问题，我使用了sample代码中的以下函数：

def search_jm_album(search_string):
    client = jm_option.build_jm_client()
    search_album: JmSearchPage = client.search_album(search_query=search_string)
    for album_id, title, *_args in search_album:
        print(f'[{album_id}]：{title}')

在输出结果的时候发现了一个疑似bug，到了第80个结果左右的时候，album_id会发生异常，例如：

...
[450653]：[蒙面牛头侠机翻汉化] (秋季例大祭8) [4k製作所 (かカカカ)] レミリアお嬢様を買い取って躾ける本 (東方Project) [DL版]
[2]：[風的工房][姫野こもも] 色欲とろいめらい 色慾的校園白日夢

80是JM默认的搜索页展示数量，我怀疑程序遍历完一页后把页码当做了album_id。
请问这是bug吗？
如果不是，有什么办法可以获取到80本以上的搜索结果吗？

[hect0x7]

感谢您的工作。 我有一个问题，我使用了sample代码中的以下函数：

def search_jm_album(search_string):
    client = jm_option.build_jm_client()
    search_album: JmSearchPage = client.search_album(search_query=search_string)
    for album_id, title, *_args in search_album:
        print(f'[{album_id}]：{title}')

在输出结果的时候发现了一个疑似bug，到了第80个结果左右的时候，album_id会发生异常，例如：

...
[450653]：[蒙面牛头侠机翻汉化] (秋季例大祭8) [4k製作所 (かカカカ)] レミリアお嬢様を買い取って躾ける本 (東方Project) [DL版]
[2]：[風的工房][姫野こもも] 色欲とろいめらい 色慾的校園白日夢

80是JM默认的搜索页展示数量，我怀疑程序遍历完一页后把页码当做了album_id。 请问这是bug吗？ 如果不是，有什么办法可以获取到80本以上的搜索结果吗？

谢谢，收到了你的反馈，不过下次你最好单独开一个issue，这个issue是专门关于Github Actions的问题反馈。

关于你的问题：

1. 并不是bug，这个本子的JM album-id 就是2: https://18comic.vip/album/2/
   

2. client.search_album() 这个方法我没有实现分页逻辑，禁漫网页端的分页查询要加上一个page=?参数。
   因此你可以这样修改JmHtmlClient源码：
   

当然，你也可以等我发布新的版本修复这个问题。

[vinouno]

感谢您的工作。 我有一个问题，我使用了sample代码中的以下函数：

def search_jm_album(search_string):
    client = jm_option.build_jm_client()
    search_album: JmSearchPage = client.search_album(search_query=search_string)
    for album_id, title, *_args in search_album:
        print(f'[{album_id}]：{title}')

在输出结果的时候发现了一个疑似bug，到了第80个结果左右的时候，album_id会发生异常，例如：

...
[450653]：[蒙面牛头侠机翻汉化] (秋季例大祭8) [4k製作所 (かカカカ)] レミリアお嬢様を買い取って躾ける本 (東方Project) [DL版]
[2]：[風的工房][姫野こもも] 色欲とろいめらい 色慾的校園白日夢

80是JM默认的搜索页展示数量，我怀疑程序遍历完一页后把页码当做了album_id。 请问这是bug吗？ 如果不是，有什么办法可以获取到80本以上的搜索结果吗？

谢谢，收到了你的反馈，不过下次你最好单独开一个issue，这个issue是专门关于Github Actions的问题反馈。

关于你的问题：

1. 并不是bug，这个本子的JM album-id 就是2: https://18comic.vip/album/2/
   
2. client.search_album() 这个方法我没有实现分页逻辑，禁漫网页端的分页查询要加上一个page=?参数。
   因此你可以这样修改JmHtmlClient源码：
   

当然，你也可以等我发布新的版本修复这个问题。

感谢你的解答，添加了一个参数之后，问题很好地解决了。

[bokking]

大佬现在action是不能用了吗，按照教程action无反应

[jkdfzx]

你好
发现这个本子421458
无法成功，疑似是名称太长?

[jkdfzx]

请问
如果已经下载过某本子
之後只想下载指定的新章节，该怎麽设定呢?

[jkdfzx]

这一本307224
下载完後有出现奇怪的档案
内容应该有完成

[hect0x7]

请问 如果已经下载过某本子 之後只想下载指定的新章节，该怎麽设定呢?

你需要自己写代码实现你自己的需求
使用类似如下代码：

# 获取本子详情
album: JmAlbumDetail = cl.get_album_detail('JM车号')
# 获取本子的最后一章（最新一章）的id
pid =  album[-1].photo_id
# 调用下载章节的api
download_by_photo_detail(pid)

[hect0x7]

这一本307224 下载完後有出现奇怪的档案 内容应该有完成

这些 "奇怪" 的文件名，都是图片的url，这些图片都因为某些原因下载失败了，即使重试了最终也下载失败。
失败原因你需要翻看Github Actions运行详情。
由于url中有不能作为文件名的字符，例如 '/'，所以用 '_' 替换了。你可以反向还原url，然后自己手动在浏览器请求这些url，看看能否请求成功。

[jkdfzx]

这一本307224 下载完後有出现奇怪的档案 内容应该有完成

这些 "奇怪" 的文件名，都是图片的url，这些图片都因为某些原因下载失败了，即使重试了最终也下载失败。 失败原因你需要翻看Github Actions运行详情。 由于url中有不能作为文件名的字符，例如 '/'，所以用 '_' 替换了。你可以反向还原url，然后自己手动在浏览器请求这些url，看看能否请求成功。

但我随意找几笔比对过，都有正常下载下来，档案都在

[hect0x7]

这一本307224 下载完後有出现奇怪的档案 内容应该有完成

这些 "奇怪" 的文件名，都是图片的url，这些图片都因为某些原因下载失败了，即使重试了最终也下载失败。 失败原因你需要翻看Github Actions运行详情。 由于url中有不能作为文件名的字符，例如 '/'，所以用 '_' 替换了。你可以反向还原url，然后自己手动在浏览器请求这些url，看看能否请求成功。

但我随意找几笔比对过，都有正常下载下来，档案都在

所以你想说明什么？

[jkdfzx]

这一本307224 下载完後有出现奇怪的档案 内容应该有完成

这些 "奇怪" 的文件名，都是图片的url，这些图片都因为某些原因下载失败了，即使重试了最终也下载失败。 失败原因你需要翻看Github Actions运行详情。 由于url中有不能作为文件名的字符，例如 '/'，所以用 '_' 替换了。你可以反向还原url，然后自己手动在浏览器请求这些url，看看能否请求成功。

但我随意找几笔比对过，都有正常下载下来，档案都在

所以你想说明什么？

只是觉得奇怪，回报一下这状况

[hect0x7]

这一本307224 下载完後有出现奇怪的档案 内容应该有完成

这些 "奇怪" 的文件名，都是图片的url，这些图片都因为某些原因下载失败了，即使重试了最终也下载失败。 失败原因你需要翻看Github Actions运行详情。 由于url中有不能作为文件名的字符，例如 '/'，所以用 '_' 替换了。你可以反向还原url，然后自己手动在浏览器请求这些url，看看能否请求成功。

但我随意找几笔比对过，都有正常下载下来，档案都在

所以你想说明什么？

只是觉得奇怪，回报一下这状况

下载有些成功有些失败很正常，因为最近禁漫服务器在修整

[Requiem-X]

提示ip地区禁止访问/爬虫被识别，是需要更换自己的梯子节点吗？还是说等待更新？

[hect0x7]

提示ip地区禁止访问/爬虫被识别，是需要更换自己的梯子节点吗？还是说等待更新？

试下用浏览器无登录访问JM，如果浏览器也要人机验证，那就暂时没办法了。

[hect0x7]

提示ip地区禁止访问/爬虫被识别，是需要更换自己的梯子节点吗？还是说等待更新？

我本地测了下一切正常，大概率是Github Actions被风控了，用Github Actions你是没法配置自己的代理的。
建议在自己电脑上挂代理使用。

[buiawpkgew1]

下载文件错误了

[hect0x7]

下载文件错误了

Github Actions？细说

[zero617]

[hect0x7]

url给我

[hect0x7]

你这不是fork的我的仓库啊，按本仓库的教程来，不然你得自己解决

[buiawpkgew1]

下载文件错误了

Github Actions？细说

[hect0x7]

下载文件错误了

Github Actions？细说

这个是正常的，Github Actions的脚本专门做的改进。
原来失败时没有文件，部分失败时没有感知，现在会把失败的album的url存成文件放到压缩包里。

[aaaxukun]

我的也是这种情况，一直下载不成功，有解决方法吗

[hect0x7]

我的也是这种情况，一直下载不成功，有解决方法吗

Github Actions不能用，解决方式就是在自己电脑装python调用api，这也是目前可用最稳的方式

[jkdfzx]

你好
两个问题
一个是cookie如何配置?
https://18comic.vip/photo/308963
我照常用配置介绍.yml

里面写的这样配置，结果一样不能载，请问是哪里有问题?

另一个是某本子有解析问题，有解?
https://18comic.vip/album/360537

[hect0x7]

你好 两个问题 一个是cookie如何配置? https://18comic.vip/photo/308963 我照常用配置介绍.yml 里面写的这样配置，结果一样不能载，请问是哪里有问题?

另一个是某本子有解析问题，有解? https://18comic.vip/album/360537

cookies配错了，常用配置里是这样写的:

client:
  postman:
    meta_data:
      cookies:
        AVS: qkwehjjasdowqeq # 这个值是乱打的，不能用

第二个问题我要研究一下，另外你应该提一个issue而不是在这里

[hect0x7]

你好 两个问题 一个是cookie如何配置? https://18comic.vip/photo/308963 我照常用配置介绍.yml 里面写的这样配置，结果一样不能载，请问是哪里有问题?

另一个是某本子有解析问题，有解? https://18comic.vip/album/360537

v2.1.11 本子解析问题已修复

[hect0x7]

2023-08-22
v2.1.14
GitHub Actions重新可用：https://github.com/hect0x7/JMComic-Crawler-Python/actions/runs/5936953902