crawlscript / nutcher

nutcher是中文的nutch文档，包含nutch的配置和源码解析，持续更新中。

CrawlScript 基于JAVA的网络爬虫脚本语言。

CrawlScript主页：http://crawlscript.github.io/

网络爬虫即自动获取网页信息的一种程序，有很多JAVA、C++的网络爬虫类库，但是在这些类库的基础上开发十分繁琐，需要大量的代码才可以完成一个简单的操作。鉴于这个问题，我们开发了CrawlScript这种脚本语言，程序员只需要写2-3行简单的代码，就可以制作一个强大的网络爬虫。同时，CrawlScript由JAVA编写，可以在其他JAVA程序中被简单调用。

CrawlScript是跨平台的,在任何有JDK环境的电脑上都可以运行，无论是windows、linux还是unix。

运行CrawlScript的方法：

1.WINDOWS：进入CrawlScript文件夹，双击crawlscript.bat。

2.LINUX：用命令行进入CrawlScript文件夹，执行sh crawlscript.sh。

测试：输入doc=$("http://www.baidu.com") ，回车，可看到百度网页的所有文字。 继续输入print(doc.a()) ，回车，可看到百度网页的所有超链接中的文字。

相关教程和API可查看CrawlScript主页：http://crawlscript.github.io/

nutcher's Issues

非常支持，希望能有一些二次开发的小例子

Nutch二次开发的例子，网上非常少，非常希望能提供一个小小的demo，多谢

不错，希望能尽快跟进2.X系列

BTW，本人也在github和oschina上面提交了nutch相关的项目，欢迎关注，互相交流：

https://github.com/xautlx/nutch-ajax 基于Apache Nutch 2.3和Htmlunit, Selenium WebDriver等组件扩展，实现对于AJAX加载类型页面的完整页面内容抓取，以及特定数据项的解析和索引。

https://github.com/xautlx/nutch-htmlunit 基于Apache Nutch 1.8和Htmlunit组件，实现对于AJAX加载类型页面的完整页面内容抓取解析。

文中提到修改ivy的源为开源**的镜像 是否存在问题？

我按照<Nutch教程——导入Nutch工程，执行完整爬取>一文操作，提到将ivy的源换为http://maven.oschina.net/content/groups/public/ 源，按照此进行操作会出错，不换源执行ant eclipse -verbose则成功。是不是oschina的源不全导致的？