phodal / ideabook

一个全栈增长工程师的练手项目集. A Growth Engineering Idea in Action.

一个全栈增长工程师的练手项目集

English version is Ongoing, welcome to join us.

你是不是在为提高编程技术而发愁？

你是不是在为找不到合适的练手项目而烦恼？

你是不是在为有合适的项目，但是没有指南而烦恼？

我的其他电子书：

• 《一步步搭建物联网系统》
• 《GitHub 漫游指南》
• 《RePractise》
• 《Growth: 全栈增长工程师指南》
• 《Growth: 全栈增长工程师实战》

欢迎关注我的微信公众号（扫描下面的二维码或搜索 Phodal）.

目录

• 分析网站日志，打造访问地图
  • 概况
    • 背景
    • ShowCase
    • Hadoop + Pig + Jython + AmMap + ElasticSearch
  • 步骤
    • Step 1: 搭建基础设施
    • Step 2: 解析access.log
    • Step 3: 转换IP为GEO信息
    • Step 4: 展示数据到地图上
    • 练习建议
• 书籍录入移动应用：条形码扫描
  • 概况
    • 背景
    • ShowCase
    • Ionic + Zxing
  • 步骤
    • Step 1: ZXing扫描与Douban API
    • Step 2: 存储数据库
    • 练习建议
• 制作专属Badge
  • 概况
    • 背景
    • ShowCase
    • SVG与SVGWrite
  • 步骤
    • Step 1: 基本图形
    • Step 2: 高级Badge
• 微信文章编辑器
  • 概况
    • 背景
    • ShowCase
    • CKEditor + Ractive
  • 步骤
    • Step 1: hello,world
    • Step 2: Require.js模块化
    • Step 3: 初始化
    • Step 4: 创建对应的View
    • 练习建议
• JavaScript制作Slide框架
  • 概况
    • 背景
    • Showcase
    • 需求
  • 步骤
    • Step 1: 基本的Slide功能
    • Step 2: 解析Markdown
    • Step 3: 事件处理
    • Step 4: 解析字幕
    • Step 5: 进度条
    • Step 6: 同步
    • 练习建议
• 编辑-发布-分离的博客系统
  • 概况
    • 背景: 编辑-发布-开发分离
    • 用户场景
  • 步骤
    • Step 1: 构建工具
    • Step 2: 静态页面生成
• Solr实现多边形地理搜索
  • 概况
    • 背景
    • Showcase
    • Solr
  • 步骤
    • Step 1: Solr Flask
    • Step 2: Google map Polygon
• 一份代码打造跨平台应用
  • 概况
    • 背景
    • ShowCase
    • Ionic & Electron & Cordova
  • 步骤
    • Step 1: 从Web到混合应用，再到桌面应用
    • Step 2: 响应式设计
    • Step 3: 平台特定代码
    • 未来
• Ionic与ElasticSearch打造O2O应用
  • 概况
    • 背景
    • Showcase
    • 构架设计
  • 步骤
    • Step 1: Django GIS 设置
    • Step 2: 配置Haystack
    • Step 3: Django Haystack Model创建
    • Step 4: 创建search_index
    • Step 4: Ionic ElasticSearch 创建页面
    • Step 5: Ionic ElasticSearch Service
    • Step 6: Ionic OpenLayer 地图显示
• 一步步搭建JavaScript框架
  • 概况
    • 背景
  • 步骤
    • Step 1: 注册npm和bower包
    • Step 2: 生成Javascript项目框架
    • Step 3: 寻找所需要的函数
    • Step 4: 整合
    • Step 5: 测试
    • 练习建议
• 制作简易Mac OS上的伪锁屏工具
  • 概况
    • 背景
  • 步骤
    • Step 1：屏幕截图
    • Step 2：调节亮度
    • Step 3：全屏图片
• 基于Virtual DOM的测试代码生成
  • 概况
    • 背景
    • ShowCase
    • 基本原理
  • 步骤
    • Step 1: Virtual-dom与HyperScript
    • Step 2: 标记DOM变化
• 基于Backbone的单页面移动应用
  • 概况
    • 背景
    • Showcase
    • jQuery + Backbone + UnderScore + Require.JS
  • 步骤
    • Step 1: 使用Require.js管理依赖
    • Step 2: 添加路由
    • Step 3: 创建主页View
    • Step 4: jQuery Sidr
    • Step 5: Django Tastypie示例
    • Step 6: RequireJS Plugins
    • Step 6: 简单的博客
    • Step 7: 重构
    • Step 8: 移动CMS滑动
• Oculus + Node.js + Three.js 打造VR世界
  • 概况
    • 背景
    • Showcase
    • 框架： Oculus Rift & Node NMD
  • 步骤
    • Step 1: Node Oculus Services
    • Step 2: Node.js Oculus Hello，World
    • Step 3: Node Oculus WebSocket
    • Step 4: Oculus Effect + DK2 Control
    • Step 5: Three.js KeyHandler
    • 练习建议
• 手动制作照片地图
  • 概况
    • Background:把照片放在地图上
    • Showcase
    • 框架： EXIF & ExifRead & CartoDB
  • 步骤
    • Step 1: 解析读取照片信息
    • Step 2: 上传数据
    • 练习建议
• D3.js打造技能树
  • 概况
    • 背景
    • Showcase
    • Graphviz
  • 步骤
    • Step 1: 打造简单的技能树
    • Step 3: D3.js Tooltipster
• 技术雷达趋势
  • 概况
    • 背景
    • Showcase
    • D3.js
  • 步骤
    • Step 1: Schema与原始代码
    • Step 2: 处理数据
• 文本转Logo
  • 概况
    • 背景
    • ShowCase
    • 需求说明
  • 步骤
    • Step 1: Python 文字转Logo实战
• GeoJSON与ElasticSearch实现高级图形搜索
  • 概况
    • Showcase
    • jQuery + Mustache + Leaflet
  • 步骤
    • Step 1: 离线地图与搜索
    • Step 2: 从地点到地图上显示
    • Step 3: 从地图到地点上显示

License

© 2016 Phodal Huang. This code is distributed under the Creative Commons Attribution-Noncommercial-No Derivative Works 3.0 License. See LICENSE in this directory.

ideabook's Issues

ReadMe.md结尾猝不及防，都是套路。

😂

您好，我在练习"分析网站日志，打造访问地图"项目时遇到了如下错误，麻烦指导下，谢谢！

我在centos上安装了项目要求的一些工具，在运行下面这段代码时，最后一行会报错，将最后一行如果注释掉直接dump A就没有错误了，不知道什么原因。

报错记录如下：

2017-05-05 11:17:54,861 [Thread-20] WARN  org.apache.hadoop.mapred.LocalJobRunner - job_local265525317_0001
java.lang.Exception: java.lang.NoClassDefFoundError: org/apache/commons/httpclient/protocol/ProtocolSocketFactory
	at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:489)
	at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:549)
Caused by: java.lang.NoClassDefFoundError: org/apache/commons/httpclient/protocol/ProtocolSocketFactory
	at org.elasticsearch.hadoop.rest.commonshttp.CommonsHttpTransportFactory.create(CommonsHttpTransportFactory.java:39)
	at org.elasticsearch.hadoop.rest.NetworkClient.selectNextNode(NetworkClient.java:99)
	at org.elasticsearch.hadoop.rest.NetworkClient.<init>(NetworkClient.java:82)
	at org.elasticsearch.hadoop.rest.NetworkClient.<init>(NetworkClient.java:59)
	at org.elasticsearch.hadoop.rest.RestClient.<init>(RestClient.java:92)
	at org.elasticsearch.hadoop.rest.InitializationUtils.discoverEsVersion(InitializationUtils.java:240)
	at org.elasticsearch.hadoop.rest.RestService.createWriter(RestService.java:546)
	at org.elasticsearch.hadoop.mr.EsOutputFormat$EsRecordWriter.init(EsOutputFormat.java:173)
	at org.elasticsearch.hadoop.mr.EsOutputFormat$EsRecordWriter.write(EsOutputFormat.java:149)
	at org.elasticsearch.hadoop.pig.EsStorage.putNext(EsStorage.java:192)
	at org.apache.pig.backend.hadoop.executionengine.physicalLayer.relationalOperators.StoreFuncDecorator.putNext(StoreFuncDecorator.java:75)
	at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigOutputFormat$PigRecordWriter.write(PigOutputFormat.java:144)
	at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigOutputFormat$PigRecordWriter.write(PigOutputFormat.java:97)
	at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.write(MapTask.java:658)
	at org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write(TaskInputOutputContextImpl.java:89)
	at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.write(WrappedMapper.java:112)
	at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapOnly$Map.collect(PigMapOnly.java:48)
	at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigGenericMapBase.runPipeline(PigGenericMapBase.java:282)
	at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigGenericMapBase.map(PigGenericMapBase.java:275)
	at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigGenericMapBase.map(PigGenericMapBase.java:65)
	at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:270)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: org.apache.commons.httpclient.protocol.ProtocolSocketFactory
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 29 more
2017-05-05 11:17:55,351 [main] WARN  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Ooops! Some job has failed! Specify -stop_on_failure if you want Pig to stop immediately on failure.
2017-05-05 11:17:55,357 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - job job_local265525317_0001 has failed! Stop running all dependent jobs
2017-05-05 11:17:55,357 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 100% complete
2017-05-05 11:17:55,416 [main] INFO  org.apache.hadoop.metrics.jvm.JvmMetrics - Cannot initialize JVM Metrics with processName=JobTracker, sessionId= - already initialized
2017-05-05 11:17:55,470 [main] INFO  org.apache.hadoop.metrics.jvm.JvmMetrics - Cannot initialize JVM Metrics with processName=JobTracker, sessionId= - already initialized
2017-05-05 11:17:55,487 [main] ERROR org.apache.pig.tools.pigstats.mapreduce.MRPigStatsUtil - 1 map reduce job(s) failed!
2017-05-05 11:17:55,515 [main] INFO  org.apache.pig.tools.pigstats.mapreduce.SimplePigStats - Script Statistics: 

HadoopVersion	PigVersion	UserId	StartedAt	FinishedAt	Features
2.8.0	0.16.0	root	2017-05-05 11:17:41	2017-05-05 11:17:55	UNKNOWN

Failed!

Failed Jobs:
JobId	Alias	Feature	Message	Outputs
job_local265525317_0001	A,LOGS_BASE,RAW_LOGS	MAP_ONLY	Message: Job failed!	home/data_program/log,

Input(s):
Failed to read data from "/home/data_program/access2.log"

Output(s):
Failed to produce result in "home/data_program/log"

Counters:
Total records written : 0
Total bytes written : 0
Spillable Memory Manager spill count : 0
Total bags proactively spilled: 0
Total records proactively spilled: 0

Job DAG:
job_local265525317_0001


2017-05-05 11:17:55,516 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Failed!
2017-05-05 11:17:55,599 [main] ERROR org.apache.pig.tools.grunt.GruntParser - ERROR 2244: Job job_local265525317_0001 failed, hadoop does not return any error message
Details at logfile: /home/data_program/pig_1494008237155.log
2017-05-05 11:17:55,809 [main] INFO  org.apache.pig.Main - Pig script completed in 50 seconds and 751 milliseconds (50751 ms)

希望能得到你的帮助，谢谢！

Please add English version.

All your resource is very helpful to me. But I don't know your language.
I tried with google translate but seen not working perfectly.

Thanks.

你好，请问有没有详细版本（当前版本为预览版）

我对你文章中介绍的项目很感兴趣，想学习一下，有没有关于项目的详细介绍？

关于《分析网站日志，打造访问地图》数据展示用到的库

你好，我下载了elasticsearch.jquery.js、jquery.js，但是latlng.js文件没有搜索到，我的头文件引用如下：

        <script src="js/jquery.js"></script>
        <script src="js/elasticsearch.jquery.js"></script>
        <link rel="stylesheet" href="ammap/ammap.css" type="text/css">
        <script src="ammap/ammap.js" type="text/javascript"></script>
    <script src="ammap/maps/js/worldLow.js" type="text/javascript"></script>
但是在执行后面的js代码时，地图展示不出来，我通过调试发现程序无法进入下面代码在：
$.each(results.aggregations[2].buckets, function(index, bucket){
            var mapData;
            $.each(data, function(index, country){
                if(country.name.toLowerCase() === bucket.key) {
                    mapData = {
                        code: country.code,
                        name: country.name,
                        value: bucket.doc_count,
                        color: "#eea638"
                    };
                }
            });
            if(mapData !== undefined){
                mapDatas.push(mapData);
            }
        });
        create_map(mapDatas);

我添加的js库是不是存在问题导致程序运行错误。另外country.json从下面地址下载的，不知道和您写的代码上的country.json是否兼容，地址如下：https://github.com/mledoze/countries/ 。你看能否提供你使用的js库文件版本及下载地址。
因为实践过程遇到很多代码的版本及兼容问题，您看能否提供下本书的一些比较详细的源代码，谢谢。

qrcode 二维码 404 了