yuzihao111 / data-wrangling-openstreetmap

通过Python对OpenStreetMap的数据集进行整理和清洗。

Data-Wrangling-OpenStreetMap

项目概述

在 https://www.openstreetmap.org 中选择深圳城市，然后使用Python数据加工技术（比如针对有效性、准确率、完整性、一致性和均匀性评估数据质量），并使用SQL将数据写入储存。

项目相关内容

为完成项目，我将做如下操作：

1.针对有效性、准确率、完整性、一致性和均匀性来评估数据的质量。
2.使用Python进行解析（xml.etree.cElementTree），且从 .json、.xml、.csv、.html 等常用文件格式中收集数据。
3.使用Python处理来自大量文件和大型文件并且能够由电子表格程序进行清理的数据。
4.使用SQL（sqlite3）存储、查询和聚合数据。

项目详情

该项目要做的事情：

1.选择地图区域，本项目是从https://www.openstreetmap.org 中选择的深圳地区的数据，下载一个 XML OSM 数据集；
2.处理数据集，将数据集从XML格式转换为 CSV 格式，并将清理后的 .csv 文档储存到 SQL 数据集中；
3.用SQL进行数据分析。