imclab / map-reduce

Przykłady z MapReduce

MapReduce w przykładach

Źródło: MapReduceFoundation: Typing of MapReduce

Nasze dane

It’s impossible to overstress this:
80% of the work in any data project is in cleaning the data.

— DJ Patil, „Data Jujitsu”

1. Włodzimierz Bzyl, 4 Books from Project Gutenberg.
2. Paweł Kamiński, Sacramento Crimes.
3. Michał Mroczkowski, Kody Pocztowe.
4. Daniel Szymczak, Religie.
5. Łukasz Wasak, Ceny Towarów w Polsce.
6. Ryszard Madejski, Samochody w USA.
7. Aneta Budner, Adresy IP.
8. Urszula Sawicka, Popularne nazwy produktów.
9. Jan Mudry, Obliczenie liczby pi metodą Monte Carlo.
10. Jakub Martin, Imieniny.
11. Alicja Kopczyńska, Bazyliki.
12. Dorian Sawa, Kody pocztowe.
13. Jan Pawlukiewicz, Samochody w USA.
14. Paweł Śląski, Aktywność userów Githuba.
15. Marcin Głombiowski, Całkowanie metodą prostokątów.
16. Daniel Landowski, Duże i małe książki.
17. Jakub Ciechowski, Trzęsienia ziemi.
18. Adam Radomski, Kody pocztowe.
19. Marcin Gigołło, Samochody.
20. Wojciech Szymański, Samochody w USA.
21. Damian Szafranek, Lista UNESCO i czołgi WW2.
22. Patryk Jażdżewski, Wydatki Home Office.
23. Romuald Łuczyk, Państwa świata.
24. Adrian Szulc, Lotniska.
25. Michał Frankowski Samochody.
26. Łukasz Kępiński Transfery piłkarzy 2007-2013.
27. Andrzej Thiel Kody pocztowe.
28. Damian Wieliczko Kody_pocztowe.
29. Maciej Stanik Samochody w USA.
30. Przemysław Jakuła GeoNames - kraje, miejscowości świata.
31. Mateusz Skorb Monety okolicznościowe.
32. Maciej Młynarski UFC Fighters.
33. Marek Dubrawa Rynek samachodowy w USA 2000r.
34. Bartłomiej Bedra Lotniska.
35. Adam Szuliński Religie.
36. Dawid Wiśniewski Kody pocztowe.
37. Adam Szuliński, Religie.
38. Anna Łońska, Lotniska.
39. Bartłomiej Pietraszuk, UFO w USA.

GitHub Archive

• GitHub Archive
• Ilya Grigorik, Analyzing Millions of GitHub Commits

Przykładowy JSON:

{
  "repository": {
    "master_branch": "master",
    "pushed_at": "2013-03-31T06:14:38-07:00",
    "created_at": "2011-01-12T03:10:05-08:00",
    "language": "JavaScript",
    "forks": 4,
    "stargazers": 8,
    "watchers": 8,
    "homepage": "",
    "description": "",
    "url": "https://github.com/wbzyl/nosql-tutorial",
    "name": "nosql-tutorial",
    "id": 1245063,
    "fork": false,
    "size": 564,
    "owner": "wbzyl",
    "private": false,
    "open_issues": 0,
    "has_issues": true,
    "has_downloads": true,
    "has_wiki": true
  },
  "actor_attributes": {
    "email": "[email protected]",
    "location": "Poland",
    "blog": "http://tao.inf.ug.edu.pl/",
    "company": "Institute of  Informatics, The University of Gdańsk",
    "name": "Wlodek Bzyl",
    "gravatar_id": "5daf79134c95a64ccdbf2bd477e52392",
    "type": "User",
    "login": "wbzyl"
  },
  "actor": "wbzyl",
  "url": "https://github.com/wbzyl/nosql-tutorial/compare/073c0ed4c5...e5a8ae8209",
  "type": "PushEvent",
  "public": true,
  "payload": {
    "head": "e5a8ae820950953ce115801fe099d42ecb481ed1",
    "ref": "refs/heads/master",
    "size": 1,
    "shas": [
      ["e5a8ae820950953ce115801fe099d42ecb481ed1","[email protected]","update README-Ruby.md","Wlodek Bzyl",true]
    ]
  },
  "created_at": "2013-03-31T06:14:39-07:00"
}