osm-fr / infrastructure Goto Github PK
View Code? Open in Web Editor NEWHandle tickets against osm-fr infrastructure
License: MIT License
Handle tickets against osm-fr infrastructure
License: MIT License
Bonjour,
depuis ce matin, Nextcloud ne se synchronise plus sur mon poste ou trés lentement (c'est pas clair, il semble tenter la synchro puis planter). L'interface web est trés longue à obtenir puis tout est trés trés long !!!
liste des modifs faites ou à faire dont certaines sont à transformer en ansible :)
Stats avant modif : munin-update 240sec + munin-limits 2sec + munin-graph 80sec + munin-html 60sec = 382sec toutes les 300sec :(
Stats après modif : munin-update 150sec + munin-limits 2sec + munin-graph 0sec + munin-html 57sec = 209sec toutes les 300sec
Visualisation avec Leaflet des couches produites par OSM-FR
@cquest tjs d'actualité ? il y avait des bras prêt à aider.
https://pad.tetaneutral.net/p/osm
Bonjour,
J'ai accès à osm202 depuis octobre mais comme je ne suis pas sudo je ne peux pas faire grand chose ;)
ci-dessous ma liste au père-noël (c'est bientôt la période…) :
le certificat https du forum et de taginfo ont expiré (et sans doute les autres aussi)
@jocelynj tu avais mis un script en place il y a quelques mois pour les renouveler chaque mois mais d'après la date du certificat, il ne semble pas s'exécuter.
Let's encrypt est aussi supposé envoyer un email d'alerte. ce serrait probablement utile de changer l'email d'alerte au profit de celle de la ml technique.
exemple hier sur https://munin.openstreetmap.fr/osm11.openstreetmap.fr/osm117.openstreetmap.fr/cpu.html
idle max > 10 millions
iowait max > 11 millions
il me semble qu'aucune valeur ne peux être supérieur a 2400 % vu que la vm a 24 coeurs cpu.
cela se produit aussi sur 101 qui est sur le même hosteur
mais sur le hosteur lui même, pas vu d'anomalie.
Pour voir les moments oü se produisent ces anomalies, il suffit de demander le graphe des valeur >2400%
https://munin.openstreetmap.fr/static/dynazoom.html?plugin_name=osm11.openstreetmap.fr%2Fosm117.openstreetmap.fr%2Fcpu&start_iso8601=2017-11-04T12%3A23%3A58%2B0100&stop_iso8601=2017-11-05T18%3A23%3A58%2B0100&start_epoch=1509794638&stop_epoch=1509902638&lower_limit=2400&upper_limit=2500&size_x=800&size_y=400&cgiurl_graph=%2Fmunin-cgi%2Fmunin-cgi-graph
@jocelynj The certificate is only valid for the following names: beta.osmose.openstreetmap.fr, osmose.openstreetmap.fr, osmose.openstreetmap.lu
Bonjour @jocelynj
J'aurais besoin que tu me fasses 2 redirections vers bzh202 :
Merci d'avance.
Suite au problème récent d'un oom qui a killé monit et cron, bloquant par la même les taches automatique
Il serrait utile d'avoir un check lancé par exemple le serveur de monitoring ou par le serveur de backup (ou autre serveur qui a accès partout) qui teste simplement que les crons sont lancés et/ou qui test que monit tourne.
l'autre solution est de faire l'inverse : chaque serveur envois régulièrement une info qu'il est up (un wget vers un serveur de monitoring par ex).
cela permet de déclencher une alerte lorsqu'un cron ne tourne pas.
A voir si cela peux-être intégré dans le monitoring qu'est entrain de mettre en place Rodolphe.
La 2ieme solution a ma préférence (mode push)
runtime error: open64: 0 Success /ssd/overpass/database/areas.bin.idx File_Blocks_Index: bad pos in index file
info venant de Stereo sur irc.
je supose qu'il a fait une requête sur une aire
j'ai reproduis le cas pour l'ajouter dans le moniteur script ~marc_marc/test_area.sh (il reste à comprendre pq il ne veux pas l'exécuter sur localhost
Salut
L'url http://export.openstreetmap.fr/contours-administratifs/communes/ ne répond plus.
Cheers.
Bonjour,
Je bute sur un problème pour la mise en prod de la carte en breton.
J'ai trouvé d'où vient le problème : aucune requête contenant un ST_SIMPLIFY n'aboutit.
Cela touche bien évidemment toutes les couches dédiées aux petites échelles.
2 exemples ci-dessous qui aboutissent très bien et assez vite sur ma base Bretagne en local mais qui ne rend rien ou un truc bizarre dans la console psql quand on les joues sur la base monde.
SELECT osm_id, ST_Simplify(way, 20) AS way, way_area AS area, COALESCE(landuse, leisure, "natural", highway, amenity, tourism) AS type FROM planet_osm_polygon WHERE way_area > 100000
AND way && ST_SetSRID('BOX3D(-205462.7320305551 6095394.383573093,-146759.0943075371 6154098.02129611)'::box3d, 3857);
SELECT osm_id, ST_Simplify(way, 10) AS way, COALESCE(railway) AS type, tags->'usage'::text AS usage, tunnel, bridge FROM planet_osm_line WHERE railway IN ('rail') AND tags->'usage'::text IN ('main', 'branch')
AND way && ST_SetSRID('BOX3D(-607072.89 6105178.323193599,-469629.1017841224 6590288.74)'::box3d, 3857) ;
Une idée de la cause @cquest ?
mettre/activer un antispam sur Sympa
https://www.sympa.org/manual/antispam
attention c'est gandi qui forwarde les emails à liste... faudra donc configurer correctement le smart_host
On veut migrer uMap sur les nouvelles machines, et en profiter pour passer sur python 3.
Un fabfile existe pour le déploiement, mais il faudra sûrement un peu de boulot manuel pour la migration des fichiers d'une part, et la mise en place d'un backup d'autre part.
/data/work/umap/var/uploads
(machine actuelle) vers /srv/umap/media_root
(nouvelle machine); il faut migrer seulement les .geojson
, pas les fichiers de cache .geojson.gz
/etc/cron.hourly/umap-sync
)sudo -u postgres -i
dropdb umap
createdb umap -O umap
psql umap < /srv/umap/dump.sql
# En user umap
sudo -u umap -i
psql umap
# appliquer la migration SQL cf https://github.com/umap-project/umap/blob/master/docs/changelog.md
source venv/bin/activate
umap migrate --fake-initial
# En user sudoer
sudo systemctl restart uwsgi nginx
supprimer le rsync hourly
lancer un dernier rsync des fichiers
$ /etc/cron.hourly/umap-sync
changer le SITE_URL
dans la config (/etc/umap/umap.conf
)
basculer le DNS
@jocelynj @cquest quelqu'un peut me rappeler l'IP de la VM de destination? :)
Le but : que le serveur apache 2.4 sur osm202 reçoive bien les vraies IP des clients.
user ---> frontal nginx (osm25) ---> apache24 (osm202)
Docs :
Fait sur osm202 :
a2enmod remoteip
service apache2 restart
# pour vérifier
apachectl -M
nano /etc/apache2/conf-available/remoteip.conf
…
a2enconf remoteip
service apache2 restart
Contenu de remoteip.conf
#RemoteIPHeader X-Forwarded-For
RemoteIPHeader X-Real-IP
# ici les adresse distantes auxquelles on fait confiance pour présenter une valeur RemoteIPHeader
RemoteIPTrustedProxy 10.0.0.25
N'a pas marché : j'ai tjs 10.0.0.25 en IP d'origine dans les logs. Que ce soit en RemoteIPHeader X-Real-IP
ou en RemoteIPHeader X-Forwarded-For
.
@jocelynj peux-tu remettre ici la config du nginx STP ?
tache a probablement diviser en sous-tache :
erreur 500 sur l'interface web
sans doute causé par :
2018-07-25 07:00:01 status installed sympa:amd64 6.1.23~dfsg-2+deb8u2
solution : récupérer l'ancien /etc/sympa/wwsympa.conf écrasé par la maj si c'est le même soucis que celui signalé sur https://listes.renater.fr/sympa/arc/sympa-fr/2018-07/msg00042.html
demande d'une vm pour Fred pour un docker osmose frontend
nettoyer la page wiki pour
demande de Rodolphe
idéalement en accès direct au moins pour http/https (histoire que le service soie accessible si le reverse proxy)
Hello,
La nouvelle ortho de Toulouse est disponible ici:
https://data.toulouse-metropole.fr/explore/dataset/orthophotoplan-2017/
Est-ce que quelqu'un peut la mettre à dispo sur http://wms.openstreetmap.fr/tms/1.0.0/toulouse_2017 ?
Signalé sur la liste de discussion umap, il semble que cela concerne le rendu 👍 http://tile.openstreetmap.fr/?q=f%C3%A9nelon%20lyc%C3%A9e%20paris#
l'affichage des rues se fait parfois de manière erronée, par exemple ici Saint-André des Arts, qui s'affiche correctement à gauche et droite, mais s'affiche « Rue Sairé des Arts » au centre au croisement de la « rue des Grands Augustins » verticale, qui elle aussi s'affiche de manière erronée (« Rue des Graes Grands Augustins ». À d'autres niveaux d'agrandissement, l'affichage ne pose pas de souci.
https://lists.openstreetmap.org/pipermail/umap/2018-July/000277.html
plante régulièrement par saturation ram. plusieurs pistes :
soupçon de surallocation mémoire dans la vn :
soupçon de fuite mémoire applicative :
Je m'étonne de la grande différence entre le serveur de rendu osm-fr et ceux osm.org
le critère le plus frappant est le nombre de metatuile/second org ~11 fr ~1
https://munin.openstreetmap.org/openstreetmap/scorch.openstreetmap/renderd_processed.html
https://munin.openstreetmap.fr/openstreetmap.fr/osm13.openstreetmap.fr/renderd_processed.html
la db a aussi régulièrement des pics de 2h de lag
https://munin.openstreetmap.fr/openstreetmap.fr/osm13.openstreetmap.fr/index.html#osm
pistes :
http://munin.openstreetmap.fr/osm27.openstreetmap.fr/osm27.openstreetmap.fr/smart_sdc.html
depuis mai 2017 smartctl_exit_status 64
Bit 6: The device error log contains records of errors.
C'est peut-être les travaux sur les serveurs, dans ce cas désolé pour ce signalement !!!
Sinon si ce n'est pas les travaux, nous avons actuellement : 502 Bad Gateway
nginx/1.6.2
Bonjour @cquest
Je te sollicite pour disposer de ton script d'expiration des tuiles.
On en avait parlé en décembre mais c'était trop tôt. Maintenant c'est OK.
J'ai bien vu que les listes des tuiles sont dans /data/osm2pgsql/expire_list/
et j'ai lu https://wiki.openstreetmap.org/wiki/Tile_expire_methods
Et je vois bien que le souci du script c'est de gérer la liste des listes sur un pas de temps donné.
Inutile donc de refaire ce qui marche bien ^_^
Je te remercie donc d'avance de me le faire parvenir par n'importe quel moyen.
Pour pouvoir utiliser le fond de carte BDOrtho depuis iD via http://preview.ideditor.com/release et http://preview.ideditor.com/master
Hello,
J'aimerais avoir temporairement une petite VM pour valider la mise à jour du serveur JOSM vers Ubuntu 18.04.1:
https://josm.openstreetmap.de/ticket/16231
La mise à jour étant dispo le 26 juillet, serait-il possible d'avoir une VM un mois environ (par exemple du 19 juillet au 19 août) avec les caractéristiques suivantes:
Merci,
Vincent
un restart en cron l'élimine, mais bon, c'est pas propre dixit @cquest
l'overpass api sur osm103 n'est plus en prod
mais il reste probablement d'autre chose à migrer de cette vm
dici là on pourrait diminuer la ram qui lui est allouée (+ utile temporairement pour le problème osmose frontend)
Hello,
L'ortho de Toulouse hébergée sur osm.fr est KO depuis septembre 2017:
http://wms.openstreetmap.fr/tms/1.0.0/toulouse_2015/22/2113645/1530320
An error occurred: msDrawWMSLayerLow(): WMS server error. WMS GetMap request failed for layer 'toulouse_2015' (Status -6: Couldn't resolve host 'data1.cugt.org').
msHTTPExecuteRequests(): HTTP request error. HTTP: request failed with curl error code 6 (Couldn't resolve host 'data1.cugt.org') for http://data1.cugt.org/geocache/wms/?LAYERS=ortho2015&REQUEST=GetMap&SERVICE=WMS&FORMAT=image/jpeg&STYLES=&HEIGHT=256&VERSION=1.1.1&SRS=EPSG:3943&WIDTH=256&BBOX=1572247.61790015,2276607.00260077,1572254.66780911,2276614.0286607&TRANSPARENT=TRUE&EXCEPTIONS=application/vnd.ogc.se_inimage
File "/usr/lib/pymodules/python2.7/TileCache/Service.py", line 256, in modPythonHandler
host )
File "/usr/lib/pymodules/python2.7/TileCache/Service.py", line 208, in dispatchRequest
return self.renderTile(tile, params.has_key('FORCE'))
File "/usr/lib/pymodules/python2.7/TileCache/Service.py", line 138, in renderTile
data = layer.render(tile, force=force)
File "/usr/lib/pymodules/python2.7/TileCache/Layer.py", line 444, in render
return self.renderTile(tile)
File "/usr/lib/pymodules/python2.7/TileCache/Layers/MapServer.py", line 51, in renderTile
mapImage = wms.draw()
File "/usr/lib/python2.7/dist-packages/mapscript.py", line 1574, in draw
def draw(*args): return _mapscript.mapObj_draw(*args)
Solution: il faut remplacer dans la conf du serveur le host 'data1.cugt.org' par 'wms.plan.toulouse.fr'.
Il n'y a pas de certif valide sur tms.cadastre.openstreetmap.fr et wms.openstreetmap.fr
Rézopole renumérote les IP des VM.
Les nouvelles IP étaient déjà configurées, j'ai juste mis à jour le DNS (Gandi).
Issue créée juste pour avoir une trace de la manip ;)
If you need the issue in english, just ask.
Bonjour,
Sur l'osmecum "Intégrer les adresses" (https://wiki.openstreetmap.org/w/images/8/86/Osmecum_integration_adresses_v1.odt) indiqué sur la page https://wiki.openstreetmap.org/wiki/WikiProject_France/Osmecum, le site http://addr.openstreetmap.fr est utilisé comme outil de base. Or j'ai bien une résolution du nom mais pas de réponse du serveur.
ces 3 orthophoto sont ko (celle de Bordeaux 2016 fonctionne par contre)
est-ce un problème sur wms.openstreetmap.fr ou est-ce c'est un reverse proxy vers une source externe qui est ko temporairement ou définitivement ?
Quand une VM est réinstallée, la clé du serveur ssh change. Du coup, le serveur de backup ne fait plus de backup sur cette VM là, à moins de modifier la clé manuellement.
Par ailleurs, ajouter une VM sur le serveur de backup nécessite aussi de rajouté la clé publique manuellement sur le serveur backuppc.
L'optimisation des valeurs d'apache pour éviter la surconsommation de ram n'a probablement pas été mise dans le rôle ansible, le nouveau serveur ne l'avait plus, je l'ai fait à la main
fichier /etc/apache2/mods-enabled/mpm_event.conf
le plus important :
moins important :
par ailleurs il n'y a pas de www-browser nécessaire pour apachectl2 status
j'ai regardé sur osm117, c'était le paquet firefox-esr qui fournissait la dépendance
ne sachant pas si c'était voulu d'avoir si lourd pour si peu, j'ai installé temporairement links pour tester, cela suffit.
je te laisse le soin de choisir lequel des 2 tu souhaites :-)
Hello,
Je souhaite maintenir l'application petiteReine initialement écrite par Emmanuel Dewaele https://github.com/Cyrille37/petiteReine
related: edewaele/petiteReine#6
Bonjour,
Serait-il possible d’ajouter le Luxembourg a la liste des pays sur http://download.openstreetmap.fr/replication/europe/?
Merci
David
Histoire de partager les efforts et ne pas avoir le monde entier qui tape sur l'instance maintenue par Komoot, on pourrait peut-être avoir notre propre instance de Photon:
https://github.com/komoot/photon
C'est en gros un ElasticSearch, dont il faut télécharger l'index une fois par semaine (53 Go de données compressées).
killall nc
est probablement un bon début :)Choses à faire par moi-même sur osm202
Étape 1
Étape 2
Étape 3
Étape 4
Étape 5
vérifier s'il y a des choses à importer depuis http://trac.openstreetmap.fr
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.