Développement #12919
création d'annonces depuis un flux RSS externe
0%
Description
Chaque annonce devient une annonce web/mail
Files
Associated revisions
History
Updated by Serghei Mihai about 8 years ago
- File 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch added
- Status changed from Nouveau to En cours
- Patch proposed changed from No to Yes
Avec une tâche cron qui synchronise toutes les heures les categories disposant d'un flux rss défini.
Updated by Frédéric Péters about 8 years ago
s/stream/feed/
announce, created = Announce.objects.get_or_create(title=entry['title'], category=self)
Plutôt que se baser sur le titre il faudrait utiliser un identifiant stable présent dans le fil, feedparser normalise ça dans entry.id.
Updated by Serghei Mihai about 8 years ago
- File 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch added
Avec le parsing de la date de création des fils par dateutil.
Updated by Frédéric Péters about 8 years ago
feedparser fait déjà le taf de lecture des dates. (https://pythonhosted.org/feedparser/date-parsing.html)
Updated by Serghei Mihai about 8 years ago
- File 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch added
Ok, merci.
Et au passage j'utilise le bon attribut published et non updated.
Updated by Serghei Mihai about 8 years ago
- File 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch added
Patch à jour avec téléchargement/mise à jour des images des flux RSS afin de pouvoir les servir depuis l'instance de corbo.
Updated by Frédéric Péters about 8 years ago
for img in html_tree.xpath('//img/@src'):
r = requests.get(img)
Mmm, si jamais les attributs contenaient des URL relatives ? (peut-être pas utile de s'en préoccuper, je n'ai pas trouvé de fil faisant cela).
for old, new in substitutions:
text = text.replace(old, new)
Il n'y aurait pas moyen de faire la substitution dans le DOM, puis de dumper celui-ci, plutôt que faire l'analyse du DOM puis de la substitution au grand large ? (c'est facile d'imaginer des cas où la substitution foirerait, mais faut le faire exprès)
Updated by Serghei Mihai about 8 years ago
- File 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch added
Frédéric Péters a écrit :
[...]
Mmm, si jamais les attributs contenaient des URL relatives ? (peut-être pas utile de s'en préoccuper, je n'ai pas trouvé de fil faisant cela).
Je ne suis pas tombé non plus sur des fils avec des chemins relatifs vers les images, donc je pars du principe que toutes les URL sont absolues.
Il n'y aurait pas moyen de faire la substitution dans le DOM, puis de dumper celui-ci, plutôt que faire l'analyse du DOM puis de la substitution au grand large ? (c'est facile d'imaginer des cas où la substitution foirerait, mais faut le faire exprès)
Si, dans le patch joint.
Updated by Serghei Mihai about 8 years ago
- Status changed from En cours to Résolu (à déployer)
Auto-ack:
commit 7cf80d569a9331c44c0b8fdeeadb29cad8ece236
Author: Serghei Mihai <smihai@entrouvert.com>
Date: Wed Sep 28 14:53:10 2016 +0200
create announces from external RSS feed (#12919)
Updated by Frédéric Péters about 8 years ago
- Status changed from Résolu (à déployer) to En cours
Et l'autoack passe à côté du fichier sync_external_feeds.py qui manque.
Updated by Serghei Mihai about 8 years ago
- Status changed from En cours to Résolu (à déployer)
Commande manquante poussée.
create announces from external RSS feed (#12919)