Development #12919
création d'annonces depuis un flux RSS externe
0%
Description
Chaque annonce devient une annonce web/mail
Fichiers
Révisions associées
Historique
Mis à jour par Serghei Mihai il y a plus de 7 ans
- Fichier 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch ajouté
- Statut changé de Nouveau à En cours
- Patch proposed changé de Non à Oui
Avec une tâche cron qui synchronise toutes les heures les categories disposant d'un flux rss défini.
Mis à jour par Frédéric Péters il y a plus de 7 ans
s/stream/feed/
announce, created = Announce.objects.get_or_create(title=entry['title'], category=self)
Plutôt que se baser sur le titre il faudrait utiliser un identifiant stable présent dans le fil, feedparser normalise ça dans entry.id.
Mis à jour par Serghei Mihai il y a plus de 7 ans
- Fichier 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch ajouté
Ok
Mis à jour par Serghei Mihai il y a plus de 7 ans
- Fichier 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch ajouté
Avec le parsing de la date de création des fils par dateutil.
Mis à jour par Frédéric Péters il y a plus de 7 ans
feedparser fait déjà le taf de lecture des dates. (https://pythonhosted.org/feedparser/date-parsing.html)
Mis à jour par Serghei Mihai il y a plus de 7 ans
- Fichier 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch ajouté
Ok, merci.
Et au passage j'utilise le bon attribut published et non updated.
Mis à jour par Serghei Mihai il y a plus de 7 ans
- Fichier 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch ajouté
Patch à jour avec téléchargement/mise à jour des images des flux RSS afin de pouvoir les servir depuis l'instance de corbo.
Mis à jour par Frédéric Péters il y a plus de 7 ans
for img in html_tree.xpath('//img/@src'):
r = requests.get(img)
Mmm, si jamais les attributs contenaient des URL relatives ? (peut-être pas utile de s'en préoccuper, je n'ai pas trouvé de fil faisant cela).
for old, new in substitutions:
text = text.replace(old, new)
Il n'y aurait pas moyen de faire la substitution dans le DOM, puis de dumper celui-ci, plutôt que faire l'analyse du DOM puis de la substitution au grand large ? (c'est facile d'imaginer des cas où la substitution foirerait, mais faut le faire exprès)
Mis à jour par Serghei Mihai il y a plus de 7 ans
- Fichier 0001-create-announces-from-external-RSS-feed-12919.patch 0001-create-announces-from-external-RSS-feed-12919.patch ajouté
Frédéric Péters a écrit :
[...]
Mmm, si jamais les attributs contenaient des URL relatives ? (peut-être pas utile de s'en préoccuper, je n'ai pas trouvé de fil faisant cela).
Je ne suis pas tombé non plus sur des fils avec des chemins relatifs vers les images, donc je pars du principe que toutes les URL sont absolues.
Il n'y aurait pas moyen de faire la substitution dans le DOM, puis de dumper celui-ci, plutôt que faire l'analyse du DOM puis de la substitution au grand large ? (c'est facile d'imaginer des cas où la substitution foirerait, mais faut le faire exprès)
Si, dans le patch joint.
Mis à jour par Serghei Mihai il y a plus de 7 ans
- Statut changé de En cours à Résolu (à déployer)
Auto-ack:
commit 7cf80d569a9331c44c0b8fdeeadb29cad8ece236
Author: Serghei Mihai <smihai@entrouvert.com>
Date: Wed Sep 28 14:53:10 2016 +0200
create announces from external RSS feed (#12919)
Mis à jour par Frédéric Péters il y a plus de 7 ans
- Statut changé de Résolu (à déployer) à En cours
Et l'autoack passe à côté du fichier sync_external_feeds.py qui manque.
Mis à jour par Serghei Mihai il y a plus de 7 ans
- Statut changé de En cours à Résolu (à déployer)
Commande manquante poussée.
create announces from external RSS feed (#12919)