Produits Entr'ouvert » Authentic 2

Y a-t-il une contrindication à charger la 1.34 de mellon sur pypi ?
J’ai tapé un lien vers le tarball de mellon upstream dans le tox.ini d’authentic sur la branche ("visible ici": https://git.entrouvert.org/authentic.git/commit/?h=wip/64305-dj32&id=fa9fe7da8b6fd7774c43126ad387c0979f8a9f81) mais c’est encore la 1.28 de pypi, en cache, qui est utilisée dans le build.

Paul Marillonnet a écrit :

Y a-t-il une contrindication à charger la 1.34 de mellon sur pypi ?

Je n'en vois pas.

La procédure d'upload est sur https://dev.entrouvert.org/projects/prod-eo/wiki/HowDoWeDoPythonPackaging

Serghei Mihai a écrit :

Je n'en vois pas.

La procédure d'upload est sur https://dev.entrouvert.org/projects/prod-eo/wiki/HowDoWeDoPythonPackaging

Merci, c’est fait.

On dirait que la logique de chargement des settings a changé, de toute évidence django 3 n’aime pas qu’on importe directement des balises de gabarit gadjo dans le settings.py d’authentic.

Traceback (most recent call last):
  File "/tmp/tox-paul/authentic/authentic-py3-dj32-drf312-djtables211/lib/python3.10/site-packages/pytest_django/plugin.py", line 179, in _handle_import_error
    yield
  File "/tmp/tox-paul/authentic/authentic-py3-dj32-drf312-djtables211/lib/python3.10/site-packages/pytest_django/plugin.py", line 351, in pytest_load_initial_conftests
    dj_settings.DATABASES
  File "/tmp/tox-paul/authentic/authentic-py3-dj32-drf312-djtables211/lib/python3.10/site-packages/django/conf/__init__.py", line 87, in __getattr__
    self._setup(name)
  File "/tmp/tox-paul/authentic/authentic-py3-dj32-drf312-djtables211/lib/python3.10/site-packages/django/conf/__init__.py", line 74, in _setup
    self._wrapped = Settings(settings_module)
  File "/tmp/tox-paul/authentic/authentic-py3-dj32-drf312-djtables211/lib/python3.10/site-packages/django/conf/__init__.py", line 183, in __init__
    mod = importlib.import_module(self.SETTINGS_MODULE)
  […]
  File "/home/paul/src/authentic/src/authentic2/settings.py", line 23, in <module>
    from gadjo.templatetags.gadjo import xstatic
ModuleNotFoundError: No module named 'gadjo'

Bon, c’est la copie locale de select2 qui ne devrait pas avoir lieu au moment du chargement des settings. J’ai viré cela temporairement et trouverai un endroit plus propice pour faire cette copie.

J’ai l’impression que les vrais ennuis commencent, django-tables2 encore une fois :

/tmp/tox-paul/authentic/authentic-py3-dj32-drf312-djtables241/lib/python3.10/site-packages/django_tables2/views.py:146: in get_context_data
    table = self.get_table(**self.get_table_kwargs())
[…]
/usr/lib/python3.10/copy.py:231: in _deepcopy_dict
    y[deepcopy(key, memo)] = deepcopy(value, memo)
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

x = <unlocked _thread.RLock object owner=0 count=0 at 0x7fb4db0eeb40>
memo = {140414737296192: [['ou'], ['name', 'slug', 'ou', 'member_count'], {}, <django.db.models.sql.query.Query object at 0x7...ytesIO object at 0x7fb4da92d7b0>, 140414737378240: <authentic2.manager.tables.RoleTable object at 0x7fb4da903ee0>, ...}
_nil = []

    def deepcopy(x, memo=None, _nil=[]):
        # […]
        if copier is not None:
            y = copier(x, memo)
        else:
            if issubclass(cls, type):
                y = _deepcopy_atomic(x, memo)
            else:
                copier = getattr(x, "__deepcopy__", None)
                if copier is not None:
                    y = copier(memo)
                else:
                    reductor = dispatch_table.get(cls)
                    if reductor:
                        rv = reductor(x)
                    else:
                        reductor = getattr(x, "__reduce_ex__", None)
                        if reductor is not None:
>                           rv = reductor(4)
E                           TypeError: cannot pickle '_thread.RLock' object

/usr/lib/python3.10/copy.py:161: TypeError

Avec une durée de build Jenkins qui augmente

Ma perspective ailleurs ça a été de laisser le commit qui ajoute la validation django3 dans la branche, et quand on approchera de la possibilité concrète de montée de version (= passés à bullseye), on pourra sur un court temps réintroduire.

Frédéric Péters a écrit :

Ma perspective ailleurs ça a été de laisser le commit qui ajoute la validation django3 dans la branche, et quand on approchera de la possibilité concrète de montée de version (= passés à bullseye), on pourra sur un court temps réintroduire.

Je ne me souviens plus si on a une échéance pour la migration à bullseye. J’ai peur que sans cible django3 en intégration continue, et avec un délai d’ici la migration suffisamment long, on se retrouve à faire une seconde fois ce boulot, non ?

On n'a pas d'échéance notée, ça manque mais ça ne doit pas tarder.

Frédéric Péters a écrit :

On n'a pas d'échéance notée, ça manque mais ça ne doit pas tarder.

Ok, je note pour moi même et pour le relecteur ici qu’on retirera la cible django3 avant de pousser.

Encore pas mal de ugettext_lazy (warnings) :

src/authentic2/apps/journal/app.py:24
  /home/bdauvergne/wd/eo/authentic/src/authentic2/apps/journal/app.py:24: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    verbose_name = _('Journal')

src/authentic2/validators.py:112
  /home/bdauvergne/wd/eo/authentic/src/authentic2/validators.py:112: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    message = _('Null characters are not allowed.')

src/authentic2/a2_rbac/models.py:52
  /home/bdauvergne/wd/eo/authentic/src/authentic2/a2_rbac/models.py:52: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    (RESET_LINK_POLICY, _('Send reset link')),

src/authentic2/models.py:51
  /home/bdauvergne/wd/eo/authentic/src/authentic2/models.py:51: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    user = models.ForeignKey(settings.AUTH_USER_MODEL, verbose_name=_('user'), on_delete=models.CASCADE)

src/authentic2/attribute_kinds.py:62
  /home/bdauvergne/wd/eo/authentic/src/authentic2/attribute_kinds.py:62: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    help_text = _('Format: yyyy-mm-dd')

src/authentic2/custom_user/models.py:149
  /home/bdauvergne/wd/eo/authentic/src/authentic2/custom_user/models.py:149: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    _('uuid'), max_length=32, default=utils_misc.get_hex_uuid, editable=False, unique=True

src/authentic2_auth_oidc/models.py:48
  /home/bdauvergne/wd/eo/authentic/src/authentic2_auth_oidc/models.py:48: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    (STRATEGY_CREATE, _('create if standard account matching failed')),

src/authentic2_auth_fc/models.py:84
  /home/bdauvergne/wd/eo/authentic/src/authentic2_auth_fc/models.py:84: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    created = models.DateTimeField(verbose_name=_('created'), auto_now_add=True)

src/authentic2_idp_cas/models.py:35
  /home/bdauvergne/wd/eo/authentic/src/authentic2_idp_cas/models.py:35: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    urls = models.TextField(verbose_name=_('urls'))

src/authentic2_idp_oidc/models.py:65
  /home/bdauvergne/wd/eo/authentic/src/authentic2_idp_oidc/models.py:65: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    (POLICY_UUID, _('uuid')),

src/authentic2/saml/app_settings.py:32
  /home/bdauvergne/wd/eo/authentic/src/authentic2/saml/app_settings.py:32: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    choices = ((EXPLICIT, _('explicit')), (IMPLICIT, _('implicit')))

src/authentic2/saml/models.py:103
  /home/bdauvergne/wd/eo/authentic/src/authentic2/saml/models.py:103: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    ('meta', _('Use the default from the metadata file')),

src/authentic2/saml/models.py:165
  /home/bdauvergne/wd/eo/authentic/src/authentic2/saml/models.py:165: RemovedInDjango40Warning: force_text() is deprecated in favor of force_str().
    NAME_ID_FORMATS_CHOICES = [(force_text(x), y['caption']) for x, y in NAME_ID_FORMATS.items()]

src/authentic2/apps/journal/models.py:179
  /home/bdauvergne/wd/eo/authentic/src/authentic2/apps/journal/models.py:179: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    name = models.SlugField(verbose_name=_('name'), max_length=256, unique=True)

src/authentic2/forms/profile.py:31
  /home/bdauvergne/wd/eo/authentic/src/authentic2/forms/profile.py:31: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    email = ValidatedEmailField(label=_('New email'))

src/authentic2/admin.py:43
  /home/bdauvergne/wd/eo/authentic/src/authentic2/admin.py:43: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    cleanup_action.short_description = _('Cleanup expired objects')

src/authentic2_idp_cas/admin.py:101
  /home/bdauvergne/wd/eo/authentic/src/authentic2_idp_cas/admin.py:101: RemovedInDjango40Warning: django.utils.translation.ugettext() is deprecated in favor of django.utils.translation.gettext().
    _('Logout'),

src/authentic2/saml/forms.py:33
  /home/bdauvergne/wd/eo/authentic/src/authentic2/saml/forms.py:33: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    name = forms.CharField(max_length=140, label=_('Name'))

src/authentic2/saml/admin.py:81
  /home/bdauvergne/wd/eo/authentic/src/authentic2/saml/admin.py:81: RemovedInDjango40Warning: django.utils.translation.ugettext() is deprecated in favor of django.utils.translation.gettext().
    metadata = forms.CharField(required=True, widget=TextAndFileWidget, label=_('Metadata'))

src/authentic2/a2_rbac/admin.py:97
  /home/bdauvergne/wd/eo/authentic/src/authentic2/a2_rbac/admin.py:97: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    name.short_description = _('name')

src/authentic2/api_mixins.py:27
  /home/bdauvergne/wd/eo/authentic/src/authentic2/api_mixins.py:27: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    default_detail = _('Cannot process request because of conflicting resources.')

src/authentic2/journal_event_types.py:140
  /home/bdauvergne/wd/eo/authentic/src/authentic2/journal_event_types.py:140: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    label = _('login')

src/authentic2/api_views.py:1320
  /home/bdauvergne/wd/eo/authentic/src/authentic2/api_views.py:1320: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    TIME_INTERVAL_CHOICES = [('day', _('Day')), ('month', _('Month')), ('year', _('Year'))]

src/authentic2/manager/journal_event_types.py:35
  /home/bdauvergne/wd/eo/authentic/src/authentic2/manager/journal_event_types.py:35: RemovedInDjango40Warning: django.utils.translation.ugettext_lazy() is deprecated in favor of django.utils.translation.gettext_lazy().
    label = _('user creation')

Paul Marillonnet a écrit :

• saml: discard deprecated force_text in saml2utils : force_str inutile

En supprimant ce force_str je me mange une erreur, il y a certains cas où c’est des bytes, je laisse donc ce commit inchangé.

Ok c'est l'inverse, c'est toujours un bytes en UTF-8, donc .decode().

• widgets: adapt ModelSelect2Mixin.filter_queryset prototype (#64305) : un peu tarabiscoté je suis d'avis de faire deux fonctions une simple adaptée au code récent de django-select2 une '_old' et de dispatcher selon la version de django-select2

Ok, redispatch sur une méthode _legacy_filter_queryset. Par contre je ne suis pas allé éplucher un à un le code des versions successives de django-select2 pour voir dans quelle mesure le prototype change, ça me va de rester sur if isinstance(request, str): qui est l’indicateur le plus rapide que les arguments positionnels sont ceux de la méthode legacy, avec un commentaire expliquant la situation. Pareil que plus haut : si c’est bloquant alors je fais un test plus explicite après avoir inspecté un peu les versions successives de ce bout de code dans django select2.

La signature n'a changé qu'une fois, à partir de la 7.x. Mon souci c'est d'avoir un marqueur clair pour savoir quand on peut retirer du code sans faire d'archéologie, donc ici si on a un truc comme :

# deprecate legacy code when django x.x not supported anymore
if django_select2.version < (7,):
   # old code
else:
   # new code

• tests: handle varying displayed role fields row order : ça me parait étrange que l'ordre ait changé, il n'y a pas d'ordre par défaut ?

Je suis allé voir un peu cette partie de django-tables2, il y a des mixins partout c’est un peu rude. Si c’est problématique que l’ordre des objets exportés change (perso et assez indépendamment de mon découragement à la lecture de ce code, ça ne me choque pas que l’ordre change), je creuserai, sinon ça me va de laisser les set() plutôt que les list() dans les tests.

Je préférerai qu'on creuse, l'ordre dépend du queryset, pas du tout de django-tables2, mais l'ordre a changé, donc soit on a pas d'ordre par défaut il faudrait en mettre un soit on a cassé un truc, mais ça peut être fait dans un autre ticket.

Encore pas mal de ugettext_lazy (warnings) :

J’ai corrigé tout ceux que tu listes ici. Il y en a encore plein d’autres, et d’autres avertissements RemovedInDjango40Warning pas lié à l’i18n, j’avoue que ça me va si on traite cela dans un second temps dans #64528, "diviser pour mieux fermer du ticket" et cætera :)

Ok.

Je valide modulo mes 2 première remarques.

Benjamin Dauvergne a écrit :

Je valide modulo mes 2 première remarques.

Ok, tout pris en compte dans la branche. Et j’ai créé #65159 pour cette affaire d’ordre d’apparition des rôles qui change avec django 3.

Jenkins teste dans cette branche à la fois en django 2 et 3, ce qui double le temps de build. Est-ce qu’on est d’accord que je retirerai la cible Jenkins django 3 au moment de pousser ?

Paul Marillonnet a écrit :

Jenkins teste dans cette branche à la fois en django 2 et 3, ce qui double le temps de build. Est-ce qu’on est d’accord que je retirerai la cible Jenkins django 3 au moment de pousser ?

Oui mais tu peux l'ajouter dans le Jenkinsfile dans la partie 'TimerTriggerCause' ce sont les builds lents qui ont lieu la nuit, ça nous informera si on s'éloigne de la compatibilité 3.2.

Benjamin Dauvergne a écrit :

Oui mais tu peux l'ajouter dans le Jenkinsfile dans la partie 'TimerTriggerCause' ce sont les builds lents qui ont lieu la nuit, ça nous informera si on s'éloigne de la compatibilité 3.2.

Ok très bien, branche à jour, si c’est ok pour toi je pousserai vendredi après avoir retiré l’environnement django 3 de la liste [tox:jenkins]. Vu qu’il est dans la liste [tox] il sera pris dans le build lent nocturne, si ma lecture du Jenkinsfile est bonne.

Automatic expiration