Hello, oui ça ressemble un peu, merci pour l'info. Par rapport à dask, je dirais que SeqTools est plus haut niveau et plus transparent, par exemple l'exécution à la demande est implicite.
Merci! J'ai utilisé une fois PyTable pour manipuler une base hdf5 et c'était bien pratique. SeqTools est plus orienté sur l'étape de transformation de ces données donc je pense que c'est complémentaire. N'hésite pas à me contacter si tu rencontres des difficultés à l'utilisation.
Hello! Au temps pour moi sur les numéros de version. Cela étant, j'ai souvenir qu'asyncio n'était pas très populaire avant les ajouts de la 3.7, c'est pourquoi je l'avais laissé de côté.
Il me semble que j'avais jeté un oeil à trio lorsque j'avais réfléchi initialement au problème, mais il y a quelques aspects qui m'ont convaincu de commencer par les outils de la lib standard:
personnellement, j'ai surtout besoin de charger les coeurs du CPU, donc j'ai développé pour le multiprocessing et la version avec les threads vient gratuitement car l'api est largement compatible.
j'ai pas pris le temps de vérifier comment ça fonctionne, mais si il y a un surcoût pour lancer chaque tâche, je préfère garder le système de threadpool.
trio semble s'appuyer pas mal sur les scopes (with ...), ce qui est très élégant, mais que je ne pense pas pouvoir cacher à l'utilisateur de ma lib. Pour ce projet j'ai essayé de rendre les choses les plus simples et transparentes possibles. Je pense que pour les cas plus compliqués, on a rapidement intérêt à abandonner SeqTools pour coder son pipeline à la main, par exemple avec trio.
Mais si j'ai un peu de temps, je commencerai par regarder trio d'un peu plus près ;-)
[^] # Re: Dask
Posté par nlgranger . En réponse au journal SeqTools et retour d'expérience sur le traitement de jeux de données en python. Évalué à 2.
Hello, oui ça ressemble un peu, merci pour l'info. Par rapport à dask, je dirais que SeqTools est plus haut niveau et plus transparent, par exemple l'exécution à la demande est implicite.
[^] # Re: Beau boulot…
Posté par nlgranger . En réponse au journal SeqTools et retour d'expérience sur le traitement de jeux de données en python. Évalué à 1.
Merci! J'ai utilisé une fois PyTable pour manipuler une base hdf5 et c'était bien pratique. SeqTools est plus orienté sur l'étape de transformation de ces données donc je pense que c'est complémentaire. N'hésite pas à me contacter si tu rencontres des difficultés à l'utilisation.
[^] # Re: Parallèle avec async/await
Posté par nlgranger . En réponse au journal SeqTools et retour d'expérience sur le traitement de jeux de données en python. Évalué à 3.
Hello! Au temps pour moi sur les numéros de version. Cela étant, j'ai souvenir qu'asyncio n'était pas très populaire avant les ajouts de la 3.7, c'est pourquoi je l'avais laissé de côté.
Il me semble que j'avais jeté un oeil à trio lorsque j'avais réfléchi initialement au problème, mais il y a quelques aspects qui m'ont convaincu de commencer par les outils de la lib standard:
with ...), ce qui est très élégant, mais que je ne pense pas pouvoir cacher à l'utilisateur de ma lib. Pour ce projet j'ai essayé de rendre les choses les plus simples et transparentes possibles. Je pense que pour les cas plus compliqués, on a rapidement intérêt à abandonner SeqTools pour coder son pipeline à la main, par exemple avec trio.Mais si j'ai un peu de temps, je commencerai par regarder trio d'un peu plus près ;-)