Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Implementar en todos los scrapers una forma progresiva de scrapear "sin repetir" #11

Open
abenassi opened this issue Sep 3, 2019 · 0 comments
Open

Implementar en todos los scrapers una forma progresiva de scrapear "sin repetir" #11

abenassi opened this issue Sep 3, 2019 · 0 comments

Comments

@abenassi
Copy link
Collaborator

abenassi commented Sep 3, 2019 •
edited
Loading

Contexto

El server falla o bloquea el exceso de consultas repetidas, debemos intentar no repetir la misma consulta si no es necesario porque ya tenemos el dato.

Propuesta

Leer previamente el archivo CSV de destino (el que se quiere generar), cargarlo en memoria y evitar generar las requests que devolverían datos de un primary key que ya se tiene.
@abenassi abenassi changed the title El scraper de TCE falla si se piden demasiadas fechas: investigar por qué Implementar en todos los scrapers una forma progresiva de scrapear "sin repetir" Sep 3, 2019
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@abenassi