feat: démarrer avec apache spark #1131
Merged
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
⚡️🏠 Lighthouse reportHere's the summary:
Here's the audits:
|
Cindyvlv
reviewed
Jul 5, 2024
| excerpt: >- | ||
| Le domaine de la data est présent au quotidient. La quantité de donnée est si grande que nous la nommons Big Data. | ||
| Dans cet article, nous verrons comment traiter ce volume de données à l'aide du framework Apache Spark. | ||
| categories: [] |
There was a problem hiding this comment.
Suggested change
| categories: [] | |
| categories: [architecture] |
| categories: [] | ||
| authors: | ||
| - tthuon | ||
| keywords: [] |
There was a problem hiding this comment.
Suggested change
| keywords: [] | |
| keywords: [ | |
| - apache spark | |
| - data | |
| - big data | |
| ] |
| slug: demarrer-apache-spark | ||
| title: Démarrer avec Apache Spark | ||
| excerpt: >- | ||
| Le domaine de la data est présent au quotidient. La quantité de donnée est si grande que nous la nommons Big Data. |
There was a problem hiding this comment.
Suggested change
| Le domaine de la data est présent au quotidient. La quantité de donnée est si grande que nous la nommons Big Data. | |
| Le domaine de la data est présent au quotidien. La quantité de donnée est si grande que nous la nommons Big Data. |
| keywords: [] | ||
| --- | ||
|
|
||
| Lorsque l'on travaille dans l'univers de la data, nous effectuons principalements sur ces trois étapes : |
There was a problem hiding this comment.
Suggested change
| Lorsque l'on travaille dans l'univers de la data, nous effectuons principalements sur ces trois étapes : | |
| Lorsque l'on travaille dans l'univers de la data, nous effectuons principalement sur ces trois étapes : |
| --- | ||
|
|
||
| Lorsque l'on travaille dans l'univers de la data, nous effectuons principalements sur ces trois étapes : | ||
| - extraire la données de la source |
There was a problem hiding this comment.
Suggested change
| - extraire la données de la source | |
| - extraire la donnée de la source |
|
|
||
| Par simplicité, nous nommerons Spark pour désigner Apache Spark. | ||
|
|
||
| ## Mise en situation |
There was a problem hiding this comment.
Suggested change
| ## Mise en situation | |
| ## Etape 1 : Récupération d'une source de données |
| 0674;Pont Haudaudine vers Sud;589;;5;0674 - Pont Haudaudine vers Sud;2021-03-26;Hors Vacances | ||
| ``` | ||
|
|
||
| ## Installation d'Apache Spark |
There was a problem hiding this comment.
Suggested change
| ## Installation d'Apache Spark | |
| ## Etape 2 : Installation d'Apache Spark |
|
|
||
| PySpark est installé ! | ||
|
|
||
| ## Création de notre pipeline ETL avec Apache Spark |
There was a problem hiding this comment.
Suggested change
| ## Création de notre pipeline ETL avec Apache Spark | |
| ## Etape 3 : Création de notre pipeline ETL avec Apache Spark |
| - la transformer pour lui donner de la valeur | ||
| - stocker le résultat | ||
|
|
||
| ### Lecture de la donnée source |
There was a problem hiding this comment.
Suggested change
| ### Lecture de la donnée source | |
| ## Etape 4 : Lecture de la donnée source avec Spark |
| lang: fr | ||
| date: '2024-07-12' | ||
| slug: demarrer-apache-spark | ||
| title: Démarrer avec Apache Spark |
There was a problem hiding this comment.
Suggested change
| title: Démarrer avec Apache Spark | |
| title: Démarrer avec Apache Spark étapes par étapes |
Cindyvlv
reviewed
Jul 5, 2024
|
|
||
| Bravo, vous venez de créer votre premier pipeline Spark. Un nouveau monde s'ouvre à vous. A travers cet article, nous avons vu l'installation de Spark et PySpark. Avec la création du pipeline, nous avons lu la source de données, effectuées quelques transformation, et enfin stocké la données à un endroit. Ce stockage permettra à d'autre corps de métier de la data de l'exploiter. | ||
|
|
||
| ## Références |
There was a problem hiding this comment.
Suggested change
| ## Références | |
| ### Références |
|
|
||
| Ainsi, dans l'arboresence, nous avons nos données partitionné par date. | ||
|
|
||
| ## Conclusion |
There was a problem hiding this comment.
Suggested change
| ## Conclusion | |
| ## Conclusion |
Comment on lines
13
to
17
| keywords: [ | ||
| - apache spark | ||
| - data | ||
| - big data | ||
| ] |
There was a problem hiding this comment.
Suggested change
| keywords: [ | |
| - apache spark | |
| - data | |
| - big data | |
| ] | |
| keywords: | |
| - apache spark | |
| - data | |
| - big data |
…emarrer-apache-spark.md
ElevenTom
approved these changes
Jul 8, 2024
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
No description provided.