← Blog
Un éventail crème aux branches lavande avec un segment orange sur fond clair.
Publié le
2026-11-16

Parquet ou CSV : choisir le format de vos données

Choisissez CSV lorsque le destinataire a besoin d’un export texte simple, lisible par ses outils. Choisissez Parquet lorsqu’un outil analytique compatible interroge régulièrement des données typées, notamment certaines colonnes d’un ensemble plus large. Conserver les deux peut être pertinent si vous distinguez la copie d’échange de la copie analytique et définissez leur production.

La comparaison utile porte sur le traitement complet : qui lit le fichier, quelles valeurs doivent être préservées, à quelle fréquence il est interrogé et comment les modifications sont gérées. Ce guide propose un petit exemple de conversion testé. Il vérifie la conservation des valeurs et des types, sans affirmer qu’un format est toujours plus compact ou plus rapide.

Partir de l’outil destinataire et de la charge de travail

Apache Parquet est un format binaire organisé par colonnes, avec prise en charge de l’encodage et de la compression. CSV représente les enregistrements sous forme de texte délimité. Son en-tête peut nommer les champs, mais il ne précise pas qu’un identifiant de compte est une chaîne ou qu’un solde comporte deux décimales.

DécisionCSVParquet
Échange avec une applicationUtile si son import accepte le texte délimité.Utile si elle prend en charge les types, fonctionnalités et compressions du producteur.
Inspection d’un petit échantillonLisible comme texte, en respectant les règles de guillemets et d’encodage.Nécessite un lecteur compatible pour examiner le schéma et les valeurs.
Types de donnéesDéfinis par un contrat distinct ou déduits par le lecteur.Conservés dans le schéma du fichier, avec une compatibilité du lecteur à vérifier.
Requêtes analytiques répétéesL’analyse du texte et les conversions font partie de la lecture.La sélection des colonnes et certains filtres peuvent réduire le travail de lecture.
Petit transfert ponctuelSouvent suffisant si le destinataire préserve les valeurs nécessaires.Peut ajouter des outils ou une conversion sans bénéfice utile.

Essayez un échantillon représentatif dans l’application destinataire. Un tableur qui transforme 00123 en 123 a modifié un identifiant, même si le CSV contenait les bons caractères. Réussir à ouvrir le fichier ne suffit pas à valider son import.

Définir le contrat de données avant la conversion

Pour CSV, définissez l’encodage, le séparateur, les guillemets, les noms des colonnes, les types, les dates et la distinction entre valeur absente et chaîne vide. La documentation CSV de Python décrit les différences de dialecte et propose un lecteur et un outil d’écriture. Découper chaque ligne sur les virgules ne traite pas correctement les virgules entre guillemets ni les retours à la ligne intégrés.

Pour Parquet, vérifiez la correspondance des dates, horodatages, décimaux et valeurs imbriquées entre le producteur et le lecteur. Les types logiques de Parquet décrivent l’interprétation des valeurs stockées. La prise en charge du format ne garantit pas celle de chaque type ou fonctionnalité dans toutes les applications.

Une conversion ne restaure pas une information déjà perdue. Si une étape précédente a transformé un identifiant en entier, l’export de cet entier vers Parquet ne recréera pas ses zéros initiaux. Validez la première lecture autant que le résultat converti.

L’exemple ci-dessous réserve \N aux valeurs absentes et conserve séparément les chaînes vides. Ce marqueur est une convention propre à cet échange, pas une règle universelle de CSV. Un texte littéralement égal à \N sort du contrat de cet exemple ; si vos données peuvent en contenir, convenez d’une autre représentation et testez-la dans l’application destinataire.

Tester un aller-retour CSV, Parquet, puis CSV

L’exemple utilise quatre enregistrements synthétiques. Il comprend des identifiants avec zéros initiaux, un solde absent, un zéro réel, une note vide, une note absente, une virgule, un caractère accentué et un retour à la ligne intégré. Les dates et les soldes ont des types explicites.

Il a été exécuté avec CPython 3.12.14 et DuckDB 2.0.0 sous Windows le 16 novembre 2026. Selon les prérequis Python de DuckDB, utilisez Python 3.11 ou une version ultérieure dans un environnement virtuel activé, puis installez la version employée ici :

python -m pip install duckdb==2.0.0

Enregistrez le programme suivant dans roundtrip.py. Il utilise une base en mémoire et un répertoire temporaire supprimé à la fin de l’exécution. Il ne lit pas de données métier, ne se connecte pas à un stockage cloud et ne remplace pas de fichiers dans votre dossier de travail.

import csv
import tempfile
from datetime import date
from decimal import Decimal
from pathlib import Path

import duckdb


def read_csv(db, path):
    return db.sql(r"""
        SELECT * FROM read_csv(?, header=true, auto_detect=false,
            delim=',', quote='"', escape='"', nullstr='\N',
            dateformat='%Y-%m-%d',
            columns={'account_id': 'VARCHAR', 'joined_on': 'DATE',
                     'balance': 'DECIMAL(10,2)', 'note': 'VARCHAR'})
    """, params=[str(path)])


def run_demo():
    rows = [
        ["00123", "2026-11-01", "12.50", ""],
        ["00456", "2026-11-02", r"\N", "priority, EU"],
        ["00789", "2026-11-03", "0.00", r"\N"],
        ["00001", "2026-11-04", "-2.10", "café\nsecond line"],
    ]
    expected = [
        ("00001", date(2026, 11, 4), Decimal("-2.10"), "café\nsecond line"),
        ("00123", date(2026, 11, 1), Decimal("12.50"), ""),
        ("00456", date(2026, 11, 2), None, "priority, EU"),
        ("00789", date(2026, 11, 3), Decimal("0.00"), None),
    ]
    with tempfile.TemporaryDirectory() as folder, duckdb.connect() as db:
        root = Path(folder)
        source, columnar, exported = [root / n for n in
                                      ("input.csv", "data.parquet", "output.csv")]
        with source.open("w", encoding="utf-8", newline="") as stream:
            writer = csv.writer(stream)
            writer.writerow(["account_id", "joined_on", "balance", "note"])
            writer.writerows(rows)
        typed = read_csv(db, source)
        assert typed.order("account_id").fetchall() == expected
        typed.write_parquet(str(columnar), compression="zstd")
        restored = db.read_parquet(str(columnar))
        assert restored.columns == typed.columns
        assert restored.types == typed.types
        assert restored.order("account_id").fetchall() == expected
        restored.write_csv(str(exported), header=True, sep=",", na_rep=r"\N")
        assert read_csv(db, exported).order("account_id").fetchall() == expected
    print("4 rows verified: CSV -> Parquet -> CSV")


if __name__ == "__main__":
    run_demo()

Exécutez-le normalement, sans l’option Python -O, qui désactiverait les assertions :

python roundtrip.py

Résultat attendu :

4 rows verified: CSV -> Parquet -> CSV

Comprendre ce que les vérifications démontrent

La première comparaison contrôle les valeurs lues dans le CSV face à des chaînes, dates, décimaux et valeurs absentes explicitement définis en Python. Après l’écriture en Parquet, le programme vérifie les noms des colonnes, leurs types et les enregistrements triés. Il écrit ensuite un nouveau CSV avec le même marqueur d’absence et le relit selon le contrat initial.

Le lecteur utilise des options CSV explicites de DuckDB, notamment auto_detect=false et un schéma complet. L’export Python utilise na_rep pour le marqueur d’absence, conformément à l’API relationnelle. Les noms d’options SQL et Python ne sont pas toujours identiques.

La comparaison trie les données sur l’identifiant unique de l’exemple : l’ordre physique des lignes ne fait donc pas partie de la promesse. Elle contrôle l’équivalence des enregistrements interprétés, sans exiger des CSV identiques octet par octet. Les guillemets, fins de ligne ou représentations décimales peuvent changer tout en conservant les valeurs convenues.

Ce petit jeu de données n’établit ni taux de compression, ni gain de vitesse, ni compatibilité avec votre tableur, entrepôt ou autre lecteur Parquet. Ses en-têtes sont connus ; un import en production doit aussi vérifier les noms et l’ordre des colonnes reçues. Ajoutez vos valeurs difficiles et faites passer le résultat dans l’outil réellement destinataire. Pour un chargement dans PostgreSQL, le guide de pipeline ETL Python (en anglais) traite la validation et l’import comme un processus distinct.

Mesurer les requêtes réellement prévues

DuckDB peut lire certaines colonnes Parquet et appliquer des filtres compatibles pendant la lecture. Les données évitées dépendent des métadonnées et de l’organisation du fichier, comme l’explique la documentation du lecteur Parquet. Une requête lisant presque toutes les valeurs n’offre pas les mêmes possibilités qu’une requête limitée à quelques colonnes et à une courte période.

Comparez des fichiers représentatifs avec les mêmes enregistrements, requêtes, versions du lecteur, matériel et contrôles de résultat. CSV peut aussi être compressé, par exemple avec gzip. Notez la compression de chaque format, la prise en compte de la conversion et l’état du cache. Mesurez la taille produite, la durée, le pic mémoire et les éventuels coûts de transfert. Un export unique et une requête quotidienne demandent des calculs de coût différents.

L’organisation des fichiers compte aussi. De nombreux petits fichiers ajoutent de la surcharge ; la taille des groupes de lignes implique des compromis de compression, de mémoire, de parallélisme et de filtrage. Les conseils Parquet de DuckDB détaillent ces choix. Ajustez-les à la charge au lieu d’imposer une taille de fichier ou de groupe universelle.

Gérer explicitement les copies d’échange et d’analyse

Une organisation possible consiste à fournir un CSV à un partenaire et à conserver une copie Parquet pour l’analyse interne récurrente. Désignez la source qui fait autorité et rendez la production des copies reproductible. Consignez l’état source, la version du schéma, la transformation, le nombre d’enregistrements et les contrôles effectués.

Définissez comment une correction ou une suppression atteint chaque copie. Ajouter un champ, modifier l’échelle d’un décimal ou redéfinir un horodatage exige une décision de compatibilité, même si les fichiers s’ouvrent encore. Évitez de combiner silencieusement des exports donnant des sens différents à une même colonne.

Aucun des deux formats ne fournit à lui seul les transactions d’une base, le contrôle d’accès ou une politique complète de conservation. Si la charge exige des mises à jour coordonnées sur plusieurs fichiers, évaluez la base ou le système de gestion de tables associé plutôt que d’attendre ces garanties de l’extension.

Placer les fichiers et le calcul avec Hivenet

Le stockage objet avec Hivenet fournit un emplacement compatible S3 pour les jeux de données et fichiers applicatifs. Le moteur de requêtes ou l’application de traitement reste un composant distinct. Vérifiez son connecteur, ses identifiants d’accès, les opérations prises en charge et les transferts avant de considérer un exemple local comme une intégration distante.

Compute avec Hivenet fournit une infrastructure CPU pour les traitements et requêtes exploités par le client. Dimensionnez-la selon les lectures réelles, la mémoire, le calendrier et les besoins de reprise. L’exemple de quatre enregistrements est un contrôle de cohérence, pas un benchmark de VM Hivenet.

Pour choisir le mode d’exploitation, apportez un échantillon représentatif, son schéma, les outils destinataires, les requêtes récurrentes et le rythme des mises à jour. Ces éléments rendent concrets les choix de format et d’infrastructure.

Votre prochaine charge de travail sur Hivenet.

Choisissez une charge de travail d’IA, de calcul ou de stockage à tester sur Hivenet, ou échangez avec notre équipe sur sa mise en production.