CSV in JSON umwandeln und zurück, ohne Daten zu beschädigen

CSV ist eine einfache Texttabelle: ein Datensatz pro Zeile, Felder durch ein Trennzeichen getrennt, meist ein Komma. Sie bricht, wenn ein Feld das Trennzeichen, ein doppeltes Anführungszeichen oder einen Zeilenumbruch enthält, denn das Programm muss Struktur von Inhalt unterscheiden. Halte dich an die Anführungsregeln, prüfe Trennzeichen und Kopfzeile und behalte Zahlen mit führenden Nullen als Text. Der Rest dieses Artikels erklärt, was eine Umwandlung hin und zurück erhalten kann und was nicht.

CSV zu JSONCSV als JSON oder zurück brauchenKostenlos loslegen

Was eine CSV-Datei wirklich ist

CSV hat keinen einzigen verbindlichen Standard, aber RFC 4180 beschreibt die gängige Form, und die meisten Programme halten sich daran. Die Kernregeln passen auf eine kurze Liste:

• Jeder Datensatz steht in einer eigenen Zeile, und laut RFC enden Zeilen mit Wagenrücklauf und Zeilenvorschub, CRLF.
• Felder werden durch Kommas getrennt.
• Ein Feld, das ein Komma, ein doppeltes Anführungszeichen oder einen Zeilenumbruch enthält, wird in doppelte Anführungszeichen gesetzt.
• Ein doppeltes Anführungszeichen innerhalb eines in Anführungszeichen gesetzten Feldes wird als zwei doppelte Anführungszeichen geschrieben.

Die Zeile 1001,"Smith, Ann",02134 hat also drei Felder, weil das Komma in den Anführungszeichen Inhalt ist. Ein Parser, der an jedem Komma trennt, findet vier. Der Reader von fixmint wendet diese Regeln an: Ein in Anführungszeichen gesetztes Feld darf das Trennzeichen, Zeilenumbrüche und doppelte Anführungszeichen enthalten. Ein nicht geschlossenes Anführungszeichen wird mit der Zeile gemeldet, in der es beginnt.

Warum sich das Trennzeichen ändert

Das Komma ist der RFC-Standard. Wo das Komma aber das Dezimaltrennzeichen ist, sodass 1,5 eineinhalb bedeutet, speichern Tabellenkalkulationen CSV oft mit Semikolons. Tabulatorgetrennte Dateien (TSV) vermeiden den Konflikt in den meisten Daten, weil Tabulatoren selten im Text vorkommen.

Das Menü Trennzeichen bietet Auto, Komma, Semikolon, Tabulator und Pipe. Auto liest die ersten zehn Zeilen, zählt jeden Kandidaten außerhalb von Anführungszeichen und wählt den, dessen Anzahl pro Zeile am gleichmäßigsten ist. Wähle das Trennzeichen selbst, wenn Auto falsch rät.

In fixmint umwandeln

Das Beispiel verwendet die Standardoptionen von dem Tool CSV zu JSON.

Beispiel

Füge dieses CSV ein, mit angehakter Option Erste Zeile ist Kopfzeile:

id,name,zip,note
1001,"Smith, Ann",02134,"She said ""hi"""
1002,Bo,10001,"line one
line two"

Mit ausgeschalteter Option Zahlen umwandeln und JSON-Einrückung auf 2 Leerzeichen gibt das Tool zurück:

[
  {
    "id": "1001",
    "name": "Smith, Ann",
    "zip": "02134",
    "note": "She said \"hi\""
  },
  {
    "id": "1002",
    "name": "Bo",
    "zip": "10001",
    "note": "line one\nline two"
  }
]

Mit eingeschalteter Option Zahlen umwandeln werden id und zip 10001 zu Zahlen, und 02134 bleibt Text.

Schritte

1. Füge das CSV ein oder ziehe eine .csv-, .tsv-, .txt- oder .json-Datei in das Feld.
2. Prüfe Erste Zeile ist Kopfzeile, das Trennzeichen und Zahlen umwandeln. Wähle eine JSON-Einrückung von 2 Leerzeichen, Tabulator oder minifiziert.
3. Kopiere das Ergebnis oder lade es als .json herunter.

Zahlen als Text behalten

JSON-Zahlen dürfen keine führenden Nullen haben, daher ist 02134 keine gültige JSON-Zahl. Postleitzahlen, Telefonnummern und Produktcodes müssen Text bleiben, sonst verschwindet die Null. Mit eingeschalteter Option Zahlen umwandeln wird 10001 umgewandelt, 02134 bleibt aber als String erhalten. Die Option ist standardmäßig aus. Sie wandelt nur Werte mit Punkt als Dezimaltrennzeichen um, sodass 1,5 in einer Semikolon-Datei so bleibt, wie es eingegeben wurde.

Auch lange Kennungen brauchen Aufmerksamkeit. JavaScript, das die meisten JSON-Daten im Browser verarbeitet, speichert Zahlen als 64-Bit-Gleitkommawerte. Ganzzahlen sind nur bis 9.007.199.254.740.991 exakt, das ist zwei hoch 53 minus 1. Die Zahl 12345678901234567890 wird zu 12345678901234567000, wenn ein JavaScript-Programm sie liest. Das Tool schreibt die Ziffern so, wie sie eingegeben wurden, aber ein Programm, das das JSON in JavaScript parst, rundet sie. Speichere IDs als Strings. Der JSON-Formatierer behält solche Zahlen ebenfalls exakt bei und zeigt an, wie viele er behalten hat.

Verschachteltes JSON und zurück zu CSV

CSV ist flach, JSON kann verschachteln. Beim Umwandeln von JSON in CSV entsteht für jeden Schlüssel über alle Objekte hinweg eine Spalte, in der Reihenfolge, in der jeder Schlüssel zuerst vorkommt. Ein verschachteltes Objekt oder eine Liste landet als JSON-Text in der Zelle, ein null wird zu einer leeren Zelle, und true und false werden als Wörter geschrieben. Zeilen werden mit CRLF verbunden. Ein Feld wird nur in Anführungszeichen gesetzt, wenn es das Trennzeichen, ein Anführungszeichen, einen Zeilenumbruch oder Leerzeichen am Anfang oder Ende enthält.

Eingaben, die mit [ oder { beginnen, werden als JSON gelesen. Die Schaltfläche wechselt die Richtung und trägt die Beschriftung CSV → JSON oder JSON → CSV. In der Richtung JSON → CSV zeigen die Ausgabeoptionen ein Menü Trennzeichen und die Option Für Excel.

Eine Hin- und Rückumwandlung verliert Informationen. Ein null und ein leerer String werden beide zu einer leeren Zelle, und die Verschachtelung kommt nicht zurück. Behalte daher das originale JSON, wenn du dessen Struktur brauchst.

Excel, UTF-8 und die Byte-Order-Mark

Eine CSV-Datei besteht aus Bytes, und das Programm muss die Kodierung kennen. UTF-8 speichert Akzentbuchstaben und andere Alphabete. Eine Byte-Order-Mark, drei Bytes am Dateianfang, kennzeichnet die Datei als UTF-8. Ohne sie lesen manche Tabellenprogramme die Datei in einer lokalen Codepage, und Akzentbuchstaben werden zu seltsamen Zeichen. Tabellenprogramme machen beim Öffnen einer CSV außerdem oft aus 02134 eine 2134.

Die Option Für Excel fügt die Byte-Order-Mark nur der heruntergeladenen CSV hinzu, nie dem kopierten Text, und nur in der Richtung JSON → CSV. Der Reader entfernt eine Byte-Order-Mark aus der Eingabe, sodass eine Datei, die bereits eine hat, ohne Fehler umgewandelt wird.

Sonderfälle

• Unregelmäßige Zeilen. Bei eingeschalteter Kopfzeile wird eine kurze Zeile mit leeren Werten aufgefüllt, und eine längere Zeile behält ihre zusätzlichen Werte als column_N. Das Ergebnis meldet, wie viele Zeilen von der Kopfzeile abweichen.
• Wiederholte oder leere Kopfzeilen. Ein wiederholter Name bekommt _2, _3 und so weiter, und ein leerer Name wird zu column_N. Beide Änderungen verhindern, dass sich zwei Schlüssel gegenseitig überschreiben.
• Typografische Anführungszeichen. Intelligente Anführungszeichen aus einer Textverarbeitung sind keine CSV-Anführungszeichen. Daher wird ein Feld wie „Smith, Ann“ an seinem Komma geteilt. Begradige sie zuerst mit Eingefügten Text reparieren oder wie im Leitfaden zu typografischen Anführungszeichen beschrieben.
• Zeilenumbrüche in Anführungszeichen. Ein Feld, das zwei Zeilen umfasst, ist ein einziger Datensatz. Doppelte Zeilen entfernen teilt die Eingabe aber an jedem Zeilenumbruch, sodass die beiden Hälften als getrennte Zeilen behandelt würden. Wandle in JSON um und vergleiche die Objekte, oder prüfe von Hand. Das Tool bleibt für Listen mit einem Wert pro Zeile nützlich.
• Große Dateien. Das Ergebnisfeld zeigt die ersten 100.000 Zeichen. Kopieren und der Download enthalten dagegen die gesamte Ausgabe.
• Ungültiges JSON. Der Konverter meldet Zeile und Spalte eines Fehlers und setzt eine Markierung unter das betroffene Zeichen. Der JSON-Formatierer erklärt die häufigen Fehler, und der Leitfaden zu JSON-Fehlern behandelt sie ausführlicher.

Überflüssige Leerzeichen um Felder, leere Zeilen mitten in der Datei und uneinheitlich verwendete Anführungszeichen verursachen die meisten CSV-Probleme, noch bevor das Trennzeichen eine Rolle spielt. Bereinige zuerst die CSV mit dem CSV-Bereiniger, dann wandle sie um.