Αόρατοι χαρακτήρες στο κείμενο: πού κρύβονται και πώς να τους αφαιρέσετε

Οι αόρατοι χαρακτήρες είναι αόρατα σημεία κώδικα Unicode, όπως τα κενά μηδενικού πλάτους, τα μη διαχωρίσιμα κενά και οι σημάδες κατεύθυνσης. Μοιάζουν με συνηθισμένο κενό ή δεν φαίνονται καθόλου, οπότε το κείμενο δείχνει σωστό, ενώ η αναζήτηση, ο κώδικας και ο έλεγχος των φορμών το αντιμετωπίζουν ως διαφορετικό κείμενο. Τους εντοπίζετε ελέγχοντας τα σημεία κώδικα και τους αφαιρείτε διαγράφοντας ή αντικαθιστώντας αυτούς τους συγκεκριμένους χαρακτήρες.

Αφαίρεση αόρατων χαρακτήρωνΑόρατα σκουπίδια στο κείμενό μουΚάντε το δωρεάν

Από πού προέρχονται

Οι περισσότεροι αόρατοι χαρακτήρες έρχονται με την αντιγραφή, όχι με την πληκτρολόγηση:

• Ιστοσελίδες. Οι ιστότοποι χρησιμοποιούν μη διαχωρίσιμα κενά (U+00A0) για να μην σπάει η γραμμή ανάμεσα σε δύο λέξεις, και κενά μηδενικού πλάτους (U+200B) για να σημειώσουν πού μπορεί να σπάσει μια μεγάλη λέξη. Όταν αντιγράφετε μια παράγραφο, αντιγράφονται και αυτοί.
• Επεξεργαστές κειμένου. Οι μαλακές παύλες (U+00AD) προστίθενται για την κατάτμηση λέξεων. Είναι αόρατες, εκτός αν η γραμμή σπάσει ακριβώς εκεί. Ορισμένοι επεξεργαστές βάζουν επίσης μη διαχωρίσιμα κενά αυτόματα σε συγκεκριμένα σημεία.
• Εφαρμογές συνομιλίας και email. Μηνύματα που αντιγράφονται από συνομιλίες ή από πελάτη email μπορεί να περιέχουν συνδετές μηδενικού πλάτους και σημάδες κατεύθυνσης, ιδίως όταν το κείμενο αναμειγνύει γλώσσες.
• Κείμενο με μικτή κατεύθυνση. Τα αραβικά, τα εβραϊκά και τα μικτά κείμενα χρησιμοποιούν σημάδες κατεύθυνσης, όπως το σημάδι από αριστερά προς δεξιά (U+200E), το σημάδι από δεξιά προς αριστερά (U+200F) και τους χαρακτήρες ενσωμάτωσης και αντικατάστασης (U+202A έως U+202E). Ελέγχουν τον τρόπο εμφάνισης της γραμμής, όχι το νόημά της.
• Σημάδια σειράς bytes. Ένα σημάδι σειράς bytes (BOM, U+FEFF) στην αρχή ενός αρχείου είναι υπογραφή που γράφουν ορισμένοι επεξεργαστές. Είναι αόρατο, αλλά γίνεται πραγματικός πρώτος χαρακτήρας όταν το αρχείο διαβάζεται ως απλό κείμενο.
• Παράθυρα συνομιλίας με AI. Κείμενο που αντιγράφεται από ορισμένες διεπαφές συνομιλίας με AI μπορεί επίσης να περιέχει αυτούς τους χαρακτήρες. Η πιθανή αιτία είναι ο τρόπος απόδοσης και αντιγραφής του κειμένου, γι' αυτό μην τους θεωρείτε ένδειξη πρόθεσης.

Γιατί προκαλούν προβλήματα

Κάθε αόρατος χαρακτήρας είναι πραγματικό σημείο κώδικα, άρα αλλάζει το κείμενο ακόμη και όταν η σελίδα φαίνεται ίδια:

• Η αναζήτηση αποτυγχάνει. Ένα κενό μηδενικού πλάτους μέσα σε μια λέξη χαλάει την αντιστοίχιση, οπότε η αναζήτηση της λέξης δεν βρίσκει τίποτα.
• Ο κώδικας σπάει. Ένα μη διαχωρίσιμο κενό σε αρχείο πηγαίου κώδικα είναι συντακτικό σφάλμα σε πολλές γλώσσες, και το σφάλμα συχνά δείχνει σε μια γραμμή που φαίνεται τέλεια. Ο οδηγός για τα καμπυλωτά εισαγωγικά καλύπτει το άλλο συνηθισμένο πρόβλημα επικόλλησης στον κώδικα.
• Ο έλεγχος φορμών απορρίπτει την είσοδο. Μια διεύθυνση email με κενό μηδενικού πλάτους μετά το @ φαίνεται έγκυρη, αλλά αποτυγχάνει στον έλεγχο.
• Οι μετρήσεις αποκλίνουν. Οι μετρήσεις χαρακτήρων συμπεριλαμβάνουν ή εξαιρούν αυτούς τους χαρακτήρες ανάλογα με το εργαλείο, οπότε το ίδιο κείμενο μπορεί να δώσει δύο διαφορετικά σύνολα. Μετρήστε το κείμενο πριν και μετά τον καθαρισμό με τον μετρητή λέξεων για να δείτε τη διαφορά.

Ας δούμε ένα μικρό παράδειγμα. Η λέξη «invoice» έχει επτά γράμματα. Αν μέσα της υπάρχει ένα κενό μηδενικού πλάτους, η ίδια λέξη έχει οκτώ σημεία κώδικα, αλλά φαίνεται ακριβώς ίδια στην οθόνη. Αναζήτηση για τη λέξη «invoice» δεν θα βρει τη δεύτερη εκδοχή.

Πώς να τους δείτε

Το απλό κοίταγμα του κειμένου δεν βοηθά, οπότε χρησιμοποιήστε κάποιο από αυτά:

1. Επικολλήστε το κείμενο σε εργαλείο που εμφανίζει τα σημεία κώδικα, όπως η αφαίρεση αόρατων χαρακτήρων, που αναφέρει τι βρήκε πριν αλλάξει οτιδήποτε.
2. Σε έναν επεξεργαστή κώδικα, ενεργοποιήστε τη ρύθμιση που εμφανίζει τα κενά ή τους ειδικούς χαρακτήρες. Τότε τα μη διαχωρίσιμα κενά εμφανίζονται με διαφορετικό σύμβολο από τα συνηθισμένα κενά.
3. Σε μια γλώσσα προγραμματισμού, τυπώστε τα σημεία κώδικα μιας ύποπτης συμβολοσειράς. Στην Python, για παράδειγμα, το [hex(ord(c)) for c in text] εμφανίζει το καθένα, οπότε ένα μη διαχωρίσιμο κενό εμφανίζεται ως 0xa0 και ένα κενό μηδενικού πλάτους ως 0x200b.

Πώς να τους αφαιρέσετε

Η αφαίρεση πρέπει να είναι στοχευμένη. Αν διαγράψετε κάθε χαρακτήρα εκτός ASCII, θα χαθούν και οι τόνοι, τα εισαγωγικά και τα γράμματα άλλων γλωσσών. Αντί γι' αυτό:

• Αντικαταστήστε τα μη διαχωρίσιμα κενά με συνηθισμένα κενά, αφού σχεδόν πάντα εννοούνται ως κενά.
• Διαγράψτε τα κενά μηδενικού πλάτους, τις μαλακές παύλες, τα σημάδια σειράς bytes και τα αδέσποτα σημάδια κατεύθυνσης.
• Κρατήστε τα τονούμενα γράμματα, τα καμπυλωτά εισαγωγικά και τα κανονικά σημεία στίξης.

Η διόρθωση επικολλημένου κειμένου είναι φτιαγμένη για κείμενο που προέρχεται από αλλού, οπότε χρησιμοποιήστε την όταν το αντιγραμμένο κείμενο έχει και χαλασμένες αλλαγές γραμμής ή περίεργα διαστήματα.

Πώς να το κάνετε με το fixmint

1. Επικολλήστε το κείμενο στο πεδίο Το κείμενό σας.
2. Διαβάστε τη λίστα με όσα βρέθηκαν. Κάθε χαρακτήρας ονομάζεται, για παράδειγμα ZWSP για κενό μηδενικού πλάτους, και σημειώνεται με το τι θα συμβεί σε αυτόν.
3. Αφήστε ενεργή την επιλογή Διατήρηση συνδετών μέσα σε emoji, ώστε οι ακολουθίες emoji να εμφανίζονται ακόμη ως ένα σύμβολο.
4. Επιλέξτε Μετατροπή και των καμπυλωτών εισαγωγικών, των παυλών και του … σε απλό ASCII μόνο για κώδικα ή δεδομένα, και μετά πατήστε Αντιγραφή ή Λήψη .txt.

Ειδικές περιπτώσεις

• Οι ακολουθίες emoji χρησιμοποιούν συνδετές μηδενικού πλάτους σκόπιμα. Αν τους αφαιρέσετε, ένα emoji χωρίζεται σε πολλά σύμβολα.
• Ένα μη διαχωρίσιμο κενό είναι σωστό σε ορισμένες τυπογραφικές χρήσεις, όπως ανάμεσα σε έναν αριθμό και τη μονάδα του, και σε ορισμένα γαλλικά σημεία στίξης. Αντικαταστήστε το μόνο όταν ξέρετε ότι είναι αδέσποτο.
• Όταν καθαρίσετε το κείμενο, συγκρίνετέ το με το αρχικό για να δείτε ακριβώς τι άλλαξε.

Γρήγορες απαντήσεις

Είναι οι αόρατοι χαρακτήρες ένδειξη ότι το κείμενο γράφτηκε από AI;

Όχι. Προέρχονται από ιστοσελίδες, επεξεργαστές κειμένου, εφαρμογές συνομιλίας και γενικά από την αντιγραφή και επικόλληση. Η παρουσία τους δεν δείχνει ποιος ή τι έγραψε το κείμενο.

Αν αφαιρέσω κάθε χαρακτήρα εκτός ASCII, θα λυθεί το πρόβλημα;

Όχι. Θα αφαιρέσετε και τους τόνους, τα εισαγωγικά και τα γράμματα άλλων γλωσσών. Αφαιρέστε αντίθετα τα συγκεκριμένα αόρατα σημεία κώδικα.

Πώς καταλαβαίνω αν μια συμβολοσειρά έχει αόρατους χαρακτήρες;

Συγκρίνετε το μήκος της με τον αριθμό των χαρακτήρων που βλέπετε, ή επικολλήστε την σε εργαλείο που εμφανίζει τα σημεία κώδικα. Αν οι αριθμοί διαφέρουν, υπάρχει κάτι αόρατο μέσα.