Come tokenizzare una stringa in javascript

Per affrontare il problema del tokenizzazione delle stringhe, alcune lingue offrono lezioni speciali. In JavaScript, nessuna classi o funzioni dedicate supporta i problemi di stringa. Tuttavia, abbiamo un meccanismo efficace sotto forma di espressioni regolari. Pertanto, utilizzare espressioni regolari con un metodo predefinito JavaScript per analizzare le stringhe in token per la tokenizzazione.

Questo articolo illustrerà la procedura per JavaScript String Tokenization.

Come tokenizzare una stringa in javascript?

Per tokenizzare una stringa in JavaScript, utilizzare il metodo incorporato JavaScript chiamato "diviso()" metodo. Il metodo javascript split () divide una stringa in una matrice di substringe. La stringa originale non viene modificata. Richiede due parametri opzionali che indicano come il metodo dovrebbe agire.

Come tokenizzare una stringa usando il metodo split ()?

Seguire la sintassi seguente del metodo split () per tokenizzare una stringa in JavaScript:

corda.diviso (separatore, limite);

• • Qui, il "separatore"È un carattere alfanumerico o non alfanumerico, come uno spazio o un modello di regex, viene utilizzato come parametro separatore per specificare dove dividere la stringa.
  • "limite"È un intero che indica il numero di divisioni.
  • Il metodo è invocato su una variabile che ha un valore di stringa con l'aiuto della notazione dot.
  • Restituisce una matrice di sottostringhe in base agli argomenti e se non viene passato alcun parametro nel metodo, restituirà l'intera stringa.

Esempio 1

Nell'esempio seguente, in primo luogo, crea una variabile "str"E memorizza una stringa al suo interno:

var str = "LinuxHint è il miglior sito Web per le capacità di apprendimento";

Ora, dividi la stringa in token usando "diviso()"Metodo di passaggio ("") come argomento. Lo spazio indica che la stringa verrà divisa man mano che lo spazio si verifica:

var strtoken = str.diviso(" ");

Infine, stampano i token sulla console usando "console.tronco d'albero()" metodo:

console.log (strtoken);

L'output visualizza un array di substrings in base al separatore "spazio"("")

Il metodo split () prende anche "REGEX MOTORE"Come separatore anziché un personaggio specifico come argomento:

var strtoken = str.split (/\ w+/);

Qui, nel modello di regex, le tagli in avanti (/) indica l'inizio e la fine di uno schema, mentre il (\ W) è il metacharacter che corrisponde a tutti i personaggi alfanumerici A-Z, A-Z, 0-9 senza spazi bianchi. Mentre (+) indica più corrispondenze.

Produzione

Se si desidera ottenere gettiche di una lunghezza specifica da una stringa, segui la sezione data.

Esempio 2

Ora, tokenizza una stringa di lunghezza tre da una stringa. Per fare questo, usa il “filtro()Metodo "con il"diviso()" metodo:

var strtoken = str.diviso(" ").filtro (function (token)
Torno di ritorno.lunghezza == 3;
);

Stampa i token risultanti sulla console:

console.log (strtoken);

L'output indica che solo i sottostringi della lunghezza 3 vengono restituiti dalla stringa:

Conclusione

Per tokenizzare una stringa in JavaScript, puoi usare il "diviso()" metodo. Il metodo split () divide la stringa in base al suo input "separatore". Può dividere una stringa in una serie di stringhe più piccole a seconda degli argomenti. Se il metodo non riceve parametri, l'intera stringa verrà stampata. Se vuoi ottenere gettoni di una lunghezza specifica da una stringa, usa il "filtro()"Metodo con il metodo split (). In questo articolo, il processo di tokenizzazione di una stringa in JavaScript è illustrato con esempi.