Manuel PHP
Précédent		Suivant

Introduction

Les fonctions du tokenizer fournissent une interface avec l'analyseur interne de PHP, intégré dans le moteur Zend. En utilisant ces fonctions, vous pouvez écrire votre propre système d'analyse des sources PHP, ou bien des outils de modification du code, sans avoir à refaire toute l'analyse lexicale.

Voir aussi l'annexe sur les tokens.

Pré-requis

Ces fonctions sont disponibles dans le module PHP standard, qui est toujours accessible.

Installation

A partir de PHP 4.3.0, ces fonctions sont activées par défaut. Pour les anciennes versions, vous devez compiler PHP avec l'option --enable-tokenizer. Vous pouvez désactiver le support de l'extension tokenizer avec l'option --disable-tokenizer.

La version Windows de PHP dispose du support automatique de cette extension. Vous n'avez pas à ajouter de bibliothèque supplémentaire pour disposer de ces fonctions.

Note : Le support automatique du tokenizer est disponible depuis PHP 4.3.0.

Constantes prédefinies

Ces constantes sont définies par cette extension, et ne sont disponibles que si cette extension a été compilée avec PHP, ou bien chargée au moment de l'exécution.

T_INCLUDE (entier)
T_INCLUDE_ONCE (entier)
T_EVAL (entier)
T_REQUIRE (entier)
T_REQUIRE_ONCE (entier)
T_LOGICAL_OR (entier)
T_LOGICAL_XOR (entier)
T_LOGICAL_AND (entier)
T_PRINT (entier)
T_PLUS_EQUAL (entier)
T_MINUS_EQUAL (entier)
T_MUL_EQUAL (entier)
T_DIV_EQUAL (entier)
T_CONCAT_EQUAL (entier)
T_MOD_EQUAL (entier)
T_AND_EQUAL (entier)
T_OR_EQUAL (entier)
T_XOR_EQUAL (entier)
T_SL_EQUAL (entier)
T_SR_EQUAL (entier)
T_BOOLEAN_OR (entier)
T_BOOLEAN_AND (entier)
T_IS_EQUAL (entier)
T_IS_NOT_EQUAL (entier)
T_IS_IDENTICAL (entier)
T_IS_NOT_IDENTICAL (entier)
T_IS_SMALLER_OR_EQUAL (entier)
T_IS_GREATER_OR_EQUAL (entier)
T_SL (entier)
T_SR (entier)
T_INC (entier)
T_DEC (entier)
T_INT_CAST (entier)
T_DOUBLE_CAST (entier)
T_STRING_CAST (entier)
T_ARRAY_CAST (entier)
T_OBJECT_CAST (entier)
T_BOOL_CAST (entier)
T_UNSET_CAST (entier)
T_NEW (entier)
T_EXIT (entier)
T_IF (entier)
T_ELSEIF (entier)
T_ELSE (entier)
T_ENDIF (entier)
T_LNUMBER (entier)
T_DNUMBER (entier)
T_STRING (entier)
T_STRING_VARNAME (entier)
T_VARIABLE (entier)
T_NUM_STRING (entier)
T_INLINE_HTML (entier)
T_CHARACTER (entier)
T_BAD_CHARACTER (entier)
T_ENCAPSED_AND_WHITESPACE (entier)
T_CONSTANT_ENCAPSED_STRING (entier)
T_ECHO (entier)
T_DO (entier)
T_WHILE (entier)
T_ENDWHILE (entier)
T_FOR (entier)
T_ENDFOR (entier)
T_FOREACH (entier)
T_ENDFOREACH (entier)
T_DECLARE (entier)
T_ENDDECLARE (entier)
T_AS (entier)
T_SWITCH (entier)
T_ENDSWITCH (entier)
T_CASE (entier)
T_DEFAULT (entier)
T_BREAK (entier)
T_CONTINUE (entier)
T_OLD_FUNCTION (entier)
T_FUNCTION (entier)
T_CONST (entier)
T_RETURN (entier)
T_USE (entier)
T_GLOBAL (entier)
T_STATIC (entier)
T_VAR (entier)
T_UNSET (entier)
T_ISSET (entier)
T_EMPTY (entier)
T_CLASS (entier)
T_EXTENDS (entier)
T_OBJECT_OPERATOR (entier)
T_DOUBLE_ARROW (entier)
T_LIST (entier)
T_ARRAY (entier)
T_LINE (entier)
T_FILE (entier)
T_COMMENT (entier)
T_ML_COMMENT (entier): Note : T_ML_COMMENT n'est pas définie dans PHP 5. Touts les commentaires en PHP 5 sont des T_COMMENT.
T_DOC_COMMENT (entier): Note : T_DOC_COMMENT a été ajouté en PHP 5.
T_OPEN_TAG (entier)
T_OPEN_TAG_WITH_ECHO (entier)
T_CLOSE_TAG (entier)
T_WHITESPACE (entier)
T_START_HEREDOC (entier)
T_END_HEREDOC (entier)
T_DOLLAR_OPEN_CURLY_BRACES (entier)
T_CURLY_OPEN (entier)
T_PAAMAYIM_NEKUDOTAYIM (entier)
T_DOUBLE_COLON (entier)

Exemples

Voici un exemple simple de script PHP qui utilise le tokenizer pour lire un fichier, supprimer tous les commentaires de la source, et afficher uniquement du code.

Exemple 1. Suppression de commentaires avec le tokenizer


<?php

$source = file_get_contents("somefile.php");
$tokens = token_get_all($source);
/* T_ML_COMMENT does not exist in PHP 5.
 * The following three lines define it in order to
 * preserve backwards compatibility.
 *
 * The next two lines define the PHP 5-only T_DOC_COMMENT,
 * which we will mask as T_ML_COMMENT for PHP 4.
 */
if (!defined('T_ML_COMMENT')) {
  define('T_ML_COMMENT', T_COMMENT);
} else {
  define('T_DOC_COMMENT', T_ML_COMMENT);
}
foreach ($tokens as $token) {
  if (is_string($token)) {
    // simple 1-character token
    echo $token;
  } else {
    // token array
    list($id, $text) = $token;
    switch ($id) { 
      case T_COMMENT: 
      case T_ML_COMMENT: // we've defined this
      case T_DOC_COMMENT: // and this
        // no action on comments
        break;
      default:
        // anything else -> output "as is"
        echo $text;
        break;
    }
  }
}
?>

Précédent	Sommaire	Suivant
tidy_warning_count	Niveau supérieur	token_get_all

CXIV. Analyseur de code PHP

Introduction

Pré-requis

Installation

Constantes prédefinies

Exemples