Clasificación de documentos

• 30 min | Última modificación: Diciembre 9, 2020

http://www.nltk.org/book/

Text Analytics with Python

import nltk

nltk.download("movie_reviews")

[nltk_data] Downloading package movie_reviews to /root/nltk_data...
[nltk_data]   Package movie_reviews is already up-to-date!

True

##
## Carga la base de datos movie-review
##
import random

from nltk.corpus import movie_reviews

documents = [
    (list(movie_reviews.words(fileid)), category)
    for category in movie_reviews.categories()
    for fileid in movie_reviews.fileids(category)
]

##
## Mezcla aleatoriamente los documentos
##
random.shuffle(documents)


##
## Computa la frecuencia de las palabras
##
all_words = nltk.FreqDist(w.lower() for w in movie_reviews.words())

##
## Separa las 2000 palabras más frecuentes
##
word_features = list(all_words)[:2000]

##
## Representación binaria de la occurrencia de
## la palabra en un revisión
##
def document_features(document):
    document_words = set(document)
    features = {}
    for word in word_features:
        features["contains({})".format(word)] = word in document_words
    return features


##
## Ejemplo de la representación para una revisión.
## La salida es muy larga
#  document_features(movie_reviews.words('pos/cv957_8737.txt'))

#
# {'contains(plot)': True,
#  'contains(:)': True,
#  'contains(two)': True,
#  'contains(teen)': False,
#  'contains(couples)': False,
#  'contains(go)': False,
#  ...}
#

##
## Construye los conjuntos de datos y
## evalua la precisión del clasificador
##
featuresets = [(document_features(d), c) for (d, c) in documents]
train_set, test_set = featuresets[100:], featuresets[:100]
classifier = nltk.NaiveBayesClassifier.train(train_set)
nltk.classify.accuracy(classifier, test_set)

0.83

classifier.show_most_informative_features(5)

Most Informative Features
        contains(welles) = True              neg : pos    =      7.7 : 1.0
 contains(unimaginative) = True              neg : pos    =      7.7 : 1.0
        contains(suvari) = True              neg : pos    =      7.1 : 1.0
          contains(mena) = True              neg : pos    =      7.1 : 1.0
     contains(atrocious) = True              neg : pos    =      6.7 : 1.0