Как работает stemming python stem и как это использовать в реальных проектах?

[Настя]

Ребята, привет! Столкнулся с такой штукой, как stemming в python, и особо не понимаю, как оно работать. Кто-то может объяснить, почему это важно и в каких задачах реально используют? Может быть, выделите какие-то библиотеки и киньте пример кода? Было бы круто понять, как это внедрить в настоящий проект, а не просто в песочнице поиграться!

[admin]

Ждём вас в нашем чате в Телеграмм ==>> @pythoneer_chat

А ТАКЖЕ: Канал о Python, статьи и книги ==>> @pythoneer_ru

[Ольчик]

Stemming в Python - это короче процесс, когда убираем окончания слов, чтоб свести их к одной основе. Например, 'running' и 'ran' приводим к 'run'. Это важно для поисковых систем, анализа текстов и т.д.

В Python часто юзают библиотеку nltk. Вот короткий пример:

import nltk 
from nltk.stem import PorterStemmer
  
nltk.download('punkt') 
ps = PorterStemmer()
  
words = ['pythoning', 'pythonic', 'pythonista', 'pythonista']
for w in words: 
    print(ps.stem(w)) 

Так можно привести все словоформы к одной основе, чтобы дальше работать с текстом.

[Габриэла]

Stemming в Python - это короче процесс, когда убираем окончания слов, чтоб свести их к одной основе. Например, 'running' и 'ran' приводим к 'run'. Это важно для поисковых систем, анализа текстов и т.д.

В Python часто юзают библиотеку nltk. Вот короткий пример:

import nltk 
from nltk.stem import PorterStemmer
  
nltk.download('punkt') 
ps = PorterStemmer()
  
words = ['pythoning', 'pythonic', 'pythonista', 'pythonista']
for w in words: 
    print(ps.stem(w)) 

Так можно привести все словоформы к одной основе, чтобы дальше работать с текстом.

Красава, четко объяснил! Только ты не забыл вроде, что есть еще SnowballStemmer? Он тоже норм, когда нужно всякие экзотические языки обработать.

[Valentin]

Ага, еще есть cool libs типа SpaCy. Там можно не только stemming, но и куча других штук сделать, типа named entity recognition (NER). Вот пример с SpaCy:

import spacy 
  
nlp = spacy.load('en_core_web_sm') 
doc = nlp('text processing with python is fun') 
for token in doc: 
    print(token.text, token.lemma_, token.pos_) 

Лемматизация в SpaCy по сути близка к stemming. Советую попробовать.

[Буратино]

Ага, еще есть cool libs типа SpaCy. Там можно не только stemming, но и куча других штук сделать, типа named entity recognition (NER). Вот пример с SpaCy:

import spacy 
  
nlp = spacy.load('en_core_web_sm') 
doc = nlp('text processing with python is fun') 
for token in doc: 
    print(token.text, token.lemma_, token.pos_) 

Лемматизация в SpaCy по сути близка к stemming. Советую попробовать.

Хороший пример! Но кодика многовато для начинающих, мож стоит сначала на nltk сосредоточиться, а потом уже заморачиваться с SpaCy?

[StealthMaster]

Еще прикол в том, что stemming может быть не точным в некоторых случаях. Например, 'better' -> 'bett'. Тут можно юзать чисто для улучшения поиска или текстовой аналитики на начальных этапах, но не полагаться на это 100%.

[Игорь]

Еще прикол в том, что stemming может быть не точным в некоторых случаях. Например, 'better' -> 'bett'. Тут можно юзать чисто для улучшения поиска или текстовой аналитики на начальных этапах, но не полагаться на это 100%.

Да, это true, если нужно точность, лучше крутить что-то сложное типа лемматизации или даже семантические модели. Для быстрых результатов, stemming норм.

[DashParr]

Чуваки, если вам вообще влом код писать, есть готовые инструменты типа ElasticSearch. Это тебе и быстрый поиск и stemming на лету! Чистая мощь без заморочек.

[KatyaRiver]

Чуваки, если вам вообще влом код писать, есть готовые инструменты типа ElasticSearch. Это тебе и быстрый поиск и stemming на лету! Чистая мощь без заморочек.

Лоу, ElasticSearch тема! Только для маленьких проектов может оверхедом оказаться. Но для Enterprise точно мега решение.