NLPの前処理
仕事で自然言語処理（NLP）に少し取り組む必要が出てきたので、自分なりの理解をTipsとしてまとめていこうと思います。 小文字化 文字の正規化という意味で、アルファベットを小文字化します。日本語の場合は、半角を全角に統一する、などの対応も必要と思います。 sentences: List[str] = ['I have a pen', 'That is a window'] print(sentences) # -> ['I have a pen', 'That is a window'] lower_sentences: List[str] = list( sentence.lower() for sentence in sentences ) print(lower_sentences) # -> Continue Reading