SunFly의 코딩 및 정보 블로그

※KoNLPy (기본적인 한국어 자연어 처리를 위한 파이썬 라이브러리) KoNLPy에 대한 자세한 설명은 konlpy.org/ko/latest/ 에 방문하세요. 토큰의 단위는 형태소(언어학에서 사용되는 용어)로 사용. 한국어의 9품사. -> (명사, 대명사, 수사, 동사, 형용사, 관형사, 부사, 조사, 감탄사) ★Kkma - morphs(phrase) = 인자로 입력한 문장을 형태소 단위로 토크나이징함.토크나이징된 형태소들은 리스트 형태로 반환됨 - nouns(phrase) = 인자로 입력한 문장에서 품사가 명사인 토큰만 추출함. - pos(phrase, flatten=True) = POS tagger라 부르며, 인자로 입력한 문장에서 형태소를 추출한 뒤 품사 태깅을 함. 추출된 형태소와 그 형태소의 ..

※NLP(Natural Language Processing) [자연어 처리] - 자연어 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 일(챗봇 엔진에 자주 사용된다.) ※토큰(token) - 어떤 문장을 일정한 의미가 있는 가장 작은 단어들로 나눈다. 그다음 나눠진 단어를 이용해 의미를 분석한다. 이때 가장 기본이 되는 단어를 토큰(token)이라 한다. ※토크나이징(tokenizing) - 주어진 문장에서 토큰 단위로 정보를 나누는 작업 - 문장 형태의 데이터를 처리하기 위해 제일 처음 수행해야 하는 기본적인 작업(텍스트 전처리 과정)