Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- 0의 개수
- DP 알고리즘
- 문제 풀이
- BTREE
- 연산자 문제
- B-tree
- 해설
- 챗봇
- 해싱
- CSS
- N과 M
- 한반도평화와공공외교
- 백준 1487번
- 풍선터뜨리기
- 이항계수
- 가치규범의 공공외교
- 백준 1246번
- 풀이
- 백준 11050번
- 백준 14501번
- 백준
- hashing
- 1
- 실버
- 1141번
- 파이썬
- html
- Python
- 알고리즘
- 주창형 공공외교
Archives
- Today
- Total
목록텍스트 전처리 (1)
SunFly의 코딩 및 정보 블로그
토크나이징(Tokenizing) 이란?
※NLP(Natural Language Processing) [자연어 처리] - 자연어 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 일(챗봇 엔진에 자주 사용된다.) ※토큰(token) - 어떤 문장을 일정한 의미가 있는 가장 작은 단어들로 나눈다. 그다음 나눠진 단어를 이용해 의미를 분석한다. 이때 가장 기본이 되는 단어를 토큰(token)이라 한다. ※토크나이징(tokenizing) - 주어진 문장에서 토큰 단위로 정보를 나누는 작업 - 문장 형태의 데이터를 처리하기 위해 제일 처음 수행해야 하는 기본적인 작업(텍스트 전처리 과정)
딥러닝(Deep Learning)
2022. 2. 21. 19:11