토큰, 청크, 벡터 DB, RAG
토큰(Token)LLM이 텍스트를 내부적으로 처리하는 최소 단위단순히 "단어"가 아니라, 문자, 부분 단어, 공백, 문장 부호 등도 포함예시"Hello, world!" → ["Hello", ",", " world", "!"] (공백도 포함됨)"책상" → ["책", "상"] (단어가 조각날 수도 있음)청크(Chunk)LLM을 학습하거나 추론할 때, 긴 텍스트를 일정한 크기로 나눈 블록한 번에 처리할 수 있는 문장의 길이를 제한하기 위해 사용됨하나의 청크는 여러 개의 토큰으로 구성됨예시"Hello, world! This is ChatGPT. Nice to meet you!" →청크1: "Hello, world! This is ChatGPT."청크2: "Nice to meet you!"만약 한 청크당 10개 ..