네이버 뉴스 RAG 실습(1) - WebBaseLoader
WebBaseLoaderlangchain_community의 WebBaseLoader는 LangChain 라이브러리에서 제공하는 커뮤니티 확장 로더 중 하나로, 웹 페이지의 내용을 쉽게 가져올 수 있도록 설계된 도구이다. 이 로더는 웹 페이지의 HTML 콘텐츠를 가져와 텍스트로 변환하고, 이를 LangChain의 문서 처리 파이프라인에 통합할 수 있도록 도와준다.주요 특징웹 페이지의 텍스트를 추출하여 LangChain의 문서 객체로 변환BeautifulSoup과 같은 HTML 파싱 라이브러리를 내부적으로 사용하여 웹 콘텐츠를 처리여러 URL을 한 번에 처리할 수있음필자는 네이버 뉴스를 따왔다.아무 뉴스 링크나 상관없다. 본인만의 방식으로 원하는 주제의 링크들을 가지고 오자.지드래곤 콘서트가 최근 핫해서 ..
