전체 글 검색 결과

해당 글 145건

네이버 뉴스 RAG 실습(2) - Chunk 단위로 나누고 임베딩

왜 청크로 나누어야 할까? (청킹의 이유)문서가 너무 크기 때문GPT나 임베딩 모델이 한 번에 처리할 수 있는 토큰(token) 수에는 제한이 있음검색 정확도를 높이기 위해서전체 문서를 통으로 벡터화하면 "어느 부분이 관련 있는지"를 찾기 어렵다→ 그래서 문서를 문단, 문장 등 "작은 단위"로 나눠서 그 조각들을 각각 벡터화함→ 검색할 땐 관련된 조각만 찾아서 답변으로 활용할 수 있다RAG (Retrieval-Augmented Generation) 기반 챗봇에 필수예: "우리 회사 정책이 어떻게 돼?"라는 질문에 문서 중 관련 청크를 찾아서 GPT에게 전달해주면→ GPT가 맥락에 맞게 답변해주는 구조벡터 DB(Vector Database)란?문자나 문서의 의미(semantic)를 숫자 벡터로 변환해 저장..
카테고리 없음 33분 전

네이버 뉴스 RAG 실습(1) - WebBaseLoader

WebBaseLoaderlangchain_community의 WebBaseLoader는 LangChain 라이브러리에서 제공하는 커뮤니티 확장 로더 중 하나로, 웹 페이지의 내용을 쉽게 가져올 수 있도록 설계된 도구이다. 이 로더는 웹 페이지의 HTML 콘텐츠를 가져와 텍스트로 변환하고, 이를 LangChain의 문서 처리 파이프라인에 통합할 수 있도록 도와준다.주요 특징웹 페이지의 텍스트를 추출하여 LangChain의 문서 객체로 변환BeautifulSoup과 같은 HTML 파싱 라이브러리를 내부적으로 사용하여 웹 콘텐츠를 처리여러 URL을 한 번에 처리할 수있음필자는 네이버 뉴스를 따왔다.아무 뉴스 링크나 상관없다. 본인만의 방식으로 원하는 주제의 링크들을 가지고 오자.지드래곤 콘서트가 최근 핫해서 ..
SKALA/AI 하루 전

메시지 브로커(Redis, Apache Kafka)

현재 WebRTC를 활용한 화상 회의 플랫폼을 프로젝트로 진행하고 있다.WebRTC(Web Real-Time Communication)는 웹 애플리케이션과 모바일 애플리케이션에서 플러그인 없이 음성, 영상 및 데이터 공유를 실시간으로 가능하게 해주는 오픈 소스 프로젝트이다.WebRTC는 P2P 통신이 기본이지만, WebRTC의 연결을 관리하려면 시그널링 서버가 필요하다.이 서버는 피어들 간에 SDP(Session Description Protocol) 및 ICE(Interactive Connectivity Establishment) 정보를 교환하는 역할을 합니다.또한 시그널링 서버를 단순하게 구현하려면 WebSocket을 직접 활용해서 클라이언트 간의 연결 정보를 주고받으면 된다. 하지만!! 이런 방식이..
SKALA/Back-end, DB 2일 전

트랜잭션 격리 수준(Isolation Level), Stored Procedure, Trigger

READ UNCOMMITTED:다른 트랜잭션이 커밋하지 않은 변경 사항을 읽을 수 있습니다. 가장 낮은 격리 수준으로, 더티 리드(Dirty Read)가 발생할 수 있습니다.아직 COMMIT 되지 않은 데이터가 읽힐 수 있어서 데이터 무결성이 깨질 위험이 있다READ COMMITTED (Oracle 기본값)다른 트랜잭션이 커밋한 변경 사항만 읽을 수 있습니다. 더티 리드를 방지하지만, Non-repeatable Read가 발생할 수 있습니다.같은 SELECT 를 두 번 실행하면 결과가 달라질 수 있다 REPEATABLE READ:같은 트랜잭션 내에서 읽은 데이터가 항상 동일트랜잭션이 시작된 후 다른 트랜잭션이 커밋한 변경 사항을 읽을 수 없습니다. 더티 리드와 비반복 읽기를 방지하지만, 팬텀 리드(Pha..
SKALA/Back-end, DB 3일 전

BASE vs ACID , Index

BASE 모델의 의미BASE는 강한 일관성을 보장하는 대신 가용성과 확장성을 우선하는 모델!!Basically Available (기본적 가용성) : 일부 노드에 장애가 발생해도 전체 시스템은 계속 동작함Soft State (소프트 스테이트) : 데이터가 일정 시간 동안 불완전할 수 있음Eventually Consistent(최종적 일관성) : 즉각적으로 데이터 일관성을 보장하지 않지만, 일정 시간이 지나면 모든 노드에 데이터가 동일해짐.비교 항목BASE ACID일관성 보장일정 시간 후즉각적트랜잭션 지원약한 트랜잭션트랜잭션(ACID) 보장확장성분산 환경에서 높은 확장성을 가짐확장이 어려움(일반적으로 수직 확장)데이터 업데이트점진적으로 반영모든 노드에 즉시 반영적용 대상수평 확장이 필요한 경우(ex. 글로..
SKALA/Back-end, DB 6일 전

ERD, Chen, IE, UML 클래스 다이어그램 표기법

ERD(Entity-Relationship Diagram)데이터베이스 설계 단계에서 맨 처음 단계인 개념적 모델링 단계에서 ERD 를 작성한다.Entity (개체) 란 현실에 존재하는 개별적으로 식별할 수 있는 물리적 또는 추상적인 개체이며, 각 Entity 는 특징을 나타낼 수 있는 Attribute (속성) 들을 가지고 있다. ‘고객’ 이라는 Entity 는 ‘아이디’, ‘회원 등급’ 등의 Attribute 를 가질 수 있고, ‘상품’ 이라는 Entity 는 ‘상품 번호’, ‘가격’ 등의 Attribute 를 가질 수 있다.ERD 표기법의 종류와 특징ERD를 작성하는 방법은 여러 가지가 있으며, 가장 대표적인 표기법을 정리하면 아래와 같다 표기법특징사용 목적Chen 표기법엔티티: 직사각형, 속성: 타..
SKALA/Back-end, DB 7일 전

MVVM 패턴, MVC패턴

Vue의 특징 - MVVM 패턴MVVM 패턴은 Model-View-View Model 패턴Model과 View 사이에 ViewModel 이라는 중간 계층을 두어, View와 Model 간의 결합도를 낮추는 패턴MVVM 패턴 (Vue.js 기준)MVVM(Model-View-ViewModel)은 UI 로직과 비즈니스 로직을 분리하는 패턴으로, Vue.js에서는 다음과 같이 적용된다.MVVM 구성 요소Model: 데이터를 저장하는 영역 (ex: Vue의 data 혹은 Vuex/Pinia 상태)ViewModel: Model과 View를 연결하는 중간 계층 (ex: Vue의 computed, methods, watch)View: 실제 UI (ex: Vue 템플릿, template 부분) MVC 패턴 (Spring..
SKALA/Front-end 8일 전

Proxy란??

프록시(Proxy)란?JavaScript의 Proxy 객체는 객체를 감싸서 동작을 가로채고 수정할 수 있는 기능을 제공한다. 즉, 어떤 객체를 감싸서 해당 객체의 프로퍼티 접근, 값 변경, 함수 호출 등을 가로채서 특정 로직을 추가하거나 동작을 변형할 수 있왜 Proxy를 쓰는가?로컬 개발 환경에서는 보통 프론트엔드(Vite)와 백엔드(Spring Boot)가 분리되어 있다. 이때, CORS (Cross-Origin Resource Sharing) 문제가 발생할 수 있다.브라우저 보안 정책상, 다른 도메인(예: http://localhost:5173 → https://something.com)으로 요청을 보내면 차단될 수 있기 때문이다.Vite의 프록시를 설정하면:CORS 문제 해결: 프론트엔드에서 백엔..
SKALA/Front-end 9일 전