분류 전체보기77 벡터 DB 검색 기본 개념 : Embedding (2) 2025.12.08 - [Data Science] - 벡터 DB 검색 기본 개념 : Embedding, ANN 개요 (1)지난 글에서는 벡터 DB가 무엇이고, ANN 인덱싱 구조가 어느 방식으로 의미상 유사 벡터를 빠르게 찾는지를 정리했다. 이번 글에서는 벡터 DB가 의미를 표현할 수 있게 만드는 Embedding 과정에 집중해본다. EmbeddingEmbedding은 벡터 DB 검색에서 의미를 숫자 공간으로 투영하는 과정이다.일반적으로 딥러닝 모델의 Feature를 Embedding으로 사용하기 때문에, 딥러닝 모델이 어느 objective로 학습되었는지에 따라 벡터의 의미가 결정된다.예를들어, Image Classification 모델의 중간 Feature를 사용한다면, 이미지의 모양과 색깔 등의 시.. 2025. 12. 9. 벡터 DB 검색 기본 개념 : Embedding, ANN 개요 (1) 벡터 DB벡터 DB란 텍스트, 이미지, 오디오 같은 비정형 데이터들을 벡터(코드 관점에선 숫자의 배열) 형태로 저장해놓고, 이 들 사이의 유사도(similarity)를 기반으로 빠르게 검색하기 위해 특화된 데이터베이스이다.일반적으로 ML(특히 딥러닝 모델)을 이용하여 의미를 함축시켜 숫자배열로 표현하는 Embedding 과정을 거쳐 고차원 벡터로 변환한 뒤, DB에 저장된다.벡터 DB를 한 문장으로 요약하면, 비정형성의 데이터를 의미기반으로 검색하기 위해 벡터를 저장하고 탐색하는 DB이다. 벡터 DB와 기존 검색 엔진과의 차이전통 검색 엔진(Elasitcsearch의 BM25)이나 정형데이터를 처리하는 RDBMS와 다른 점은 기존 DB들이 정확히 일치하거나 범위 검색을 하는데 최적화되어 있다면, 벡터 .. 2025. 12. 8. Large Language Models are Zero-Shot Reasoners 논문 리뷰 논문 배경 설명Large Language Models are Zero-Shot Reasoners 논문은 2022년 NeuIPS에 발표된 논문이다.기존 CoT Prompting에서 task 별 prompt 설계와 사람이 개입한 예제 추출을 간단한 트리거 prompt만으로 대체하여 성능 향상을 보였고, zero-shot 개념의 prompt로 확장 가능성을 크게 늘렸다. AbstractNLP에서 CoT prompting 방식은 복잡한 문제를 각 단계들로 나눠서 추론하는 방식을 사용하여, 연산, 기호 추론 등 복잡한 문제에서 좋은 효과를 입증했다.이런 CoT prompting의 성능은 LLM의 few-shot 학습 능력 덕분이라고 여겨지지만, 이 논문에서는 각 답변에 "Let's think step by ste.. 2025. 7. 22. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 논문 리뷰 CoT 배경 설명CoT는 구글 리서치에서 2022년 발표한 논문이다.LLM에 추론 능력을 유도한 최초의 체계적 연구이고, 현재 Prompt 엔지니어링의 중요성을 강조하게 된 시초 격의 논문이다. Abstract이 논문에서는 Chain of thought(답을 얻기 위해 수행하는 중간중간의 추론 과정)이 LLM의 복잡한 추론의 능력을 크게 향상하는 점을 발견한다.특히, 약간의 사고 흐름의 예시를 prompt에 포함시키는 Chain of thought prompting을 통해, LLM에서의 추론 능력을 자연스럽게 유도할 수 있다.LLM 3개 모델에서 chain-of-thoungt prompting을 적용하여, 연산, 상식, 상징 추론 등의 영역에서 큰 성능 향상을 보였다. Introduction[LLM .. 2025. 7. 21. Toolformer : Language Models Can Teach Themselves to Use tools 논문 리뷰 Toolformer 배경 설명Toolformer는 2023년 NeurIPS에 발표된 논문으로, LLM이 외부 도구(API)를 자율적으로 사용할 수 있도록 활용하는 방법을 제시한다.Toolformer는 LLM이 외부 도구를 직접 조합해서 행동한다는 흐름을 개척한데 그 의의가 있다.Abstract언어모델은 텍스트를 처리하는데 뛰어난 성능을 보이지만, 역설적이게도 간단한 연산이나 사실 확인등에서 어려움을 겪는다.이 논문에서는 스스로 간단한 API 형태로 외부 도구를 사용하는 방법을 배우고, 이를 활용해, 텍스트와 연산 모두를 잘 처리하는 언어모델을 제시한다.논문에서 소개하는 Toolformer는 모델이 어느 API를 어느 상황에, 어떤 인자를 활용하여, 결과를 최적으로 조합할 수 있을지를 학습한다.이 과정은 .. 2025. 7. 17. CLIP : Learning Transferable Visual Models From Natural Language Supervision 논문 리뷰 CLIP 배경 설명CLIP(Contrastive Language-Image Pre-training)은 OpenAI가 2021년 1월 발표한 멀티모달 AI 모델이다.자연어의 대규모 데이터들을 이용한 학습 방법을 Computer vision 분야에 확장했다는데 그 의의가 있다. AbstractSOTA(그 당시) Computer vision 모델들은 정해진 카테고리 내에서 학습되었고, 새로운 label에 대해 새로운 학습이 필요하다는 일반화의 약점이 있었다. 이미지를 raw text(category화 되지 않은)으로부터 직접 학습하는 것은 일반화의 약점을 극복할 수 있는 방법이다..이미지와 텍스트 쌍들의 데이터 중, 어떤 캡션이 어떤 이미지에 해당하는지를 예측하는 간단한 pre training task를 진행.. 2025. 5. 12. 이전 1 2 3 4 ··· 13 다음
