NLP 논문19 Large Language Models are Zero-Shot Reasoners 논문 리뷰 논문 배경 설명Large Language Models are Zero-Shot Reasoners 논문은 2022년 NeuIPS에 발표된 논문이다.기존 CoT Prompting에서 task 별 prompt 설계와 사람이 개입한 예제 추출을 간단한 트리거 prompt만으로 대체하여 성능 향상을 보였고, zero-shot 개념의 prompt로 확장 가능성을 크게 늘렸다. AbstractNLP에서 CoT prompting 방식은 복잡한 문제를 각 단계들로 나눠서 추론하는 방식을 사용하여, 연산, 기호 추론 등 복잡한 문제에서 좋은 효과를 입증했다.이런 CoT prompting의 성능은 LLM의 few-shot 학습 능력 덕분이라고 여겨지지만, 이 논문에서는 각 답변에 "Let's think step by ste.. 2025. 7. 22. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 논문 리뷰 CoT 배경 설명CoT는 구글 리서치에서 2022년 발표한 논문이다.LLM에 추론 능력을 유도한 최초의 체계적 연구이고, 현재 Prompt 엔지니어링의 중요성을 강조하게 된 시초 격의 논문이다. Abstract이 논문에서는 Chain of thought(답을 얻기 위해 수행하는 중간중간의 추론 과정)이 LLM의 복잡한 추론의 능력을 크게 향상하는 점을 발견한다.특히, 약간의 사고 흐름의 예시를 prompt에 포함시키는 Chain of thought prompting을 통해, LLM에서의 추론 능력을 자연스럽게 유도할 수 있다.LLM 3개 모델에서 chain-of-thoungt prompting을 적용하여, 연산, 상식, 상징 추론 등의 영역에서 큰 성능 향상을 보였다. Introduction[LLM .. 2025. 7. 21. Toolformer : Language Models Can Teach Themselves to Use tools 논문 리뷰 Toolformer 배경 설명Toolformer는 2023년 NeurIPS에 발표된 논문으로, LLM이 외부 도구(API)를 자율적으로 사용할 수 있도록 활용하는 방법을 제시한다.Toolformer는 LLM이 외부 도구를 직접 조합해서 행동한다는 흐름을 개척한데 그 의의가 있다.Abstract언어모델은 텍스트를 처리하는데 뛰어난 성능을 보이지만, 역설적이게도 간단한 연산이나 사실 확인등에서 어려움을 겪는다.이 논문에서는 스스로 간단한 API 형태로 외부 도구를 사용하는 방법을 배우고, 이를 활용해, 텍스트와 연산 모두를 잘 처리하는 언어모델을 제시한다.논문에서 소개하는 Toolformer는 모델이 어느 API를 어느 상황에, 어떤 인자를 활용하여, 결과를 최적으로 조합할 수 있을지를 학습한다.이 과정은 .. 2025. 7. 17. Prefix-Tuning: Optimizing Continuous Prompts for Generation 논문 리뷰 Prefix-Tuning 배경 설명Prefix-Tuning은 NLP 모델의 fine-tuning 과정의 비효율을 해결하기 위해 발표된 방법론으로 2021년 ACL에서 발표되었다.Pretrained model 전체를 fine-tuning하지 말고, prompting에 착안한 소규모의 parameter 학습만으로 fine-tuning과 비견하는 좋은 성능을 보인다. AbstractFine-tuning은 대규모 데이터에서 학습한 pre-trained model을 down-stream task에서 활용할 수 있게 하여 좋은 성능을 낸다.하지만, model의 모든 parameter를 바꾸기 때문에, 각 task마다 전체 parameter를 저장해놔야 한다.이 논문에서는 prefix-tuning이라는 자연어 생성 .. 2024. 8. 6. GQA: Training Generalized Multi-Query Transformer Models fromMulti-Head Checkpoints 논문 리뷰 GQA 배경 설명GQA는 2023년에 발표된 논문이다. GQA는 llama 2에서 도입된 기술로 유명하다. language model에서 transformer의 multi-head attention 구조 때문에, inference 시간이 너무 오래 걸린다는 문제가 있었고, 이를 해결하기 위한 방법을 제시하였다. (사실, 전에 등장한 multi-query attention과 multi-head attention 방식의 절충안을 제시한 논문이다.)최근에는 당연하게 받아들여져, 대규모 AI 모델에는 당연하게 사용된다고 한다. AbstractMulti-query attention(MQA)는 하나의 key-value head를 사용하여 decoder의 inference 시간을 줄인다.하지만, MQA는 mode.. 2024. 8. 1. LoRA: Low-Rank Adaptation of Large Language Models 논문 리뷰 LoRA 배경 설명LoRA는 2021년 ICLR에 발표된 논문이다. 당시에는 GPT2, GPT3 등 LLM을 혁신하는 모델들이 등장하고 있던 시기이지만, 새로운 downstream task 학습을 위해서는 pretrained model에 대한 fine-tuning이 필요하다는 고정관념(?)이 자리 잡고 있던 시기이다.이 논문에서는 fine-tuning 과정에서 전체 parameter를 학습하는 것이 연산 cost가 매우 크다는 점을 지적하면서, 적은 양의 parameter 학습만으로 fine-tuning을 진행할 수 있는 방법을 제시한다.LLM들의 parameter가 비대해지면서 소규모 computing 자원에서는 거의 학습이 불가능했는데, 이 부분을 가능하게 만든 논문이기도 하다.또한, 단순 LLM 뿐.. 2024. 7. 30. 이전 1 2 3 4 다음
