본문 바로가기

분류 전체보기524

DPO로 혁신하는 LLM: 리더보드를 장악한 모델들 LLM(대규모 언어 모델)의 발전과 함께 인공지능 분야는 혁신적인 변화를 맞이하고 있습니다. 특히, LLM을 더욱 효과적으로 학습시키고 인간의 선호도에 맞추는 연구가 활발하게 진행되고 있으며, 그 중에서도 DPO(Direct Preference Optimization)는 최근 주목받는 강력한 방법론으로 떠올랐습니다. DPO는 기존의 RLHF(Reinforcement Learning with Human Feedback) 방식의 단점을 보완하며, 더욱 효율적이고 안정적인 LLM 학습을 가능하게 합니다. DPO: RLHF의 한계를 극복하다DPO는 2023년 5월 스탠포드 대학교 연구진이 발표한 새로운 강화 학습 방법론으로, 기존 RLHF 방식의 대안으로 주목받고 있습니다. RLHF는 인간의 피드백을 통해 보상.. 2024. 10. 20.
LLM 직접 추론: AI 추론 능력의 핵심, TAG까지 파헤치다! 데이터 세상에서 빛나는 LLM의 핵심 능력, 직접 추론에 대해 속속들이 파헤쳐 봅시다! 요즘 챗봇이나 AI 서비스 이용하면서, "어떻게 이렇게 똑똑하지?" 싶은 경험, 다들 한 번쯤 해보셨죠? 챗봇이 우리 질문에 답변만 하는 게 아니라, 맥락을 파악하고, 관련 정보를 종합해서 새로운 답을 만들어내는 모습을 보면 정말 신기하잖아요. 바로 이런 능력이 오늘 우리가 파고들 직접 추론이라는 핵심 능력 덕분이에요. 직접 추론이란 무엇일까요?직접 추론은 주어진 정보나 데이터를 바탕으로 새로운 결론이나 사실을 도출하는 과정을 말해요. 뭔가 딱딱하고 어려운 느낌이 들지만, 사실 우리 일상에서 끊임없이 사용하는 아주 기본적인 능력이에요. 예를 들어, "아침에 일어났는데 밖이 깜깜해요. 그리고 창문 너머로 비가 내리는 소.. 2024. 10. 19.
인공지능 추론의 핵심, 파이프라인 활용법 제대로 알아보기 LLM(대형 언어 모델) 시대, 인공지능과 머신러닝은 우리 삶의 깊숙한 곳까지 파고들고 있어요. 챗봇, 이미지 인식, 추천 시스템… 이 모든 것 뒤에는 방대한 데이터를 효율적으로 처리하고 분석하는 기술이 숨겨져 있죠. 바로 파이프라인을 활용한 추론이에요. 어려운 용어 같지만, 사실 생각보다 간단해요. 쉽게 말해, 파이프라인은 데이터를 흘려보내면서 여러 단계의 처리 과정을 거쳐 원하는 결과를 얻는 일종의 자동화 시스템 같은 거라고 생각하면 돼요. 마치 컨베이어 벨트에 제품을 올려놓고, 여러 공정을 거쳐 완성된 제품을 얻는 것처럼 말이죠. 오늘은 이 파이프라인을 활용한 추론이 어떻게 작동하는지, 그리고 어떤 분야에서 사용되는지 자세히 알아보는 시간을 가져볼게요! 파이프라인의 구성 요소: 데이터 수집부터 결과.. 2024. 10. 17.
AI 모델 성장의 비밀, 데이터셋 활용법 완벽 가이드 AI 모델을 학습시키려면, 마치 요리할 때 재료가 필요하듯, 훈련 데이터가 필수적이에요. 이 훈련 데이터를 담고 있는 것이 바로 데이터셋이에요.  AI 모델이 세상을 이해하고, 똑똑해지려면 다양하고 질 좋은 데이터를 먹여야 하는데, 이 역할을 데이터셋이 톡톡히 해내는 거죠. 오늘은 AI 모델 학습의 핵심인 데이터셋 활용에 대해 자세히 알아보고, 어떻게 활용하면 좋을지, 또 어떤 점을 유의해야 하는지 살펴볼게요. AI 모델 학습을 위한 데이터셋이 왜 중요할까요? 데이터셋은 AI 모델이 세상을 배우는 교과서와 같아요. AI 모델은 데이터셋을 통해 특정 패턴을 인식하고, 이를 바탕으로 예측과 판단을 하게 되거든요. 예를 들어, 고양이와 강아지를 구별하는 AI 모델을 만들려면, 고양이와 강아지 사진이 담긴 데이.. 2024. 10. 17.
Hugging Face로 이미지 분류 AI 만들기: ResNet-18 모델 학습 가이드 이미지 분류 모델을 학습시키는 과정을 HuggingFace를 사용하여 간단하게 구현해보고, 모델 학습의 핵심 단계들을 좀 더 깊이 들여다볼게요. 지난 포스팅에서 살짝 언급했듯이, 딥러닝 모델 학습 과정은 데이터 준비부터 모델 평가까지 여러 단계를 거치는데, HuggingFace는 이 복잡한 과정들을 좀 더 쉽고 효율적으로 만들어 줍니다. 데이터 준비하기: 인도 음식 이미지 데이터셋 활용하기데이터는 모델이 학습하는 밑바탕이 되는 아주 중요한 부분이에요. 마치 건물을 지을 때 튼튼한 기초가 필요하듯이, 딥러닝 모델도 좋은 성능을 내려면 양질의 데이터가 필수죠. 이번 포스팅에서는 인도 음식 이미지 데이터셋을 활용해서 이미지 분류 모델을 학습시켜 볼 거예요. 이미지 분류 모델을 학습시키려면, 모델이 이해할 수 .. 2024. 10. 14.
머신러닝/딥러닝 성공의 시작, 데이터 준비 완벽 가이드 데이터 준비는 머신러닝과 딥러닝 프로젝트에서 가장 중요한 첫걸음이에요. 왜냐하면, 모델을 훈련시키고, 제대로 된 결과를 얻으려면 튼튼한 데이터 기반이 필수적이거든요. 마치 건물을 지을 때 견고한 기초를 쌓는 것과 같아요. 이 과정은 모델에 필요한 데이터를 모으고, 정리하고, 가공하는 모든 작업을 포함한답니다.데이터 수집: 어디서, 어떻게 데이터를 구할까요?데이터 수집은 마치 보물찾기 같아요. 먼저 어떤 보물(데이터)을 찾아야 할지, 그리고 어디서 찾아야 할지 정확하게 알아야 하죠. 필요한 데이터를 어디에서 얻을 수 있을지 고민하는 단계가 바로 데이터 소스 식별이에요. 웹 스크래핑, 공개 데이터셋, API 등 다양한 방법을 통해 데이터를 수집할 수 있고, 어떤 방법이 가장 효율적인지 신중하게 고민해야 해요.. 2024. 10. 11.

티스토리툴바