본문 바로가기

AI이야기147

FlashAttention-3: LLM 속도 혁신, H100 GPU 최적화 비법 공개! FlashAttention은 트랜스포머 아키텍처의 핵심 계층인 어텐션 연산을 GPU에서 더 빠르게 처리하기 위해 탄생했어요. 메모리 읽기/쓰기를 최소화하면서 LLM과 긴 컨텍스트 애플리케이션의 성능을 비약적으로 끌어올린 덕분에, 지난 2년 동안 LLM의 컨텍스트 길이가 2~4K에서 128K, 심지어 1M까지 늘어날 수 있었죠. 정말 대단하지 않나요? 하지만, 아무리 뛰어난 기술이라도 더 발전할 여지는 항상 존재하죠. FlashAttention-2는 H100 GPU의 이론적 최대 성능을 제대로 활용하지 못했어요. 최대 성능의 35%밖에 활용하지 못했다니, 아쉬운 부분이죠. 그래서 등장한 것이 바로 FlashAttention-3입니다! 이번 포스팅에선 FlashAttention-3이 H100 GPU에서 어텐.. 2024. 11. 8.
LLM 성능 UP! 학습 데이터 정제와 미세조정 완벽 가이드 LLM이 세상을 떠들썩하게 만들고 있죠? 챗봇, 번역, 창작 등 다양한 분야에서 맹활약을 펼치고 있는데요. 혹시 이 똑똑한 LLM이 어떻게 이렇게 똑똑해지는지 궁금하지 않으세요? 바로 학습 데이터 덕분이에요.  LLM이 엄청난 양의 데이터를 학습하며 세상을 이해하고, 우리의 질문에 답변할 수 있게 되는 거죠. 그런데, 아무 데이터나 학습하면 안 된다는 거 아시죠? 오늘은 LLM의 성능을 좌우하는 학습 데이터 정제와 미세 조정에 대해 속속들이 파헤쳐 보는 시간을 가져볼게요! LLM이 인간처럼 자연스럽고 정확한 답변을 하려면, 질 좋은 학습 데이터가 필수적이에요. 마치 똑똑한 아이가 좋은 교육을 받아야 훌륭하게 자라는 것처럼 말이죠. 학습 데이터가 뭐길래 이렇게 중요할까요? LLM은 방대한 양의 텍스트 데이.. 2024. 11. 7.
LLM 추론 원리: AI 챗봇 개발과 미래 전망, 제대로 알아보기 AI 시대의 핵심 기술 중 하나인 LLM은 어떻게 작동하고, 우리는 어떻게 이 기술을 활용할 수 있을까요? LLM이란 무엇이고, 어떤 방식으로 추론을 하고, 어떤 한계를 가지고 있는지 알아보고, 더 나아가 LLM 기반 챗봇 개발과 미래 전망까지 살펴보는 시간을 가져볼게요! 대규모 언어 모델(LLM)이란 무엇일까요?요즘 세상에 챗봇이나 번역 서비스를 이용해 본 적 있으신가요? 이런 서비스 뒤에는 바로 LLM이라는 녀석이 숨어 있어요. LLM은 엄청난 양의 텍스트 데이터를 학습해서 인간처럼 언어를 이해하고, 새로운 텍스트를 만들어내는 AI 기술이에요. 마치 인간의 뇌처럼 말이죠! LLM은 딥러닝 알고리즘의 일종인데, 특히 트랜스포머(Transformer)라는 아키텍처를 많이 사용해요. 트랜스포머는 입력된 문.. 2024. 11. 7.
AWQ로 거대 언어 모델 성능 끌어올리기: 효율적인 LLM 양자화 탐구 LLM(대규모 언어 모델)의 발전과 함께 모델 크기가 기하급수적으로 증가하면서, 메모리 및 연산 비용 문제가 더욱 심각해지고 있습니다. 이러한 문제를 해결하기 위해 모델 양자화(Quantization) 기술이 주목받고 있는데요, 오늘은 그중에서도 AWQ (Activation-aware Weight Quantization) 에 대해 자세히 알아보는 시간을 갖도록 하겠습니다. AWQ는 활성화 통계 정보를 활용하여 양자화 과정에서 발생하는 오차를 줄이는 데 초점을 맞춘 알고리즘입니다. 기존의 양자화 방법들은 주로 가중치(Weight) 값만을 고려했지만, AWQ는 활성화(Activation) 값을 분석하여 양자화 오차를 더욱 효과적으로 줄일 수 있다는 장점을 가지고 있습니다. 특히, 대규모 언어 모델과 같이 복.. 2024. 11. 7.
챗GPT 기초 모델 변경: 활용법으로 똑똑하게 활용하기 챗GPT 활용 꿀팁을 좀 더 알려드릴게요! 챗GPT를 좀 더 똑똑하게 사용하고 싶다면, '기초 모델 변경'이라는 개념을 이해하는 게 도움이 될 거예요. 챗GPT는 엄청나게 많은 데이터를 학습해서 만들어진 거지만, 그 자체로 모든 걸 다 알고 있는 건 아니에요. 마치 갓 태어난 아기가 세상을 배우는 것처럼, 챗GPT도 우리가 원하는 방향으로 조금씩 가르치고 다듬어야 더 똑똑해지고 우리에게 도움이 될 수 있답니다. 챗GPT 기초 모델 변경: 프롬프트 엔지니어링으로 챗GPT 길들이기챗GPT 기초 모델 변경이란, 챗GPT가 특정 작업이나 목적에 맞게 더 효과적으로 동작하도록 미세 조정하는 과정을 말해요. 쉽게 말해, 챗GPT를 '훈련'시켜서 우리가 원하는 답변을 더 잘 얻어낼 수 있도록 하는 거죠. 이 과정에서.. 2024. 11. 7.
SQL 생성 프롬프트의 한계? TAG로 극복하는 LLM의 진화 LLM이 점점 더 똑똑해지고 있지만, 아직까지 풀어야 할 숙제들이 좀 있어요. 특히, 데이터베이스에 없는 정보를 물어보거나 좀 복잡한 추론이 필요한 질문에는 답변을 잘 못하는 경우가 많죠. 예전에는 LLM이 사용자 질문에 답변할 때 주로 텍스트-SQL 방식이나 RAG(Retrieval Augmented Generation) 방식을 사용했어요. 텍스트-SQL 방식은 사용자의 질문을 SQL 쿼리로 바꿔서 데이터베이스에서 답을 찾는 거고, RAG 방식은 다른 데이터베이스에서 데이터를 뒤져서 답변을 만드는 거였죠. 근데, 텍스트-SQL 방식은 관계 연산으로만 표현할 수 있는 질문에만 답할 수 있다는 한계가 있었고, RAG 방식은 몇몇 데이터만 가지고 답변을 만들다 보니 정확성이 좀 떨어지는 문제가 있었어요. 그.. 2024. 11. 6.

티스토리툴바