LLM10 [LLM] ChatGPT는 이제 모든 대화를 기억할 수 있다. 메모리 최신업데이트에 대한 탐구 (+Context Length, RAG) ChatGPT를 사용하다가 메모리가 업데이트된다는 알림을 다들 받아봤을 것이다.업데이트된 메모리를 설정칸에서 확인해보면 아래와 같이 뜬다. 이렇게 ChatGPT를 사용하다 보면 사용자에 대한 정보를 GPT가 Memory 라는 기억저장소에 기억하게 된다. 이 방식의 원리와 목적은 너무나도 당연해보인다. 목적 ▶ 사용자의 ChatGPT 사용 경험성을 높이기 위해. 기본적인 정보를 사용자가 계속 제공할 필요가 없음.원리 ▶ 매 입력, 혹은 새로운 채팅마다 '메모리'에 저장된 정보를 프롬프트로 GPT에게 계속 입력 내 추측으론 ChatGPT, 그리고 다른 LLM들의 놀라울 정도로 길어진 Context Length가 이 방식을 가능하게 했다. (ChatGPT 초창기엔 이런 메모리 기억 기능이 없었다.) 그런데 내.. 2025. 4. 14. [LLM] ChatGPT 4o 이미지 생성 모델, 어떻게 만들었는지 원리 탐구 한국시간으로 3월 26일, OpenAI는 새로운 이미지 생성 모델을 ChatGPT 4o를 통해 공개했다. 무료 버전에선 하루 3회, 유료 버전은 무제한으로 사용가능하다고 하는데, 무료 버전을 사용하는 일부 사람들은 정상작동하지 않는다는 말도 있다. https://openai.com/index/introducing-4o-image-generation/ 이 모델은 OpenAI의 기존 이미지 생성 모델인 DALL-E를 포함하여 세상의 이미지 생성 모델들이 불가능했던 것들, 예를 들면 이미지에 글자 넣기나 동일한 캐릭터 연속 생성, 사진의 객체는 그대로 유지하고 스타일만 바꾸는 등 정말 놀라운 성능을 보여줬다. 아래와 같은 놀라운 작업이 프롬프트 한 줄로 가능한 시대가 온 것이다. 특히 커뮤니티에서는 위에.. 2025. 3. 28. [LLM] LG의 LLM EXAONE Deep 사용 후기 및 딥시크 R1, OpenAI o1 과의 비교 오늘(3/18) 아침 LG의 야심작 EXAONE 모델의 새로운 버전이 오픈소스로 공개됐다. https://huggingface.co/LGAI-EXAONE LGAI-EXAONE (LG AI Research)LG AI EXAONE Welcome to the official HuggingFace organization of EXAONE, which refers to the family of Large Language Models (LLMs) and Large Multimodal Models (LMMs) developed by LG AI Research. EXAONE stands for EXpert AI for EveryONE, a vision that LG ihuggingface.co보통 모델에 Deep이 들.. 2025. 3. 18. [딥러닝] 논문 리뷰 - Normalization 꼭 필요없다. Transformers without Normalization 3일 전 Normalization과 관련된 굉장히 재밌는 논문이 메타에서 나왔다. https://arxiv.org/abs/2503.10622 Transformers without NormalizationNormalization layers are ubiquitous in modern neural networks and have long been considered essential. This work demonstrates that Transformers without normalization can achieve the same or better performance using a remarkably simple technique. We introduarxiv.org 나는 일전에도 Batch Norm.. 2025. 3. 17. [NLP] BERT : Pre-training of Deep Bidirectional Transformers forLanguage Understanding 논문 리뷰 2 이번 포스팅은 지난 포스팅에서 다루지 못한 BERT의 Pre-train 및 파인튜닝 Approach를 다뤄보도록 하겠다. https://tiabet0929.tistory.com/90 [NLP] BERT : Pre-training of Deep Bidirectional Transformers forLanguage Understanding 논문 리뷰 1이번 포스팅에선 BERT를 리뷰해보려고 한다. 워낙 유명한 모델이고 또 전세계적으로 많은 분들이 잘 정리해주신 게 많기 때문에, 나는 내가 잘 몰랐던 부분을 중점적으로 정리해보려고 한다. httiabet0929.tistory.com 글을 시작하기에 앞서 최근 내가 여러 모델들의 논문을 읽으면서, 후대에 공부를 시작한 사람으로서 깨달은 점을 적어보려고 한다. .. 2025. 3. 14. [NLP] BERT : Pre-training of Deep Bidirectional Transformers forLanguage Understanding 논문 리뷰 1 이번 포스팅에선 BERT를 리뷰해보려고 한다. 워낙 유명한 모델이고 또 전세계적으로 많은 분들이 잘 정리해주신 게 많기 때문에, 나는 내가 잘 몰랐던 부분을 중점적으로 정리해보려고 한다. https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingWe introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation model.. 2025. 3. 8. 이전 1 2 다음
