NLP15 [NLP Study] - RNN 트랜스포머가 무엇이 대단한지를 이해하려면, Seq2Seq부터 이해해야 하고, 결국엔 그 전의 자연어 처리가 어떠한 식으로 이루어졌는지를 완전히 이해해야 할 것 같다. 그래서 한 달 동안 RNN부터 쭉 공부를 해보고자 한다. 나중에는 관련 논문들을 읽어보고 코드로 구현할 수 있을 수준까지 실력을 올리고 싶기 때문에 논문 베이스 + 관련 자료 공부하고 정리하는 형식으로 포스팅이 이어질 것 같다. 참고자료 https://www.youtube.com/watch?v=Hn3GHHOXKCE&ab_channel=%EB%A9%94%ED%83%80%EC%BD%94%EB%93%9CM 이번에 RNN을 공부하면서 참고한 영상이다. https://arxiv.org/abs/1808.03314 Fundamentals of Recur.. 2024. 2. 6. [NLP] BPETokenizer 이해하기 최근에 캐글에서 열린 LLM 대회의 최적 솔루션은 아주 인상적이었다. https://www.kaggle.com/code/datafan07/train-your-own-tokenizer Train your own Tokenizer Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com 대회 목적 자체는 문장을 보고 기계가 만든 것인지 인간이 만든 것인지 구분하는 것이었다. 일반적인 솔루션은 BERT 류의 모델을 학습시켜서 분류시키는 것이겠으나, 여기에서 제시된 솔루션은 그런 방식이 아니다. 토크나이저를 로드해오는 게 아니고 데이터셋에 맞게 직접 만들어서, TF.. 2024. 2. 3. [NLP Study] - Attention Mechanism이 특별한 이유 사실상 세상을 바꾼 아키텍쳐라고 봐도 무방한 트랜스포머의 어텐션 매커니즘에 대해서 정리해보고자 한다. 참고자료 https://wikidocs.net/22893 15-01 어텐션 메커니즘 (Attention Mechanism) 앞서 배운 seq2seq 모델은 **인코더**에서 입력 시퀀스를 컨텍스트 벡터라는 하나의 고정된 크기의 벡터 표현으로 압축하고, **디코더**는 이 컨텍스트 벡터를 통해서 출력 … wikidocs.net 당연히 트랜스포머를 처음 제시한 구글 연구원들의 "Attention is All You Need" 도 참고했다. https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction m.. 2023. 12. 10. 이전 1 2 3 다음
