분류 전체보기78 [NLP] Transformer의 Attnetion 간단한 정리 https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org논문의 부록을 내리다 보면 다음처럼 Attention이 무엇인지, 특히 Self-Attention이 무엇인지와 어떻게 작동하는지를 설명해.. 2024. 6. 11. [NLP] 트랜스포머 구조 파악하기 (Attention is All You Need) 드디어 오랜 시간 공부해온 트랜스포머에 대해서 정리할 수 있을 정도로 개념이 쌓인 것 같다. 그래서 순차적으로 쭉 자세히 정리해보려고 하는데, 인트로 느낌으로 논문 리뷰를 하면 좋을 것 같다. https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mech.. 2024. 6. 11. [NLP] Transformer의 Input은 어떻게 Embedding Vector로 변환되나? https://tiabet0929.tistory.com/68 [NLP] 트랜스포머 구조 파악하기 (Attention is All You Need)드디어 오랜 시간 공부해온 트랜스포머에 대해서 정리할 수 있을 정도로 개념이 쌓인 것 같다. 그래서 순차적으로 쭉 자세히 정리해보려고 하는데, 인트로 느낌으로 논문 리뷰를 하면 좋을 것tiabet0929.tistory.com 이번 포스팅에선 트랜스포머의 임베딩에 대해 자세히 살펴보고자 한다. 트랜스포머엔 가장 처음 Input을 Embedding으로 변환시켜주는 과정이 필수적이다. (다른 Seq2Seq 모델들도 마찬가지) Embedding(임베딩) 이란 일련의 단어, 즉 문장의 의미와 관계 포착하는 숫자로 변환하는 방법이다. 이미지, 문서, 소리 등 많은 비정.. 2024. 6. 6. [NLP] Transformer의 Positional Encoding 정리 이번 포스팅에선 Positional Encoding과 Embedding에 대해 정리해보고자 한다. 더보기https://tiabet0929.tistory.com/68 [NLP] 트랜스포머 구조 파악하기 (Attention is All You Need)드디어 오랜 시간 공부해온 트랜스포머에 대해서 정리할 수 있을 정도로 개념이 쌓인 것 같다. 그래서 순차적으로 쭉 자세히 정리해보려고 하는데, 인트로 느낌으로 논문 리뷰를 하면 좋을 것tiabet0929.tistory.comhttps://tiabet0929.tistory.com/67 [NLP] Transformer의 Input은 어떻게 Embedding Vector로 변환되나?https://tiabet0929.tistory.com/68 [NLP] 트랜스포머 구.. 2024. 6. 6. [후기] SKT FLY AI Challenger 5기 지원 + 합격 후기 (2024.05) https://www.skttechacademy.com/nonmember/flyAi/flyAiMain SKT TECH ACADEMYSK Tech기반 핵심 개발자 양성교육www.skttechacademy.com 국비지원사업 K-Digital Training의 일환으로 SKT에서 진행하는 AI 교육-프로젝트인 SKT Fly AI Challenger 5기에 서류를 통과했다. 작년 4기 때도 서류는 통과했었는데 내가 코딩테스트 날에 오랫동안 계획한 일본 여행이 잡혀 있었어서 어쩔 수 없이 포기했었다. 정말 탐나는 기회였어서 이번 5기에도 지원했는데 운좋게 서류에 통과해서 코딩테스트에 임했다. (본 교육은 특이하게도 코딩테스트 결과와 일반면접 점수를 합산하여 최종 선발을 진행했다.) 코딩테스트코딩테스트는 프로그래.. 2024. 5. 24. [딥러닝] 활성화 함수 정리 (ReLU, softmax) 오늘은 딥러닝의 인공신경망에서 활용되는 활성화 함수 중 가장 많이 사용되는 ReLU와 Softmax 함수에 대해서 정리해보고자 한다.참고자료:https://wikidocs.net/24987 07-02 인공 신경망(Artificial Neural Network) 훑어보기인공 신경망에 대한 기본적인 내용들을 정리합니다. ## 1. 피드 포워드 신경망(Feed-Forward Neural Network, FFNN) 
