본문 바로가기

분류 전체보기94

[NLP] Transformer의 Input은 어떻게 Embedding Vector로 변환되나? https://tiabet0929.tistory.com/68 [NLP] 트랜스포머 구조 파악하기 (Attention is All You Need)드디어 오랜 시간 공부해온 트랜스포머에 대해서 정리할 수 있을 정도로 개념이 쌓인 것 같다. 그래서 순차적으로 쭉 자세히 정리해보려고 하는데, 인트로 느낌으로 논문 리뷰를 하면 좋을 것tiabet0929.tistory.com 이번 포스팅에선 트랜스포머의 임베딩에 대해 자세히 살펴보고자 한다.  트랜스포머엔 가장 처음 Input을 Embedding으로 변환시켜주는 과정이 필수적이다. (다른 Seq2Seq 모델들도 마찬가지) Embedding(임베딩) 이란 일련의 단어, 즉 문장의 의미와 관계 포착하는 숫자로 변환하는 방법이다.  이미지, 문서, 소리 등 많은 비정.. 2024. 6. 6.
[NLP] Transformer의 Positional Encoding 정리 이번 포스팅에선 Positional Encoding과 Embedding에 대해 정리해보고자 한다. 더보기https://tiabet0929.tistory.com/68 [NLP] 트랜스포머 구조 파악하기 (Attention is All You Need)드디어 오랜 시간 공부해온 트랜스포머에 대해서 정리할 수 있을 정도로 개념이 쌓인 것 같다. 그래서 순차적으로 쭉 자세히 정리해보려고 하는데, 인트로 느낌으로 논문 리뷰를 하면 좋을 것tiabet0929.tistory.comhttps://tiabet0929.tistory.com/67 [NLP] Transformer의 Input은 어떻게 Embedding Vector로 변환되나?https://tiabet0929.tistory.com/68 [NLP] 트랜스포머 구.. 2024. 6. 6.
[후기] SKT FLY AI Challenger 5기 지원 + 합격 후기 (2024.05) https://www.skttechacademy.com/nonmember/flyAi/flyAiMain SKT TECH ACADEMYSK Tech기반 핵심 개발자 양성교육www.skttechacademy.com 국비지원사업 K-Digital Training의 일환으로 SKT에서 진행하는 AI 교육-프로젝트인 SKT Fly AI Challenger 5기에 서류를 통과했다. 작년 4기 때도 서류는 통과했었는데 내가 코딩테스트 날에 오랫동안 계획한 일본 여행이 잡혀 있었어서 어쩔 수 없이 포기했었다. 정말 탐나는 기회였어서 이번 5기에도 지원했는데 운좋게 서류에 통과해서 코딩테스트에 임했다. (본 교육은 특이하게도 코딩테스트 결과와 일반면접 점수를 합산하여 최종 선발을 진행했다.) 코딩테스트코딩테스트는 프로그래.. 2024. 5. 24.
[딥러닝] 활성화 함수 정리 (ReLU, softmax) 오늘은 딥러닝의 인공신경망에서 활용되는 활성화 함수 중 가장 많이 사용되는 ReLU와 Softmax 함수에 대해서 정리해보고자 한다.참고자료:https://wikidocs.net/24987 07-02 인공 신경망(Artificial Neural Network) 훑어보기인공 신경망에 대한 기본적인 내용들을 정리합니다. ## 1. 피드 포워드 신경망(Feed-Forward Neural Network, FFNN) ![](https://wikid…wikidocs.net ReLUReLU는 대표적인 활성화함수다. ReLU는 엄밀히 따지면 비선형함수긴 하지만 양수에 대해선 선형인 함수다. https://pytorch.org/docs/stable/generated/torch.nn.ReLU.html ReLU — PyTo.. 2024. 5. 5.
[NLP] 트랜스포머 사용 시 숫자 텍스트 데이터 전처리에 대해 최근에 텍스트데이터를 임베딩 벡터로 변환하는 태스크를 하다가 문득 이런 궁금증이 들었다. '숫자는 어떤 토큰으로 변환되는거지?' 왜냐면 토크나이저의 Map 에는 제한된 개수의 단어들(물론 엄청 많은 수지만)이 정수에 매핑이 되어 있는 걸로 아는데, 1,2,3... 등 양의 정수를 넘어 4.5, -103, 등 숫자끼리 조합하면 정말 무수히 많은 새로운 숫자들이 계속 탄생하기 때문이다. 그래서 한 번 직접 일부 모델의 토크나이저를 사용하여 숫자가 어떻게 처리되는지를 알아보고, 결론을 정리해보고자 한다. Integer, Float 토크나이징 해보기 우선 간단하게 정수와 소수가들이 어떻게 토크나이징되고 매핑되는지 체크해봤다. 모델은 가장 보편적인 Bert의 uncased 버전을 사용했다. tokenizer = .. 2024. 4. 18.
2024 전반기 삼성 sw 역량테스트 후기 (2024/04/14) 여름방학 인턴으로 삼성 DX의 Research 분야 중 LLM,NLP 분야에 지원을 했는데 4월 5일에 서류 합격 문자를 받았다. 우선 서류 합격한 건 기쁘긴 한데, 역시나 제일 높은 벽은 코딩테스트다. 시험은 4/14였는데, 네이버 코딩테스트를 떨어졌다는 소식을 4/8에 접했어서 이번 시험은 더욱 열심히 공부해야겠다는 의지를 불태워봤다. 하지만 내 알고리즘 실력이 뛰어나지 않기 때문에... (백준 티어 골드4, 무난하게 푸는 수준은 실버 중위, 시간 들여서 푸는 수준은 실버 상위 ~ 골드 하위) 준비하는 데에 정말 막막했다. 우선은 기초적인 부분을 강화하는게 우선이겠다 싶어서 코드트리에서 연습을 했다. https://www.codetree.ai/missions 코드트리 | 코딩테스트 준비를 위한 알고리.. 2024. 4. 13.

티스토리툴바