Ai2 [NLP] Transformer의 Attention Head 파이썬으로 정리 미루고 미루다 다시 한 번 Transformer 구조 정리를 시작하고자 한다. 이번 포스팅에선 Attention Head와 Scaled-dot Product Attention을 파이썬 코드와 함께 정리해보고자 한다. -이전 포스팅-https://tiabet0929.tistory.com/66 [NLP] Transformer의 Positional Encoding 정리이번 포스팅에선 Positional Encoding과 Embedding에 대해 정리해보고자 한다. 더보기https://tiabet0929.tistory.com/68 [NLP] 트랜스포머 구조 파악하기 (Attention is All You Need)드디어 오랜 시간 공부해온 트랜스포tiabet0929.tistory.comhttps://tiabet.. 2024. 10. 30. [LLM] OPENAI 새로운 모델 ChatGPT o1 사용 후기 블로그에 글을 거의 세 달만에 쓰는데 그 사이에 방문자 수가 꽤 늘었다. 글을 안 썼는데 왜 늘었는지는 모르지만.. 아무튼 그동안 쓸 글들이 엄청 밀려있는데 우선 빠르게 쓸 수 있는 글부터 써본다. https://openai.com/index/introducing-openai-o1-preview/9월 12일, OPENAI가 GPT의 뉴 버전인 o1을 공개했다. 정확히 말하면 Preview인데, 한 번 직접 사용해보고 뭐가 달라졌는지 살펴보고자 한다. 우선 위 링크에서 소개글을 정리해보면, 답변을 하기 전 생각을 하는 시간이 더 길어졌다고 한다. 계산 속도가 느려진 것이 아닌, 이 답변이 맞는지 틀렸는지 점검도 하고, 더 좋은 답변은 없는지 고민도 하느라 답변 시간이 더 느려졌다는 것이다.그러면서 특히 코.. 2024. 9. 15. 이전 1 다음
