본문 바로가기

분류 전체보기94

[LLM] Attention is All You Need 의 Base Transformer 파라미터 수 계산 오랜만에 논문을 다시 읽다가 파라미터 수에 꽂혔다.  여기서 베이스 모델의 파라미터가 65M이라고 나와있길래, 재미삼아 GPT에게 물어봤는데, 당연히 위에 사진만 보여주면 환각 현상 때문에 65M이라고 대답한다. 그래서 구체적인 수치를 주고 다시 대답시켜봤는데 아래처럼 답변했다.  계산에 사용된 파이썬 코드를 보면 다음과 같다.V = 37000 # Vocabulary SizeL = 512 # Sequence Lengthd_model = 512 # Model dimensionh = 8 # Number of attention headsd_ff = 2048 # Feedforward dimensionN = 6 # Number of layers in encoder and decoder# 1. Emb.. 2025. 2. 11.
[통계학] Expectation-Maximization EM 알고리즘 정리 인공지능 강의를 듣다 보면 항상 나오는 개념이 몇 개 있다. 그 중 하나가 EM 알고리즘이다. 처음에 이 알고리즘에 대해 수업을 들을 때는 뭔 말인지 감도 안오고 어려운 느낌이 있었다. 하지만 내용을 알고 보면 그렇게까지 어려운 건 아니라, 차근차근 정리해보고자 한다. EM알고리즘의 목적은 MLEEM알고리즘을 먼저 언제 사용하는 지를 정확하게 아는 것이 이해가 쉬울 것 같다. 그러기 위해선 설명해야 하는 개념이 있는데 우도함수다. 우도함수는 어떤 데이터의 분포(이항분포인지, 다항분포인지 확률분포의 종류를 의미)를 알고 있지만 정확한 모수(이항분포에서 특정 사건이 일어날 확률)를 알지 못할 때, 이 정확한 모수, 즉 파라미터를 찾기 위해 사용된다. 일반적으로 확률분포에서 모수라 함은 평균, 표준편차 같은 .. 2025. 1. 24.
[CV] 이미지 유사성 평가 지표 SSIM 정리 최근에 학위보고서를 하나 쓰면서 이미지와 적대적 공격에 대한 작업을 진행했는데, 그 중 적대적 공격의 성능 평가지표로 많은 논문들이 사용하는 SSIM 지표에 대해 정리해보고자 한다. https://ieeexplore.ieee.org/document/1284395 Image quality assessment: from error visibility to structural similarityObjective methods for assessing perceptual image quality traditionally attempted to quantify the visibility of errors (differences) between a distorted image and a reference image.. 2025. 1. 6.
[NLP] Transformer Multi-Head Attention 파이썬으로 정리 https://tiabet0929.tistory.com/77 [NLP] Transformer의 Attention Head 파이썬으로 정리미루고 미루다 다시 한 번 Transformer 구조 정리를 시작하고자 한다. 이번 포스팅에선 Attention Head와 Scaled-dot Product Attention을 파이썬 코드와 함께 정리해보고자 한다. -이전 포스팅-https://tiabet0929.titiabet0929.tistory.com 이 글을 작성하고 어느덧 두 달이 지나고 해가 바뀌어버렸다. 내 게으름을 탓하며 정리를 마저 하려고 한다. 아마도 멀티 헤드 어텐션을 정리하는 이번 포스팅이 지나고 다음 포스팅에서 피드포워드와 최종 부분을 정리하면 길었던 Transformer 정리 글을 마무리하고, .. 2025. 1. 1.
[파이썬] 클라우드에서 작업한 대용량 파일 쉽게 로컬로 다운받는 법 (파이썬 http 서버 오픈) 최근에 클라우드에서 대용량으로 파일을 작업해야 할 일이 있었다. 저렴한 가격에 좋은 GPU를 제공해주는 엘리스 클라우드 온디맨드를 사용하여 작업을 했다. https://elice.io/ko/products/cloud/on-demand 엘리스클라우드 온디맨드 | 고성능 GPU/NPU 자원을 글로벌 최저가로 제공AI 전용 클라우드 엘리스클라우드에서 고성능 GPU를 글로벌 최저가로 꼭 필요한 만큼만 이용해보세요.elice.io  기관(서버)을 만들고 인스턴스 이미지 수 백장을 업로드해서 작업을 마치고 파일을 다시 다운받으려는데, 무슨 이유인지 다운로드 버튼을 계속 눌러도 다운로드가 되지 않았다. 혹시 폴더라서 다운이 안 되는 건가 싶어서 (코랩에서는 폴더 다운로드가 안 됨) 몰라서 zip 파일로 압축해서 눌러.. 2024. 12. 10.
[CV] opencv ImportError: libGL.so.1: 오류 해결법 엘리스클라우드에서 코딩을 하고 있었는데 처음 opencv를 설치하고 import하니 다음과 같은 오류가 발생했다. ImportError: libGL.so.1: cannot open shared object file: No such file or directory 이런 문제는 코랩 같은 클라우드 환경을 사용할 때 자주 일어나는 것으로 보인다. 다행히 어렵지 않게 해결법을 찾아서 공유한다. https://hufs4programming.tistory.com/59 [opencv]ImportError: libGL.so.1: cannot open shared object file: No such file or directory 에러 발생시 해결1. 문제 발생 쿠버플로우 환경의 주피터노트북에서 opencv를 사용하고.. 2024. 12. 8.

티스토리툴바