LLM10 [LLM] 심심해서 구해본 BERT의 파라미터 수 어제 Base Transformer의 파라미터 수를 정리해봤는데, 이번엔 보너스 느낌으로 Base BERT의 파라미터 수를 정리해보고자 한다. BERT의 개념 정리는 나중에 하도록 하겠다.https://tiabet0929.tistory.com/86 [LLM] Attention is All You Need 의 Base Transformer 파라미터 수 계산오랜만에 논문을 다시 읽다가 파라미터 수에 꽂혔다. 여기서 베이스 모델의 파라미터가 65M이라고 나와있길래, 재미삼아 GPT에게 물어봤는데, 당연히 위에 사진만 보여주면 환각 현상 때문에 65tiabet0929.tistory.com BERT는 인코더로만 이루어져 있는 모델이라 파라미터 수 계산이 훨씬 편하다. 또한 몇 가지 공식을 사용해 계산을 훨씬 .. 2025. 2. 12. [LLM] Attention is All You Need 의 Base Transformer 파라미터 수 계산 오랜만에 논문을 다시 읽다가 파라미터 수에 꽂혔다. 여기서 베이스 모델의 파라미터가 65M이라고 나와있길래, 재미삼아 GPT에게 물어봤는데, 당연히 위에 사진만 보여주면 환각 현상 때문에 65M이라고 대답한다. 그래서 구체적인 수치를 주고 다시 대답시켜봤는데 아래처럼 답변했다. 계산에 사용된 파이썬 코드를 보면 다음과 같다.V = 37000 # Vocabulary SizeL = 512 # Sequence Lengthd_model = 512 # Model dimensionh = 8 # Number of attention headsd_ff = 2048 # Feedforward dimensionN = 6 # Number of layers in encoder and decoder# 1. Emb.. 2025. 2. 11. [LLM] LLM으로 Tabular Data 학습해보기 3 - Langchain으로 데이터 증강하기 Langchain을 소개하는 칼럼 하나를 읽다가 Langchain으로 Tabular Dataset을 증강시키는 방법이 있다고 해서 궁금했다. https://tiabet0929.tistory.com/72 [LLM] LLM으로 Tabular Data 학습해보기 - 1. GPT4o Finetuning (경정데이터분석)https://www.kboat.or.kr/contents/customPlaza/noticeView.do?seqId=21256&cPage=1 KBOAT 경정2024 전국 대학생 경정 데이터 분석 경진대회 개최 안내 작성자 관리자 작성일 2024.07.24 조회 4191 첨부파일 파일 첨부됨 [양식]tiabet0929.tistory.com 위 대회에 참가할 때도 학습을 하려고 했던 이유가 LLM을.. 2024. 11. 13. [LLM] LLM으로 Tabular Data 학습해보기 - 2. 이진분류 (경정데이터분석) https://tiabet0929.tistory.com/72 [LLM] LLM으로 Tabular Data 학습해보기 - 1. GPT4o Finetuning (경정데이터분석)https://www.kboat.or.kr/contents/customPlaza/noticeView.do?seqId=21256&cPage=1 KBOAT 경정2024 전국 대학생 경정 데이터 분석 경진대회 개최 안내 작성자 관리자 작성일 2024.07.24 조회 4191 첨부파일 파일 첨부됨 [양식]tiabet0929.tistory.com1편에 이어서 작성한다. 1편에서 학습이 잘 이루어지지 않는 문제의 해결책으로 나는 두 가지 방법을 채택했다. 1. 프롬프트에서 숫자의 간소화 (소수점 밑으로 열자리가 넘어가는 숫자들을 줄이는 방법)2.. 2024. 9. 29. [LLM] LLM으로 Tabular Data 학습해보기 - 1. GPT4o Finetuning (경정데이터분석) https://www.kboat.or.kr/contents/customPlaza/noticeView.do?seqId=21256&cPage=1 KBOAT 경정2024 전국 대학생 경정 데이터 분석 경진대회 개최 안내 작성자 관리자 작성일 2024.07.24 조회 4191 첨부파일 파일 첨부됨 [양식]개인정보 수집·활용 동의서.pdf 국민체육진흥공단 경륜경정총괄본www.kboat.or.kr친구들과 함께 이 대회에 참가하고 있다. 정형데이터 (Tabular) 분석할 때는 아무래도 머신러닝 알고리즘인 XGB, LGBM, CatBoost, Random Forest 등을 사용하는 것이 정설이다. 하지만 최근 LLM이 워낙 발전하면서 이런 정형데이터들도 LLM으로 풀어보려는 시도들이 여러 공모전에서 활발히 이루어지.. 2024. 9. 20. [LLM] OPENAI 새로운 모델 ChatGPT o1 사용 후기 블로그에 글을 거의 세 달만에 쓰는데 그 사이에 방문자 수가 꽤 늘었다. 글을 안 썼는데 왜 늘었는지는 모르지만.. 아무튼 그동안 쓸 글들이 엄청 밀려있는데 우선 빠르게 쓸 수 있는 글부터 써본다. https://openai.com/index/introducing-openai-o1-preview/9월 12일, OPENAI가 GPT의 뉴 버전인 o1을 공개했다. 정확히 말하면 Preview인데, 한 번 직접 사용해보고 뭐가 달라졌는지 살펴보고자 한다. 우선 위 링크에서 소개글을 정리해보면, 답변을 하기 전 생각을 하는 시간이 더 길어졌다고 한다. 계산 속도가 느려진 것이 아닌, 이 답변이 맞는지 틀렸는지 점검도 하고, 더 좋은 답변은 없는지 고민도 하느라 답변 시간이 더 느려졌다는 것이다.그러면서 특히 코.. 2024. 9. 15. 이전 1 2 다음
