본문 바로가기

전체 글97

[NLP] Transformer의 Attention Head 파이썬으로 정리 미루고 미루다 다시 한 번 Transformer 구조 정리를 시작하고자 한다. 이번 포스팅에선 Attention Head와 Scaled-dot Product Attention을 파이썬 코드와 함께 정리해보고자 한다. -이전 포스팅-https://tiabet0929.tistory.com/66 [NLP] Transformer의 Positional Encoding 정리이번 포스팅에선 Positional Encoding과 Embedding에 대해 정리해보고자 한다. 더보기https://tiabet0929.tistory.com/68 [NLP] 트랜스포머 구조 파악하기 (Attention is All You Need)드디어 오랜 시간 공부해온 트랜스포tiabet0929.tistory.comhttps://tiabet.. 2024. 10. 30.
[후기] SK C&C 공채 Tech 직군 서류/면접 후기 https://www.skcareers.com/Recruit/Detail/R240992 SK CareersSK그룹 채용 플랫폼www.skcareers.com  SK C&C의 AI DATA Engineering 직군으로 공채에 지원했었는데, 서류에 통과해서 SKCT를 보게 되었다. 올해부터는 특이하게 기존에도 진행되던 SKCT와 더불어 Tech 직군에는 AICT라는 추가시험을 보게 되었다. 설명을 살펴보면 기존의 코딩테스트 방식에서 벗어나 AI 활용 능력까지 테스트하는 시험인 것 같다. SKCT 후기SKCT는 이전에 두 번 본 바가 있는 LG의 인적성검사와 사용하는 프로그램과 문제 유형이 완전히 동일했다. 즉 언어이해, 자료해석, 수리추론 등 GSAT의 유형을 거의 답습한 문제들이 출제되었다. 아무래도 외.. 2024. 10. 30.
[후기] 2024 LG전자 채용계약학과 최종합격 후기 (2025/05/26) LG전자 채용계약학과를 올해 최종합격해서 석사 진학을 하게 되었다. 사실 여름에 진작 발표가 났는데 굳이 글을 안 적으려다가, 준비하면서 워낙 정보가 적었어서 힘든 기억이 있어서 준비하시는 분들에게 나같은 어려움을 조금 덜어드리고자 뒤늦게나마 후기글을 남겨본다. 서류전형LG의 다른 채용공고는 모르겠으나 채용계약학과의 서류전형은 굉장히 심플했다. 500자의 자기소개만 쓰면 서류전형에서 할 일은 끝난다고 볼 수 있다. 아무래도 성적, 성과, 학벌 등만을 보고 1차적으로 걸러내는 과정인 것 같았다. 따라서 발표도 굉장히 빨리 나는 구간이라고 볼 수 있다. 인적성검사이름만 인적성검사고 사실상 필기전형이다. LG의 인적성검사는 별도의 프로그램으로 이루어지며, 삼성의 능력검사시험인 GSAT과 비슷한 유형의 문제들이.. 2024. 10. 14.
[LLM] LLM으로 Tabular Data 학습해보기 - 2. 이진분류 (경정데이터분석) https://tiabet0929.tistory.com/72 [LLM] LLM으로 Tabular Data 학습해보기 - 1. GPT4o Finetuning (경정데이터분석)https://www.kboat.or.kr/contents/customPlaza/noticeView.do?seqId=21256&cPage=1 KBOAT 경정2024 전국 대학생 경정 데이터 분석 경진대회 개최 안내 작성자 관리자 작성일 2024.07.24 조회 4191 첨부파일 파일 첨부됨 [양식]tiabet0929.tistory.com1편에 이어서 작성한다.  1편에서 학습이 잘 이루어지지 않는 문제의 해결책으로 나는 두 가지 방법을 채택했다. 1. 프롬프트에서 숫자의 간소화 (소수점 밑으로 열자리가 넘어가는 숫자들을 줄이는 방법)2.. 2024. 9. 29.
[LLM] LLM으로 Tabular Data 학습해보기 - 1. GPT4o Finetuning (경정데이터분석) https://www.kboat.or.kr/contents/customPlaza/noticeView.do?seqId=21256&cPage=1 KBOAT 경정2024 전국 대학생 경정 데이터 분석 경진대회 개최 안내 작성자 관리자 작성일 2024.07.24 조회 4191 첨부파일 파일 첨부됨 [양식]개인정보 수집·활용 동의서.pdf  국민체육진흥공단 경륜경정총괄본www.kboat.or.kr친구들과 함께 이 대회에 참가하고 있다. 정형데이터 (Tabular) 분석할 때는 아무래도 머신러닝 알고리즘인 XGB, LGBM, CatBoost, Random Forest 등을 사용하는 것이 정설이다. 하지만 최근 LLM이 워낙 발전하면서 이런 정형데이터들도 LLM으로 풀어보려는 시도들이 여러 공모전에서 활발히 이루어지.. 2024. 9. 20.
[LLM] OPENAI 새로운 모델 ChatGPT o1 사용 후기 블로그에 글을 거의 세 달만에 쓰는데 그 사이에 방문자 수가 꽤 늘었다. 글을 안 썼는데 왜 늘었는지는 모르지만.. 아무튼 그동안 쓸 글들이 엄청 밀려있는데 우선 빠르게 쓸 수 있는 글부터 써본다. https://openai.com/index/introducing-openai-o1-preview/9월 12일, OPENAI가 GPT의 뉴 버전인 o1을 공개했다. 정확히 말하면 Preview인데, 한 번 직접 사용해보고 뭐가 달라졌는지 살펴보고자 한다. 우선 위 링크에서 소개글을 정리해보면, 답변을 하기 전 생각을 하는 시간이 더 길어졌다고 한다. 계산 속도가 느려진 것이 아닌, 이 답변이 맞는지 틀렸는지 점검도 하고, 더 좋은 답변은 없는지 고민도 하느라 답변 시간이 더 느려졌다는 것이다.그러면서 특히 코.. 2024. 9. 15.

티스토리툴바