helpot.kr

[Upstage AI Lab 3기] 부트캠프 지식으로 각종 대회 도전기

helpot.kr — Thu, 7 Nov 2024 22:39:57 +0900

약 7개월 간 부트캠프에서 인공지능 관련 지식을 많이 배울 수 있었다.
부트캠프 자체로도 정말 많은 소득이 있었고, 큰 배움이었지만,
그 외에도 크게 두 가지 외부 대회 실적을 얻고 있는 중이다.

첫째, kaggle 대회

부트캠프 진행된지 2개월이 지났을 시점에, 수업 때 프로젝트로 진행했던 프로젝트이다.
캐글 사이트의 중고 자동차 가격을 예측하는 대회였는데,
결국 2등을 거머쥘 수 있었다.

수업 당시(2024.06)에도 2등이었지만, 대회 마감이 가까운 10월에는 새롭고 뛰어난 실력자들이 늘어서인지, 나는 10등 밑으로 떨어진 상태였다. 마감까지 몇 일이 남았던지라, 나 또한 다시 도전하였다.
배웠던 내용을 복습하며 주말 내내 도전한 결과 다시 2등 까지 탈환할 수 있었다.

이번 부트캠프 덕분에 인공지능 분야를 학습 할 수 있었을 뿐만 아니라,
캐글 사이트에서도 좋은 성적을 얻기 까지 해서 정말 기쁘다.

둘째, KRX 금융모델 대회

부트캠프에서 만난 분들과 함께, 또 다른 대회에 참여 중이다.
예선을 치르고 있는데, 여러 팀이 경합을 치르고 있고, 제출된 모델만 400개가 넘어가는 시점이다.
자랑스럽게도 나의 팀이 1등이다.
어디서 무엇을 하든, 여전히 새롭게 배울 부분은 넘쳐난다.
좋은 결실을 맺을 수 있도록 끝까지 노력하려 한다.

#패스트캠퍼스 #패스트캠퍼스AI부트캠프 #업스테이지패스트캠퍼스 #UpstageAILab #국비지원 #패스트캠퍼스업스테이지에이아이랩 #패스트캠퍼스업스테이지부트캠프

[Upstage AI Lab 3기] Data Centric AI 학습 내용

helpot.kr — Wed, 2 Oct 2024 19:19:41 +0900

Data Centric AI란?

AI 학습을 위해, 데이터를 어디서 수집해오고, 어떻게 정제할 것이며, 어떤 도구가 있는지 등에 관한 내용이다.
특별히, AI 성능 향상을 위해 모델링을하는 부분보다, 학습 데이터를 잘 준비하고, 정제하는 부분이 더욱 중요해 지는 형국이다.
크게 중요한 내용을 아래 요약하여 남겨본다.

데이터 구축 파이프라인

데이터 수집 --> 데이터 전처리 --> 데이터 라벨링 --> 데이터 클렌징 --> 데이터 스플릿(학습, 검증, 테스트) --> 데이터 릴리즈

데이터 수집 방법

크롤링
관련 사이트(국내)
- 통계데이터센터
- 공공데이터포털
- 서울 열린데이터광장
- 식품안전나라
- AI허브
관련 사이트(국외)
- kaggle
- papersWithCode
- UCI ML Repo
- huggingface
클라우드소싱
- 크라우드웍스
- 셀렉트스타
- 딥네츄럴
- 텍스트넷

주의할 점

사용하는 데이터 라이선스 확인
개인정보보호법 확인
비속어 필터링: 관련 데이터를 강의에서 소개해주심

데이터 라벨링 규칙

CV
- 바운딩 박스
- OCR
- 큐보이드
- 폴리곤
- 폴리라인
- 시맨틱 분할
- 키포인트
NLP
- 분류
- 태깅
- 전사
- 번역
- 요약
라벨링 툴 사용

IAA(Inter-Annotator Agreement)

라벨링 작업자들 간에 일치도 평가하는 방법이다.
점수가 높을수록 많이 일치한다는 뜻이다.
다 같이 틀렸을 수도 있기에, 점수가 높다고 제대로 라벨링 했다고 말할 수는 없다.

계산 방식은 아래와 같은 기법이 있다.

Cohen's Kappa
Fleiss Kappa
F1-score

IAA 를 활용하면, AI 성능을 올리기 위해, 모델링에 투자할지? 데이터에 투자할지? 확인할 수 있다.

IAA F1 점수가 높지만, 모델 성능이 낮은 경우 모델링에 투자해서 AI 성능을 올릴 수 있다.
IAA F1 점수가 낮으면서, 모델 성능도 낮은 경우는 데이터 개선에 투자해서 AI 성능을 올릴 수 있다.
위 두 가지 상황이 아닌, 예외적인 경우는 그 원인을 분석해서 성능 개선의 실마리를 찾을 수 있다.

[Upstage AI Lab 3기] Dialogue Summarization | 일상 대화 요약 대회

helpot.kr — Tue, 24 Sep 2024 16:23:22 +0900

대회 소개

Dialogue Summarization 경진대회는 주어진 데이터를 활용하여 일상 대화에 대한 요약을 효과적으로 생성하는 모델을 개발하는 대회입니다. 그러나 하나의 대화에서도 관점, 주제별로 정리하면 수 많은 요약을 만들 수 있습니다. 대화를 하는 도중에 이를 요약하게 되면 대화에 집중할 수 없으며, 대화 이후에 기억에 의존해 요약하게 되면 오해나 누락이 추가되어 주관이 많이 개입되게 됩니다.
일상생활에서 대화는 항상 이루어지고 있습니다. 회의나 토의는 물론이고, 사소한 일상 대화 중에도 서로 다양한 주제와 입장들을 주고 받습니다. 나누는 대화를 녹음해두더라도 대화 전체를 항상 다시 들을 수는 없기 때문에 요약이 필요하고, 이를 위한 통화 비서와 같은 서비스들도 등장하고 있습니다.

Timeline

대회기간 : 2024.08.29.목 10:00 ~ 2024.09.10.화 19:00

Evaluation

ROUGE는 텍스트 요약, 기계 번역과 같은 태스크를 평가하기 위해 사용되는 대표적인 metric입니다. 모델이 생성한 요약본 혹은 번역본을 사람이 만든 참조 요약본과 비교하여 점수를 계산합니다.
- ROUGE-Recall: 참조 요약본을 구성하는 단어들 중 모델 요약본의 단어들과 얼마나 많이 겹치는지 계산한 점수입니다.
- ROUGE-Precision: 모델 요약본을 구성하는 단어들 중 참조 요약본의 단어들과 얼마나 많이 겹치는지 계산한 점수입니다.
ROUGE-N과 ROUGE-L은 비교하는 단어의 단위 개수를 어떻게 정할지에 따라 구분됩니다.
- ROUGE-N은 unigram, bigram, trigram 등 문장 간 중복되는 n-gram을 비교하는 지표입니다.
  - ROUGE-1는 모델 요약본과 참조 요약본 간에 겹치는 unigram의 수를 비교합니다.
  - ROUGE-2는 모델 요약본과 참조 요약본 간에 겹치는 bigram의 수를 비교합니다.
- ROUGE-L: LCS 기법을 이용해 최장 길이로 매칭되는 문자열을 측정합니다. n-gram에서 n을 고정하지 않고, 단어의 등장 순서가 동일한 빈도수를 모두 세기 때문에 보다 유연한 성능 비교가 가능합니다.
- ROUGE-F1은 ROUGE-Recall과 ROUGE-Precisioin의 조화 평균입니다.

개인 Branch

https://github.com/UpstageAILab3/upstage-nlp-summarization-nlp2/tree/kimkihong

데이터 및 상세 내용

저작권 관련된 항목이 있어서, 몇 가지만 기입한다.
상단에 기입한 git 주소 접속하면, 상세 내용을 확인할 수 있다.

나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했는가?

EDA, 전처리, 모델링, keyBERT 키워드추출, 특별히 LLM 파인튜닝까지 모든 부분을 진행하였다.

마주한 한계는 무엇이며, 아쉬웠던 점은 무엇인가?

LLM 파인튜닝 부분이 약간 아쉽다.
우리 조 보다 점수가 조금 높아서 1등 했던 팀도, 구글 젬마 모델을 이용하였는데, 파인튜닝을 통해 성능을 올렸음을 공유 받았다.
항상 그렇지만, 가장 마지막으로 시도했던 LLM 파인튜닝을 하루 이틀만 빨리 시도했어도, 점수를 많이 올릴 수 있었는데 아쉽다.
1등 했던 조와의 차이점은 시간 분배이다. 해당 조는 시작할 때 부터, 각자가 해야할 파트를 정해서 그것만 진행했다고 한다.
대회 내용이 아쉽다.
정말 한땀한땀 오타를 찾아내며, 전처리를 엄청나게 진행했지만, 점수가 향상되지 않았다.
우리 조 뿐만 아니라, 다른 조도 마찬가지였고, 다른 기수도 동일한 이슈가 있었다고 한다.
더불어, 대회 강사님도 동일한 피드백을 하셨다.

한계/교훈을 바탕으로 다음 경진대회에서 시도해보고 싶은 점은 무엇인가?

다음 달에 또 LLM 대회가 있으니, LLM 파인튜닝과 RAG 등 여러 부분에 대해 미리 학습하고 프로토타입을 구축하려 한다.

#패스트캠퍼스 #UpstageAILab #Upstage #부트캠프 #AI #데이터분석 #데이터사이언스 #인공지능개발자 #ML #머신러닝 #경진대회 등

[Upstage AI Lab 3기] 컴퓨터비전 학습 내용

helpot.kr — Wed, 21 Aug 2024 17:51:18 +0900

컴퓨터비전 분야 학습했던 내용을 카테고리별로 분류해보았다.
정말 방대한 분야이고, 복습해야할 내용도 많지만, 핵심적인 내용을
나는 크게 세 가지 분야로 나누고 싶다.

고정된 이미지에서 탐색 분야
실시간 이미지에서 탐색 분야
이미지 생성 분야

고정된 이미지에서 탐색 분야

CNN 계열 (Convolutional Neural Networks)
CNN은 이미지의 공간적 계층 구조를 학습하여, 각 계층에서 특징 맵(feature map)을 추출하고, 이를 바탕으로 이미지를 분석한다. 주요 CNN 모델로는 LeNet, AlexNet, VGGNet, ResNet, Inception 등이 있다. CNN은 이미지의 저수준(low-level)부터 고수준(high-level)까지의 특징을 학습하는 데 뛰어난 성능을 보인다.
Transformer 계열
Transformer 모델은 자연어 처리에서 처음 도입되었으나, 최근 Vision Transformer(ViT)와 같은 변형을 통해 이미지 처리에도 적용되고 있다. Transformer 계열 모델은 이미지 패치를 입력으로 받아, 각 패치 간의 관계를 학습하여 이미지를 분석한다. CNN에 비해 더 큰 맥락(context) 정보를 효과적으로 처리할 수 있으며, 특히 대규모 데이터셋에서 강력한 성능을 발휘한다. ViT, Swin Transformer, DeiT 등이 대표적인 모델이다.

실시간 이미지에서 탐색 분야

YOLO (You Only Look Once)
YOLO의 주요 특징은 전체 이미지를 한 번만 처리하여 객체를 탐지한다. 이로 인해 매우 빠른 속도로 객체 탐지가 가능하며, 실시간 응용에 적합하다. YOLO는 다양한 버전으로 발전해왔으며, 최신 버전에서는 더 높은 정확도와 효율성을 제공한다. 실시간 비디오 분석, 자율주행, 보안 감시 등 다양한 분야에서 사용된다.

이미지 생성 분야

VAE(Variational Autoencoders)
이미지에서 보여지는 특징들을 구분하고, 특징마다 샘플링하여 새로운 이미지를 생성한다.
GANs(Generative Adversarial Networks)
생성자는 가짜 이미지를 진짜처럼 속이기 위해 점점 더 사실적인 이미지를 생성하려고 하며, 판별자는 생성자가 만든 이미지가 실제 이미지와 얼마나 유사한지 판단한다. 이 과정을 통해 생성자는 매우 사실적인 이미지를 생성할 수 있게 된다.
Diffusion Models
노이즈를 추가하면서, 학습하고, 노이즈를 제거하면서, 이미지를 생성한다.

[Upstage AI Lab 3기] Document Type Classification 대회

helpot.kr — Wed, 14 Aug 2024 00:36:38 +0900

대회 소개

이번 대회는 문서 타입 분류를 위한 이미지 분류 대회입니다. 문서 데이터는 금융, 의료, 보험, 물류 등 산업 전반에 가장 많은 데이터이며, 많은 대기업에서 디지털 혁신을 위해 문서 유형을 분류하고자 합니다. 이러한 문서 타입 분류는 의료, 금융 등 여러 비즈니스 분야에서 대량의 문서 이미지를 식별하고 자동화 처리를 가능케 할 수 있습니다.
이번 대회에 사용될 데이터는 총 17개 종의 문서로 분류되어 있습니다. 1570장의 학습 이미지를 통해 3140장의 평가 이미지를 예측하게 됩니다. 특히, 현업에서 사용하는 실 데이터를 기반으로 대회를 제작하여 대회와 현업의 갭을 최대한 줄였습니다. 또한 현업에서 생길 수 있는 여러 문서 상태에 대한 이미지를 구축하였습니다.

Timeline

대회기간 : 2024.07.30.화 10:00 ~ 2024.08.11.일 19:00

Evaluation

Macro F1
F1 score는 Precision과 Recall의 조화 평균을 의미합니다.
클래스마다 개수가 불균형할 때 모델의 성능을 더욱 정확하게 평가할 수 있습니다. 수식은 다음과 같습니다.

팀 구성

개인 Branch

https://github.com/UpstageAILab3/upstage-cv-classification-cv2/tree/kimkihong

수행 절차

EDA
validation set
base model
1. 데이터 증강은 어떻게 했나요?
2. 모델 선택은 어떻게 했나요?
Base Model analyze
1. base model이 보고 있는 것은?
2. base Model이 잘 구분 못하는 것은?
model enhancement
1. crop & title crop 데이터 증강
2. blending 데이터 증강
3. gray 데이터 증강
4. padding 데이터 증강
5. semi supervised learning
6. ocr
7. TTA
8. contrastive learning
9. 앙상블

데이터 및 상세 내용

저작권 관련된 항목이 있어서, EDA 관련 2개 정도만 기입한다.
상단에 기입한 git 주소 접속하면, 상세 내용을 확인할 수 있다.

나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했는가?

역시나, 직전 대회 때 처럼, 시간 확보를 위해, 수업을 미리 땡겨서 들었다.
BP 사례 찾기
반복적으로 학습하고 대회를 치뤘던 머신러닝과는 다르게, 컴퓨터 비전 관련 수업이나 대회는 처음이었던 상황이다.
따라서, 가장 효율적이고 인기 많은 모델이 무엇인지 부터, 하이퍼파라미터, 최적화 함수 등등 찾아볼 내용이 많았기에, 해당 내용들을 찾는데 초반 시간 투자를 많이 하였다.
팀원의 의견 존중하고, 공유하기
팀 시너지 효과를 극대화 하기 위해, 모든 것을 공유하였다.

마주한 한계는 무엇이며, 아쉬웠던 점은 무엇인가?

OCR 부분이 아쉽다.
리더보드 순위를 확인해보면, 1~3위 까지와 그 아래로 극명하게 나뉘는데, OCR 성공 여부에서 큰 차이가 있었다.
우리 팀과 나도 OCR을 여러번 시도하였지만, 번번히 실패하며 우순순위를 낮추었었는데,
OCR에 아주 조금만 더 시간 투자를 했으면, 결과가 달라졌을 수도 있었겠다고 생각된다.
하지만, 후회하지 않는다.
대회에서 점수 올리기 위해 OCR이든 어떤 기법이든 사용하는 것은 자유이고, 점수를 올리면 두 말할 것 없이 잘한 것이 맞지만, 엄연히 OCR은 배우지도 않은 부분이고 이번 대회 의도에도 포함되지 않은 부분이기에, 이를 실패하고, OCR 성공한 팀들에 비해 점수가 낮더라도, 잘 못 하거나 부족했던 부분은 아니기 때문이다.
컴퓨터 자원의 한계가 아쉽다.
개인당 GTX-3090 서버가 1대씩 부여되었지만, 기존 집에 비슷한 수준의 장비를 보유한 사람은 2배로 빠르게 실험하는 모습을 보았다. 너무 부러운 부분이다.
그래도, 업스테이지에서 이렇게 비싼 서버 자원을 제공해주어 너무 감사한 부분이다.

한계/교훈을 바탕으로 다음 경진대회에서 시도해보고 싶은 점은 무엇인가?

모든 소스 코드를 함수화 하고, 패키징화 하여, 팀원들끼리 소스코드 공유 및 활용을 더욱 빠르게 할 수 있도록 하고 싶다.
더불어, hydra 와 같은 프레임워크를 통해 체계적으로 구축하고 자동화 할 수 있도록 해야 함을 느낀다.
다른 팀에서 사용한 다음과 같은 기법들 점수가 매우 좋았다. 다음 대회 때, 사용 필요하다.
efficientnetV2 모델, tinyvit 모델, medianblur 노이즈, paddle OCR

#패스트캠퍼스 #UpstageAILab #Upstage #부트캠프 #AI #데이터분석 #데이터사이언스 #인공지능개발자 #ML #머신러닝 #경진대회 등

[Upstage AI Lab 3기] Upstage Machine Learning Regression 대회

helpot.kr — Thu, 25 Jul 2024 16:46:02 +0900

Upstage Machine Learning Regression 대회 기지개팀(5팀)

대회 소개

House Price Prediction 경진대회는 서울의 아파트 실거래가를 효과적으로 예측하는 모델을 개발하는 대회입니다. 부동산은 개인과 판매자, 그리고 정부 모두에게 중요한 요소로, 아파트 자체의 가치뿐만 아니라 주변 환경(강, 공원, 백화점 등)에 의해 가격이 변동됩니다.
이 대회는 다양한 부동산 관련 의사결정을 돕기 위해 서울시의 아파트 실거래가를 예측하는 모델을 개발하는 것을 목표로 합니다.
- 개인: 합리적인 가격에 좋은 집을 찾기 위함
- 판매자: 적절한 가격에 집을 판매하기 위함
- 정부: 비정상적 시세 변동 및 부정 거래를 파악하기 위함

Timeline

대회기간 : 2024년 7월 9일 ~ 7월 19일

Evaluation

RMSE
RMSE는 예측된 값과 실제 값 간의 평균편차를 측정합니다.
아파트 매매의 맥락에서는 회귀 모델이 실제 거래 가격의 차이를 얼마나 잘 잡아내는지 측정합니다.

팀 구성

개인 Branch

https://github.com/UpstageAILab3/upstage-ml-regression-ml5/tree/kimkihong

설계

평가지표
- Train / Valid / Test / Submission 별 점수 비교를 위한 성능 지표 설계
- RMSE 외 보조 지표(R-squared, MAE) 함께 활용
실험 기록
실험 결과로부터 인사이트 도출과 팀원간 원활한 공유를 위해 테이블 생성
항목 : 실험 일시, 수행 시간, 모델, 피처, 하이퍼 파라미터, 평가지표, 분석 내용 등

수행 절차

강의 수강 및 베이스라인 코드 확인
기본 데이터 분석 및 전처리
자료 탐색 : 외부 데이터, 논문, 대회
피처 엔지니어링
피처 셀렉션
데이터셋 분할 : Hold Out, Time Series
모델링
- 모델 선정 : Random Forest, LightGBM, XGBoost, CatBoost, 앙상블
- 하이퍼 파라미터 튜닝
- 학습 및 예측
- 성능 평가
위 반복

데이터 및 상세 내용

저작권 관련된 항목이 있어서, EDA 관련 2개 정도만 기입한다.
상단에 기입한 git 주소 접속하면, 상세 내용을 확인할 수 있다.

나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했는가?

시간 확보를 위해, 수업을 미리 땡겨서 듣기!
BP 사례 찾기
나는 이미 본 대회를 치룬 앞선 기수의 자료를 찾아보는데에, 시간을 많이 투자하였다.
같은 데이터를 사용했었던 경험이 녹아져 있기에, 가장 빠르고 가장 확실한 방법이라 생각된다.
팀원의 의견 존중하고, 공유하기
결국, 혼자보다 머리를 맞대는 것이다.
확실히 적은 인원으로 프로젝트 했을 때보다 인원이 많았을 때,

마주한 한계는 무엇이며, 아쉬웠던 점은 무엇인가?

너무 아쉬운 것은 바로 시간이다.
실제 수업 들어야 하는 시간을 제외하면, 대회 참여 가능한 시간은 4일이었다.
핑계일까? 다시 생각도 해보았지만,
몇 개월 전부터 준비하고 참여할 수 있는 데이콘이나 캐글 대회를 생각해보면, 이번 대회는 짧아도 너무 짧았던게 사실이다.
뭔가 배운 것 조차도 다 적용해보기 어려울 정도의 짧은 시간이었기에 정말 아쉽다.
더불어, 나의 모델의 점수는 들쭉날쭉하지 않고, 선형적이면서 점진적으로 증가하고 있었기 때문에,
더욱 아쉽다고 느껴지는 부분이다.
결국 실력 부족이 가장 아쉽다.
앞선 기수들의 BP 자료도 다 찾아보고, 여러 기법도 적용해보았고,
팀에서 EDA를 전담하기도 했으면서도, 생각만큼 점수가 오르지 않았다.
뒤 늦게 나의 데이터 결측치 처리 부분에 아쉬운 부분이 있었음을 발견하였지만,
이미 대회 마감 시간이 얼마 남지 않았을 시점이었다.
결국 이 모든 것은 나의 실력 부족이다.

한계/교훈을 바탕으로 다음 경진대회에서 시도해보고 싶은 점은 무엇인가?

역시나 데이터 분포를 파악하는 것이 중요하다!
BP를 찾아보고 적용하는게 중요하다!

#패스트캠퍼스 #UpstageAILab #Upstage #부트캠프 #AI #데이터분석 #데이터사이언스 #인공지능개발자 #ML #머신러닝 #경진대회 등

[Upstage AI Lab 3기] 학습 과정 중간 회고

helpot.kr — Mon, 15 Jul 2024 10:20:41 +0900

학습 기간

2024.04.01 ~ 2024.11.01
총 8개월
현재는 딱 중간!

학습했던 내용

파이썬
크롤링
깃
통계학
EDA
코딩테스트
머신러닝
딥러닝

프로젝트

프로젝트1: 파이썬, 크롤링
프로젝트2: 통계학, EDA
프로젝트3: 머신러닝
프로젝트4: 딥러닝

출석율

실제: 100%
전산: 1일? 2일? 결석이다. (QR코드 촬영을 잊어버렸다.)

느낀점

힘들다.
학습 시간이 너무 짧다.
이해도 제대로 못한 상태로 계속 다음 단계로 넘어가기 때문에, 결국 잠을 줄여야 한다.
추가로 과제까지 해내야 하니, 이걸 하나도 놓치지 않고 모두 참여하려고 하면, 정말 힘들다.
모두가 힘들다고 난리다.
중급자 코스이다.
앞서 작성한 '힘들다' 내용과 일맥상통한다.
본 과정은 최초 모집할 때, 중급자 코스라고 적혀있었다.
하지만, 나는 머신러닝을 완전히 처음 배우는 사람이라서 힘든 것이다.
중급자 코스라서 그런지, 이미 인공지능 전공자가 많다.
인공지능 분야 석박사 까지 마치신 분들이 많아서, 의아하다.
엄청나게 발전한 모습
지금까지 거쳐온 수업 내용은 다 잘 흡수하였다.
스스로 엄청나게 발전한 모습이 보여진다.
특별히, 서점에서 머신러닝과 딥러닝 책을 펼치고 목차를 딱 보면, 이제는 내가 모두 아는 내용이다!
신기하다.
목표
내가 본 수업에 참여한 목표는 분명하다.
해당 목표를 이루기까지 얼마 안 남았다.
캐글 대회
결국, 업스테이지와 같은 탑티어 회사에 취직하려면, 캐글과 같은 대회 입상 경력이 있어야 한다고 현업 강사님들이 말씀하신다. 어찌보면 당연한 듯 하다.
나는 머신러닝 프로젝트 당시 캐글 대회에서 리더보드 2등이라는 너무 좋은 순위를 취득했었고, 아직 해당 대회는 진행 중이다.
끝까지 잘 진행해서 입상하려 한다.

[Upstage AI Lab 3기] 딥러닝 & 파이토치 학습 내용

helpot.kr — Wed, 3 Jul 2024 17:36:35 +0900

다층 퍼셉트론(Multi-Layer Perceptron, MLP)의 등장 이유

하나의 퍼셉트론으로는 선형적인 문제만 해결 가능하다.
따라서, 비선형적인 문제도 해결하기 위해 다층 퍼셉트론이 등장하였다.

컨볼루션 신경망(Convolutional Neural Network, CNN)의 등장 이유

다층 퍼셉트론은 데이터를 처리하기 위해, 1차원 배열로 변형해야 하는데,
이미지 같은 데이터의 여러 픽셀을 1열로만 나열하는 식으로 변경하게 되면,
어떤 이미지가 표현하고 있는 공간적 정보가 사라진다.
더불어, 이미지 같은 데이터를 처리하기 위해서는 기존 다층 퍼셉트론으로는 너무나 많은 노드와 파라미터가 필요해서, 학습이 굉장히 느리고 비효율적이게 된다.

순환 신경망(RNN, Recurrent Neural Network)의 등장 이유

음성 신호, 텍스트, 시계열 데이터 등의 처리는 CNN으로는 적합하지 않다.
위에서 언급한 음성 신호, 텍스트를 예로 든다면, 앞에 나온 단어에 의해 뒤에 나올 단어가 정해지는 경우도 많고, 그렇지 않더라도 앞의 단어와 뒤에 단어는 굉장히 연관성이 크다고 할 수 있다. 이렇듯 순서에 따라 데이터의 영향이 있는 경우의 문제를 풀기 위해서는 CNN이 아닌 새로운 형태가 필요했기에 RNN이 등장하였다.

CNN 기반 요즘 인기 모델

EfficientNet:
효율적이고 성능 좋은 모델: EfficientNet은 Neural Architecture Search를 사용해 설계된 모델로, 매우 효율적이면서도 높은 성능을 자랑한다. 이미지 분류 및 다양한 컴퓨터 비전 작업에서 높은 성능을 보인다.
ResNet (Residual Networks):
딥러닝의 깊이를 증가시키는 모델: ResNet은 깊은 신경망을 효과적으로 훈련시킬 수 있는 모델로, 이미지 분류 작업에서 뛰어난 성능을 보여준다. 특히, ResNet-50, ResNet-101 등의 변형이 많이 사용된다.
YOLO (You Only Look Once):
실시간 객체 탐지: YOLO는 이미지 내의 객체를 실시간으로 탐지할 수 있는 모델로, 객체 탐지 작업에서 매우 인기가 있다.

RNN 기반 요즘 인기 모델

LSTM (Long Short-Term Memory):
장기 의존성 처리: LSTM은 순차적 데이터의 장기 의존성을 잘 처리할 수 있는 모델로, 텍스트 생성, 언어 번역, 음성 인식 등의 작업에서 많이 사용된다.
GRU (Gated Recurrent Unit):
단순화된 RNN: GRU는 LSTM과 유사하지만 구조가 더 간단하여 훈련 속도가 빠르다. 비슷한 작업에서 LSTM 대신 사용될 수 있다.
Transformer 및 BERT:
자연어 처리의 혁신: Transformer는 RNN 기반 모델의 한계를 극복하기 위해 등장한 모델로, 특히 BERT(Bidirectional Encoder Representations from Transformers)는 자연어 처리 작업에서 매우 높은 성능을 보인다. GPT 시리즈도 이 범주에 포함된다.

혼합 모델

Transformer 기반 모델:
Vision Transformer (ViT): Transformer 구조를 이미지 처리에 적용한 모델로, 최근 많은 주목을 받고 있다.
GPT (Generative Pre-trained Transformer): 자연어 생성과 이해에서 탁월한 성능을 보이며, OpenAI의 GPT 시리즈가 대표적이다.
Hybrid Models:
CNN-RNN 혼합 모델: 이미지 캡셔닝과 같은 작업에서 CNN과 RNN을 결합하여 이미지의 공간적 정보와 순차적 설명을 동시에 처리할 수 있다.

[Upstage AI Lab 3기] 머신러닝 학습 내용

helpot.kr — Sun, 2 Jun 2024 23:02:04 +0900

선행 학습

머신러닝을 배우기 위해서는, 최소한 아래 내용이 학습되어 있어야 한다.

파이썬
데이터 분석
고등수학

학습 키워드

정말 많은 이론을 배우고, 실습을 진행하였다.
세부 이론별로만 단일 학습을 진행하였고, 아직은 전반적으로 여러 기법을 서로 어떻게 조합하여 머신러닝 분석을 진행할지 전체적인 그림이 속시원히 그려지지 않는다.
다음 단계인 프로젝트를 진행해봐야, 전반적으로 머신러닝 진행과정을 스스로 습득할 듯 하다.
우선은, 배운 내용들을 계층 구조로 정리해 보았다.

supervised learning_regression

--- Lasso(L1)
--- Ridge(L2)
--- ElasticNet
--- model evaluation_MSE
--- model evaluation_RMSE
--- model evaluation_R-squared
--- model evaluation_Adjusted R-squared

supervised learning_ classification

--- Decision Tree
--- Ensemble_Bagging
--- Ensemble_Stacking
--- Ensemble_Boosting
--- Random Forest(Ensemble_Bagging)
--- AdaBoost(Ensemble_Boosting)
--- GBM(Ensemble_Boosting)
--- XGBoost(Ensemble_Boosting)
--- LGBM(Ensemble_Boosting)
--- model evaluation_Accuracy
--- model evaluation_Precision
--- model evaluation_Recall
--- model evaluation_F1 Score

unsupervised learning

-- Clustering_K-means
-- Clustering_Hierarchical
-- Clustering_Spectral
-- DBSCAN
-- HDBSCAN
-- model evaluation_Elbow Method
-- model evaluation_Silhouette Score

etc

-- Gradient Descent
-- hyper parameter
-- overfitting
--- Feature Selection
--- Penalty Term
--- Scaling_StandardScaler
--- Scaling_MinMaxScaler

[Upstage AI Lab 3기] 코딩 테스트 준비

helpot.kr — Mon, 20 May 2024 20:03:10 +0900

IT 분야에서 개발이 필요한 직군의 많은 경우, 코딩 테스트가 필요하다.

학습이 필요한 내용

자료구조
List, queue, stack, dictionary(hashtable), graph, heapq(우선순위큐), tree
알고리즘
완전탐색(+백트래킹), 재귀, 반복문, DFS, BFS, Dijkstra, 정렬, 위상정렬, two pointer, DP

외부 라이브러리 사용하는 것 관련(ex itertools)

파이썬에서는 각종 자료구조와 알고리즘을 제공하는 itertools와 같은 외부 라이브러리가 있다.
이런 라이브러리 사용을 코딩 테스트 때 허용하는 회사도 있고, 그렇지 않은 회사도 있기 때문에,
라이브러리 없이도 문제를 풀 수 있도록 준비해야 한다.

예제. twosum 코드 구현 (반복문)

https://leetcode.com/problems/two-sum/

class Solution:
    def twoSum(self, nums: List[int], target: int) -> List[int]:
        n = len(nums)
        for i in range(n):
            for j in range(i+1, n):
                if nums[i] + nums[j] == target:
                    return [i, j]

if __name__ == "__main__":
    nums = [2, 7, 11, 15]
    target = 9
    sol = Solution()
    print(sol.twoSum(nums, target))

예제. twosum 코드 구현 (재귀)

https://leetcode.com/problems/two-sum/

class Solution:
    def twoSum(self, nums: list[int], target: int) -> list[int]:
        return self.recur(nums, target, [], 0)
    
    def recur(self, nums: list[int], target: int, ans: list[int], start: int) -> list[int]:
        if len(ans) == 2:
            if nums[ans[0]] + nums[ans[1]] == target:
                return ans
            return []
        
        for i in range(start, len(nums)):
            ans.append(i)
            result = self.recur(nums, target, ans, i + 1)
            if result:
                return result
            ans.pop()


if __name__ == "__main__":
    nums = [4, 9, 7, 5, 1]
    target = 14
    sol = Solution()
    print(sol.twoSum(nums, target))

예제. 조합

https://leetcode.com/problems/combinations/

class Solution:
    def combine(self, n: int, k: int) -> list[list[int]]:
        def recur(comb, start_index):
            if len(comb) == k:
                answer.append(comb[:])
            for i in range(start_index, n+1):
                comb.append(i)
                recur(comb, i + 1)
                comb.pop()
        answer = []
        comb = []
        start_index = 1
        recur(comb, start_index)
        return answer

if __name__ == "__main__":
    n = 4
    k = 2
    sol = Solution()
    print(sol.combine(n, k))

예제. 괄호 유효성 문제

https://school.programmers.co.kr/learn/courses/30/lessons/12909

def solution(s):
    open = 0
    close = 0
    for char in s:
        if char == '(':
            open += 1
        else:
            close += 1
        if close > open:
            return False
    if open != close:
        return False
    return True

def solution(s):
    stack = []
    for char in s:
        if char == '(':
            stack.append(char)
        else:
            if not stack:
		            return False
		        stack.pop()
    return not stack

예제. BFS(Breadth First Search)

from collections import deque
class Solution:
    def bfs(self, graph: dict[int, list[int]], start_v: int) -> dict[int, bool]:
        visited_dict = {}
        q = deque()
        q.append(start_v)
        visited_dict[start_v] = True

        while q:
            current_v = q.popleft()
            for next_v in graph[current_v]:
                if next_v not in visited_dict:
                    q.append(next_v)
                    visited_dict[next_v] = True
        return visited_dict

if __name__ == "__main__":
    graph = {
        0: [1, 3, 6],
        1: [0, 3],
        2: [3],
        3: [0, 1, 2, 7],
        4: [5],
        5: [4, 6, 7],
        6: [0, 5],
        7: [3, 5],
    }
    start_v = 0
    sol = Solution()
    print(sol.bfs(graph, start_v))

예제. DFS(Depth First Search)

from collections import deque
class Solution:
    # 재귀 방식
    def dfs1(self, graph: dict[int, list[int]], start_v: int) -> dict[int, bool]:
        self.visited_dict = {}
        current_v = start_v
        self.dfs1_recur(graph, current_v)
        return self.visited_dict
    
    def dfs1_recur(self, graph: dict[int, list[int]], current_v: int) -> None:
        self.visited_dict[current_v] = True
        for next_v in graph[current_v]:
            if next_v not in self.visited_dict:
                self.dfs1_recur(graph, next_v)

		# 스택 방식
    def dfs2(self, graph: dict[int, list[int]], start_v: int) -> dict[int, bool]:
        self.visited_dict = {}
        stack = [start_v]
        
        while stack:
            current_v = stack.pop()
            if current_v not in self.visited_dict:
                self.visited_dict[current_v] = True
                for next_v in graph[current_v]:
                    if next_v not in self.visited_dict:
                        stack.append(next_v)
        
        return self.visited_dict

if __name__ == "__main__":
    graph = {
        0: [1, 3, 6],
        1: [0, 3],
        2: [3],
        3: [0, 1, 2, 7],
        4: [5],
        5: [4, 6, 7],
        6: [0, 5],
        7: [3, 5],
    }
    start_v = 0
    sol = Solution()
    print(f'재귀방식: {sol.dfs1(graph, start_v)}')
    print(f'스택방식: {sol.dfs2(graph, start_v)}')

[Upstage AI Lab 3기] 인공지능으로 풀려는 문제를 찾아내는 과정인 데이터 분석 EDA

helpot.kr — Wed, 1 May 2024 23:42:44 +0900

약 1주일에 걸쳐서, 통계학과 EDA를 배웠다.
내가 정의한 데이터 분석(EDA)은 "인공지능으로 풀려는 문제를 찾아내는 과정"이라고 정의하겠다.

데이터 분석 과정

해결하려는 문제 찾기
데이터 수집: 문제 관련 데이터를 어디서 어떻게 수집할 것인가? API, 크롤링 활용
데이터 전처리: 수집한 데이터를 정제 작업이 필요하다.
탐색적 데이터 분석: 데이터 상관 관계, 이상치, 결측치
가설 수립: 귀납 추론, 대립 추론
통계적 분석: 가설 검정, 상관 분석, 회귀 분석
모델링 및 예측: 머신러닝 알고리즘 등을 활용하여 패턴 학습 및 예측
시각화 및 결과 해석: 여러 데이터를 직관적으로 파악할 수 있도록 그래프화
결과를 활용하여 실제 문제 해결

데이터 분석을 위해 가장 많이 사용되는 라이브러리

numpy
pandas

분석한 데이터를 그래프로 표현하는 유명한 라이브러리

matplotlib
seaborn
plotly

각종 결과를 웹페이지 대시보드 형태로 만드는 솔루션

streamlit
plotly dash
tableau

numpy에서 중요했던 부분

랜덤 수를 출력할 때, seed()를 사용하면, 다른 사람과 수치를 동일하게 할 수 있다.

seaborn에서 중요했던 부분

데이터 간에 서로에게 영향을 주는 어떠한 상관 관계를 한번에 파악할 수 있도록, pairplot을 그리는 방법이다.
슬래시(/) 또는 역슬래시(\) 형태를 띄는 모양이 있다면, 상관이 있다고 할 수 있다.

[Upstage AI Lab 3기] Data Scientist 마인드셋 특강

helpot.kr — Sat, 27 Apr 2024 01:58:55 +0900

현직자의 특강이 있었다.
현직자의 의견 중, 요즘 트랜드 및 실제적인 관점에서 중요한 의견을 남겨 주셨는데, 아래와 같다.

요즘 모든 인공지능 회사들이 진행하는 내용: SLM + RAG
1위 PyTorch 기반의 허깅페이스
2위 PyTorch 기반의 랭체인

요즘 대세인 PyTorch

SLM, RAG

SLM(Small Language Model) 분야가 인기가 있다고 하신다.
LLM 의 경우, 일반 회사에서 구축하기는 무리가 있고, 구축한다 하더라도 OpenAI나 구글과 같은 세계적인 기업을 이기기 어렵다. 따라서, 그 보다 소규모인 SLM 구축 부분이 실제적으로 인기가 있다고 하신다.

RAG(Retrieval-Augmented Generation)은 최근 자연어 처리 분야에서 중요한 주제로 떠오르고 있는 기술이다.
정보 검색(Information Retrieval)과 자연어 생성(Natural Language Generation)을 결합하여 더욱 강력하고 유용한 자연어 이해 및 생성 모델을 구축하는 방법을 제시한다.

PyTorch 기반의 허깅페이스

허깅페이스(Hugging Face)는 자연어 처리(Natural Language Processing, NLP)를 위한 오픈 소스 라이브러리와 모델들을 제공하는 플랫폼이다. 허깅페이스는 특히 PyTorch 기반으로 개발된 강력한 NLP 모델들과 이를 간편하게 사용할 수 있는 API를 제공하여 널리 알려져 있다.

PyTorch 기반의 랭체인

랭체인(LingPipe)은 자연어 처리 및 텍스트 마이닝(Text Mining) 작업을 위한 자바(Java) 기반의 라이브러리이다. 랭체인은 주로 텍스트 데이터의 처리, 분류, 정보 추출 등의 작업을 지원하는 도구로 사용된다.

[Upstage AI Lab 3기] 데이터 분석의 근본 Statistics

helpot.kr — Fri, 26 Apr 2024 01:54:24 +0900

머신러닝 모델링을 위해 필요한 능력

머신러닝을 몇 일 배우면서 확실하게 느껴지는 것은 아래와 같다.
머신러닝을 직접 모델링하고, 상용 서비스를 제공하려면 아래와 같은 능력은 필수임을 깨닫는 중이다.
아래 각 챕터 하나하나가 몇 년씩 공부해도 부족할 전문 영역이다.

컴퓨터공학 전공 지식
서버, 네트워크, DB 세팅 능력
백엔드 프로그래밍
프론트 프로그래밍
데이터 크롤링
통계학 전공 지식
데이터 분석
인공지능 전공 지식
머신러닝 라이브러리 활용
머신러닝 직접 모델링

통계학 전공 지식

Statistics 통계학

특별히, 이번에 배운 통계학 관련 전공 지식은 그 내용이 매우 방대하고, 수식과 그래프가 많다.
전부 복습하고 블로그에도 상세히 남기려 한다.
우선, 목차부터 정리해본다.

Arithmetic mean 산술 평균
Geometric mean 기하 평균
Harmonic mean 조화 평균
The Pitfalls of Averages 평균의 함정
Mean, Median, Mode 평균, 중앙값, 최빈값
분산과 표준편차
사분위 범위
이상치의 탐지
변동계수
왜도와 첨도
모집단과 표본, 샘플링 방법
정규분포
중심극한정리
T분포
카이제곱분포
F분포
가설검정: 귀무가설, 대립가설
단측검정, 양측검정
1종 오류, 2종 오류
T검정
카이제곱검정
분산분석(아노바)
단순 선형회분석
독립변수와 종속변수
다중 선형회귀분석
결정계수
오차, 잔차, 선형성, 잔차 정규성, 독립성, 다중 공선성, 등분산
(파이썬 실습) 선형회귀분석

[Upstage AI Lab 3기] 소스코드 형상관리 GIT

helpot.kr — Fri, 26 Apr 2024 00:25:31 +0900

어떤 도메인의 개발자라 하더라도, 소스코드 형상관리는 필수이다.
형상관리의 독보적인 GIT은 모든 개발자가 배우고 사용해야 하는 필수 도구가 되었다.
특별히 이번 수업 때, 내가 기억해야 할 부분은 git flow 이다.

Flow 란?

flow라는 것은 브랜칭 전략이면서, 배포 전략이기도 하다.
개인 개발자가 아닌 팀이나 회사 입장에서는, 개발 단계, QA 단계, 배포 단계 등 실제 프로그램 출시 전에 여러 테스트 단계를 거쳐야 한다.
그에 맞춰 소스코드도 관리되어야 하는데, 이를 개념화 한 것이 바로 flow이다.

Github Flow VS GitLab Flow VS Git Flow

github나 gitlab은 git에 속한 원격 저장소들이기 때문에 git flow가 기본이다.
취업을 목표로 한다면, git flow를 기억해야 한다.

회사에서 github를 사용하는 경우는 드물다. 회사의 기밀자료이고, 가장 중요한 자산인 소스코드를 무료 오픈소스 플랫폼에 올려서 관리하진 않기 때문이다. 아무리 github와 gitlab 등에서 private 공간을 제공한다 하더라도, 그 플랫폼을 운영하는 회사는 그 소스코드를 얼마든지 볼 수 있고, 복제할 수 있기 때문이다.

따라서, 취업을 목표로 한다면 github flow가 아닌 git flow를 배워야 한다.
다만, 오픈소스에 기여하고 싶다면 당연히 github flow 방식을 배워야 한다.

그렇다면, gitlab flow는 어떠한가? 회사들은 자체적인 형상관리 서버를 gitlab으로 구성하는 경우가 많다. 하지만, flow 방식은 git flow 방식을 채택하는 경우가 대부분이며 이것이 대표적이기 때문에 굳이 gitlab flow 방식을 학습할 필요는 없다.

결론은 이미 말했듯이 git flow를 배워야 한다.
git flow는 아래 그림과 같다.

Git Flow

master: 대고객들에게 배포되는 상용 버전이다.
hotfixes: 정말 급하게 수정되거나, 소스코드 외에 인프라 변경 사항 등의 이유로 수정되야 하는 경우에 생성되는 임시 브랜치이다.
release branches: 상용 버전으로 배포를 앞 둔 내용을 모아두는 브랜치이다. 어느정도 모이거나, 몇 개월에 한번씩 상용 버전으로 출시한다.
develop: 개발자가 개발 완료하여 올려둔 내용들이다. 팀장의 승인을 기다려야 하며, 팀장이 확인 후, release로 올려야 한다.
feature branches: 개발자가 자신의 방식이나 취향 것 생성하고 삭제하는 개발 브랜치이다.

회사 마다, 그리고 팀장 마다 방식은 약간씩 다를 수 있다.

[Upstage AI Lab 3기] 빠르게 인기가 많아지고 있는 FastAPI

helpot.kr — Wed, 10 Apr 2024 23:31:40 +0900

이번 파이썬 강의 때 FastAPI를 함께 학습하였다.
fastapi가 출시하자마자 부터, 인기가 주춤하지도 않고, 계속 상승중이다.

나는 이전까지 flask를 주로 이용하였다.
fastapi가 인기가 많아지는 것은 알았지만, 이 정도인지는 몰랐다.

FastAPI

Github star 비교

직접 github에서 검색해봐도, fastapi 스타 수가 flask 보다 많다;;
출시된지 약 5년 정도인데도 불구하고, 엄청난 인기로 보인다.
왜 이렇게 인기가 많은걸까?
아래 따로 정리하였다.

FastAPI의 장점

빠른 성능과 고성능 비동기 지원
FastAPI는 Starlette 프레임워크를 기반으로 하며, 이를 통해 비동기 요청 처리를 지원한다. 비동기 처리를 통해 높은 성능과 효율적인 자원 활용을 제공하며, 대규모 및 실시간 애플리케이션에 적합하다.
쉬운 사용성과 빠른 개발
FastAPI는 간단하고 직관적인 문법을 제공하여 개발자가 빠르게 API를 작성할 수 있다. Pydantic을 사용한 데이터 유효성 검사 기능을 제공하여 개발 생산성을 높여준다.
자동 API 문서 생성
FastAPI는 OpenAPI 및 Swagger UI를 지원하여 API의 자동 문서화를 제공한다. 코드를 작성하면서 동시에 API 문서가 생성되므로 개발자는 별도의 문서 작성 과정 없이도 API를 쉽게 문서화할 수 있다.
머신러닝 및 데이터 분석과의 통합
Python의 머신러닝 및 데이터 분석 라이브러리와의 호환성이 뛰어나며, 머신러닝 모델의 배포 및 서비스화에 용이하다. FastAPI를 사용하여 머신러닝 모델을 API로 간단히 래핑하고 배포할 수 있다.

[Upstage AI Lab 3기] 구글 플레이스토어 댓글 리뷰 크롤링

helpot.kr — Wed, 10 Apr 2024 23:11:08 +0900

구글 플레이스토어 댓글 리뷰 크롤링을 진행에 주의점을 남긴다.

구글 플레이스토어 댓글 리뷰 모달 창

주의할 점1

특정 어플의 "리뷰 모두 보기"를 누르면, 위 사진과 같이 모달 창이 나타난다.
주의할 점은, 창이 보여지자마자 나타나는 댓글은 총 20개라는 사실이다.
원하는 만큼 댓글을 크롤링하기 위해서는 스크롤을 내려야 한다.

주의할 점2

결론부터 정리하면,
새롭게 나타난 모달 창 내부의 특정 요소를 클릭하는 코드를 실행한 이후,
스크롤 조작을 해야 한다.

본 모달 화면의 특징은 이러하다.
웹 사이트마다 다르지만, 이번 경우는 브라우저의 새로운 창으로 나타난 것이 아니기 때문에, 셀레니움의 창 포커스 변경하는 함수로도 창 변경이 이뤄지지 않는다.
이런 상태에서 스크롤 이동 코드를 실행해봤자, 뒤편의 메인 창 스크롤만 움직일 뿐이다.
본 모달 화면은 웹 사이트 내부적으로 자바스크립트로만 모달 창 UI를 띄운 형태이기 때문에, 이렇게 진행해야 한다.

[Upstage AI Lab 3기] 파이썬 기초 및 셀레니움 크롤링

helpot.kr — Thu, 4 Apr 2024 11:31:20 +0900

수업 방식 소개

강사님

김인섭 강사님이었다.
파이썬 프로그래밍을 활용하여 다양한 사업으로 매출을 올리는 분이다.
젊어보이시는데 대단하다.
개발자로 회사 생활 및 창업하면서 필요한 노하우를 그대로 모두 공유해주셔서 감사하다.

기술만을 더욱 깊이 파거나 연구하는 개발자도 좋지만,
기술을 활용하여 매출을 발생하는 개발자가 나는 더 멋있어 보인다.

수업 방식

교안은 강사님이 미리 작성하신 노션 문서를 공유해 주셨다.
나의 노션 워크스페이스로 복사해서 수정, 추가가 가능하니 매우 좋다.

더불어, 기초 실습의 경우 구글 코랩을 활용하였다.
화상채팅 줌 화면으로 공유해 주셔서, 실습 화면을 함께 보면서 진행된다.

구글 코랩으로 실습하는 장면

크롤링의 경우는 수강생들 각자의 컴퓨터에서 진행한다.
강사님께서는 vscode를 추천해 주셨고, 세팅이 원활하지 않는 수강생들은 주피터노트북으로 진행한다.
셀레니움은 구글 크롬 것을 가장 추천하셨다.
나의 경우, 이미 주로 사용하던 vscode + 파이어폭스 셀레니움 형태로 진행하였다.

파이썬 기초

수업 시간 도중에 풀었던 여러 퀴즈와, 나중에 복습할 만한 주요 내용을 몇 가지 정리하여 남긴다.
교제 내용이 아닌, 내가 직접 코딩한 내용만 남긴다.

x = {'name':'kihong', 'age':[30,32], 'city':'seoul'}
print(x['age'])
print(x.get('age'))
# .get() 함수의 장점은, 에러 상황일 때 리턴할 값을 정할 수 있다.
# 딕셔너리에 agesss 라는 key 값이 없는 상황이라면, 0을 리턴한다.
x.get('agesss', 0)


# 딕셔너리 출력 방법1
print('\n')
for key in x.keys():
    print(key, x[key])

# 딕셔너리 출력 방법2
print('\n')
for key, value in x.items():
    print(key, value)

# 딕셔너리 내부의 값을 수정할 때
new_name = {'name':'leo'}
x.update(new_name)
print('\n')
print(x)

# 딕셔너리 내부의 key를 바꿀 순 없고, 새롭게 추가하고 기존것을 삭제해야 한다.

# 딕셔너리 내부의 key 삭제 방법 두 가지.
del my_dict['b']
my_dict.pop('b')

##### Q. 1부터 10까지의 정수 중에서 짝수만 출력하기
for i in range(1, 11):
    if i % 2 == 0:
        print(f'{i}는 짝수입니다.')


##### Q. 사용자에게 숫자를 입력 받고, 양수인지 음수인지 출력하기
print('\n')
try:
  number = int(input("양수 또는 음수의 숫자를 입력하세요. ==> "))
  if number < 0:
     print(f'입력하신 {number}는 음수 입니다.')
  elif number == 0:
     print(f'0을 입력하셨습니다.')
  else:
     print(f'입력하신 {number}는 양수 입니다.')
except ValueError:
   print("숫자가 아닌 문자를 입력하셨습니다. 종료합니다.")



##### Q. 1부터 100까지의 정수 중에서 3의 배수면서 5의 배수인 정수의 합을 구하기
print('\n')
sum = 0
for i in range(1, 101):
    if i % 3 == 0 and i % 5 == 0:
      sum += i
      print(f'숫자 {i}은 3의 배수이면서 5의 배수입니다.')
print(f'총 합은 = {sum}')



##### Q. 3개의 정수를 입력 받고, 이 중에서 가장 큰 값과 가장 작은 값을 구하기
print('\n')
number_list = []
try:
  for i in range(3):
    number_list.append(int(input(f'{i}번째, 숫자를 입력하세요. ==> ')))

except ValueError:
    print("숫자가 아닌 문자를 입력하셨습니다. 종료합니다.")

print(f'입력하신 값들: {number_list}')
print(f'그 중 최대값: {max(number_list)}')
print(f'그 중 최소값: {min(number_list)}')



##### Q. 사용자로부터 입력받는 숫자의 구구단을 출력하기
print('\n')
def gugudan(number):
    print(f"{number}단")
    for i in range(1, 10):
        result = number * i
        print(f"{number} × {i} = {result}")

try:
    num = int(input("구구단을 출력할 숫자를 입력하세요: "))
    gugudan(num)
except ValueError:
    print("숫자가 아닌 문자를 입력하셨습니다. 종료합니다.")

후기

파이썬과 크롤링을 오늘 8시간 만에 진행하였다.
역시 본 과정은 파이썬을 잘 사용하거나,
다른 프로그래밍 언어로 오랜기간 개발자셨던 분이 듣는 수업이 확실하다;;
프로그래밍 초보였다면 몇 개월 또는 한 학기 분량이었을 것이다.

[Upstage AI Lab 3기] 패스트캠퍼스 부트캠프 OT!

helpot.kr — Wed, 3 Apr 2024 09:39:09 +0900

패스트캠퍼스 부트캠프 Upstage AI Lab 3기를 통해 인공지능 분야로 도전하는 과정을 정리한다.

패스트캠퍼스 부트캠프 Upstage AI Lab

부트캠프 도전 이유

만들고 싶은 인공지능 챗봇이 생겼다.
인공지능 분야를 독학하기 위해, 서점에서 책을 펼쳤다가 덮은 것이 한두번이 아니다.
어려워서 포기했다기 보다는, 쉽게 설명하는 내용을 찾지 못했었기 때문이다.
여러 분야를 독학해서 많은 서비스들을 내놓아봤지만,
인공지능 만큼은 혼자할 엄두를 내지 못했었다.

나도 말로만 듣던 부트캠프를 수강해 본다.
부트캠프 선정되기 위해 치뤘던 테스트들과 면접들을 통해 이미 긴장이 고조되었다.
한번 진행해보자.

패스트캠퍼스 선택 이유

인공지능 탑티어인 업스테이지사와 연계해서 강의가 진행된다.
현업분들의 노하우를 들을 수 있을 듯 하다.
(실제 과정 기간 중, 절반 정도 진행해준다.)
패스트캠퍼스의 타 강좌을 무료 시청할 수 있다고 한다.
(다만, 과정을 모두 수료한 이후이며, 6개월 간 일부 강좌를 제공한다고 한다.)
"모두를 위한 머신러닝" 강좌를 통해 아주 쉽게 강의해 주시는 김성훈 대표님.
본 강의 모집 공고를 마감일에 접하였다.
공고 내용 중, "모두를 위한 머신러닝" 강좌의 강사님에 대한 소개를 짧게 보았고,
직접 찾아서 (유튜브) 시청해보니, 정말 쉽게 설명해 주시더라.
알고 보니, 이 분이 업스테이지사의 대표이시기도 하다.
믿음이 간다.

매일 체크 포인트

주중 매일 09:55 출근! (HRD-QR)
주중 매일 14:00 출근! (ZOOM-ScreenShot)
주중 매일 18:55 퇴근! (HRD-QR)
과제 밀리지 않기

[Pynecone] html, css, javascript 없이 파이썬으로만 웹 개발 가능한 프레임워크

helpot.kr — Mon, 12 Jun 2023 16:25:21 +0900

Pynecone은 파이썬에서 사용되는 프레임워크입니다.

[Pynecone] html, css, javascript 없이 파이썬으로만 웹 개발 가능한 프레임워크

장점

파이썬 기반이기 때문에, 운영체제에서 단일 쓰레드로 동작합니다.
따라서, 대고객용 쇼핑몰과 같이 동시 접속자가 많은 사이트를 개발하기에는 적절하지 않을 수 있습니다만, 그 외의 모든 경우에는 활용도가 높아 보입니다. 백엔드 개발자에게는 html, css, javascript가 지옥일 수 있는데, 이를 파이썬 언어만으로 해결할 수 있다니! 정말 대단하게 느껴집니다.

기존에 파이썬 진영에서 웹 개발용으로 유명한 프레임워크는 django와 flask가 아주 유명하고 지금도 많이 활용되고 있습니다만, html, css, javascript를 사용해야 하니, Pynecone은 이들 보다 확실한 강점이 되는 포인트가 있네요. 과연 Pynecone이 djang와 flask를 넘어설 수 있을지 궁금합니다.

Pynecone 공식 사이트로 이동

기타 의견

제가 만약, 백엔드 개발자이면서 javascript를 처음 배우는 단계였다면 Pynecone을 더욱 적극적으로 사용해보았을 듯 합니다. 이를 블로그나 SNS 등에 활용기를 작성하는 등의 활동도 했을지 모르겠습니다. 하지만, 지금은 어느정도 익숙해진 javascript와 flask와 같이 기존의 프레임워크를 이용하는게 저에겐 유리하네요. Pynecone은 신생이기에 이직이나 취업하는 입장에서 리스트로 여기는 분들도 많을 듯 합니다.

Pynecone 공식 사이트로 이동

[Mojo] 이거 모죠? 파이썬보다 35000배 빠른 새로운 프로그래밍 언어

helpot.kr — Mon, 12 Jun 2023 15:31:57 +0900

Mojo라는 새로운 프로그래밍 언어가 최근 출시되었습니다.

Mojo 이거 모죠? python 보다 35000배 빠른 새로운 프로그래밍 언어

특징

Mojo는 다음과 같은 특징을 가지고 있습니다.

파이썬 문법을 사용할 수 있다. (파이썬과 완전히 일치하지는 않습니다.)
파이썬 라이브러리를 사용할 수 있다.
파이썬보다 3만5000배 빠르다.
다중 쓰레드이다.(파이썬은 운영체제 관점에서 단일 쓰레드로 동작합니다.)
패키징화 할 수 있다.(파이썬에서는 패키징하기 위해, 각종 라이브러리의 도움을 받아야 합니다.)

Mojo 공식 사이트로 이동

Mojo가 극복한 파이썬의 단점

단일 쓰레드여서 속도가 느린 파이썬의 단점을 해결하였습니다.
패키징이 불가능한 파이썬의 단점을 해결하였습니다.
동적 타이핑 방식으로 타입 오류 발생 가능성을 낮추었습니다.
(일부분에서만 도입되었습니다.)

Mojo 공식 사이트로 이동

기타 의견

아직 완전 오픈한 것이 아니네요.
테스트용으로 사용 신청을 하도록 사이트에서 안내하고 있습니다.
기대가 됩니다.

Mojo 공식 사이트로 이동

이것은 에러가 아닙니다~

helpot.kr — Fri, 9 Jun 2023 14:30:08 +0900

이것은 에러가 아닙니다~

질문: "위 사진과 같이, 목차에 작대기만 나오고 있어요; H2 태그로 작성한 소제목이 없는데 왜 목차가 나오는거죠? 에러일까요?"

위 질문에 대해 아래와 같이 답변 드립니다.

답변: 이것은 에러가 아닙니다~

질문자께서 게시물을 작성하실 때, '제목2' 또는 'H2' 태그로 작성한 부분이 남아있기 때문에, 목차에 이렇게 표현되는 것입니다.

본인이 작성한 게시글의 편집 모드에서 'HTML'로 변환하여 보신다면, 내용이 적혀있지 않은채 H2로 지정된 태그를 더욱 확실히 찾으실 수 있습니다. 해당 라인을 삭제하시면 됩니다.

이것은 오히려, 텍스트 내용은 없으면서 H2 태그만 존재하는 부분을 발견하고 수정하도록 도와주어 SEO에 긍정적인 역할을 하는 등, 장점으로 활용할 수 있습니다.

결론

본 기능을 활용하시어, SEO에 적합한 게시글을 작성하시면 좋겠습니다.
스킨 이용에 감사 드립니다.

워드프레스 관리자 로그인 페이지 wp-login.php 무차별 대입 공격 Brute Force Attack

helpot.kr — Thu, 25 May 2023 18:11:48 +0900

워드프레스 관리자 로그인 페이지 wp-login.php 를 대상으로 하는 무차별 대입 공격 Brute Force Attack 이 요즘 매우 증가하고 있다고 합니다.

실제로 제가 운영하는 서버에도 해당 공격이 굉장히 증가하고 있습니다.
제가 직접 캡쳐한 로그 화면을 아래 남깁니다.

워드프레스 wp-login.php 무차별 대입 공격

워드프레스에 대한 공격이 많은 이유는?

대기업이나 IT전문 기업에서는 웹페이지를 직접 구축하겠지만,
그게 아닌 대부분의 기업 및 개인들은 무료 웹페이지 구축 플랫폼을 이용하게 되며, 가장 인기 있는 무료 플랫폼이 워드프레스이기 때문입니다.
웹페이지 구축을 위한 무료 플랫폼들도 다양해지고 있지만, 여전히 워드프레스의 점유율은 점점 더 오르고 있습니다.
현재 대략적으로 아래와 같은 무료 플랫폼들이 존재합니다.
(블로그 전용 플랫폼은 제외하였습니다.)

플랫폼	점유율(무료 및 유료 플랫폼에 대하여)
WordPress	약 40%
Wix	약 3 ~ 4%
Weebly	약 2 ~ 3%
Jimdo	약 1 ~ 2%
WordPress.com	약 1 ~ 2%
Strikingly	약 0.5 ~ 1%
Mozello	약 0.5 ~ 1%
그 외 무료 및 유료 플랫폼들	약 50%

더불어, 워드프레스 내에 설치하는 각종 플러그인도 늘어나고 있는데, 해당 플러그인들을 대상으로 하는 해킹 공격도 많아지고 있습니다.

방어 방법

알려진 방어 방법은 굉장히 많으니, 대표적인 방법만 정리해봤습니다.
사실 어려운 건 없어 보입니다.
귀찮음을 이겨내고, 조금씩만 관리해주면 누구나 할 수 있는 것들로도 충분히 해킹 공격을 방어할 수 있습니다.

워드프레스 최신 버전으로 업그레이드 및 업데이트
사용하는 플러그인들 최신 버전으로 업데이트
사용하지 않는 플러그인 삭제
관리자 비밀번호 강화
관리자 로그인 페이지는 내부 네트워크에서만 접속되도록 설정
wp-login.php 접속 경로 변경
보안용 플러그인 설치
로그인 접속 횟수 제한
방화벽 설정(라우터, 운영체제, 미들웨어)

iptime 공유기에 외부 IP 접속 차단하는 방법

helpot.kr — Thu, 25 May 2023 17:17:14 +0900

iptime 공유기에는 외부에서 접속하는 것을 차단하는 기능도 있고,
반대로 내부에서 외부 사이트나 서버에 접속을 하지 못하도록 차단하는 기능도 제공합니다.
이를 활용해서, 해킹 공격자 IP가 나의 네트워크 및 서버에 접속하지 못하도록 하는 방법을 남깁니다.

외부 IP 차단하는 방법

위 캡쳐 사진처럼 세팅하면 됩니다.

IPTIME 공유기 관리자 화면으로 접속합니다.
'메뉴 > 고급 설정 > 보안 기능 > 인터넷/WIFI 사용 제한'을 누릅니다.
저는 이미 많은 IP가 저의 서버에 접속하지 못하도록 차단 등록하여, 우측 편 화면에 많은 IP 주소가 보이고 있습니다.
원하시는 대로 제목을 기입하시면 됩니다.
저의 경우, 그냥 단순 차단 용으로만 해당 기능을 이용하기 때문에, 차단 IP "199.127.198.58"라고 제목을 기입하였습니다.
'내부 <- 외부' 선택을 잘 하셔야 합니다.
화살표 방향을 잘 보고, 외부에서 내부로 접속을 하지 못하도록 선택해야 합니다.
그리고, '내부목적지 ALL'로 선택하는 부분은 TCP 또는 UDP 등 프로토콜을 선택할 수 있습니다.
저는 모든 프로토콜을 차단하길 원하여 ALL로 선택하였습니다.
'모든 내부IP'는 IPTIME 공유기 하단에 물려 있는 모든 네트워크 IP에 접속을 차단하겠다는 뜻 입니다.
'외부IP 주소'도 꼭 잘 선택하셔야 합니다.
'모든 외부IP'라는 선택지가 하나 더 있는데, 혹시 이것으로 선택을 하게 되면, IPTIME을 이용하는 컴퓨터에서 각종 프로그램이 제대로 동작하지 않게 됩니다. 그러니 꼭, '외부IP 주소'로 선택하고, 차단하려는 IP 주소를 옆에 적어 줍니다.
그리고 마지막으로 차단하려는 요일과 시간을 작성합니다.
저는 매일 24시간 내내 차단하도록 하였습니다.
참고로, '순위'는 작성해도 되고, 생략해도 됩니다.
'적용' 버튼을 누르면 끝입니다.

phpmyadmin 취약점

helpot.kr — Thu, 25 May 2023 15:52:42 +0900

phpmyadmin 취약점은 주로 로그인 페이지에서 발생합니다.

pypmyadmin 로그인 페이지

phpmyadmin 취약점 히스토리

phpmyadmin가 워낙 유명하니, 관련 공격도 빈번합니다.
과거에 있었던, 대표적인 phpmyadmin 취약점 히스토리를 남깁니다.

일자	구분	내용
2012년 4월	CVE-2012-2319	phpMyAdmin의 인증을 우회하여, 관리자 권한으로 접근할 수 있는 보안 취약점이었습니다. 이 취약점은 phpMyAdmin 3.4.10.1 버전에서 수정되었습니다.
2014년 9월	CVE-2014-4348	phpMyAdmin의 인증을 우회하여, 임의의 코드를 실행할 수 있는 취약점이었습니다. 이 취약점은 phpMyAdmin 4.0.10.11 버전에서 수정되었습니다.

위 히스토리 처럼, 관리자 로그인 하지 않고도 관리자 행사를 할 수 있거나, 악성 코드를 실행시킬 수 있는 무시무시한 공격이 가능했었습니다.

직접 겪은 해킹 공격

직접 서버를 운영하다 보면,
제가 오픈하지도 않았고 운영하지도 않는 주소로 접속 시도하는 공격이 반복됩니다.

일부러, 로그를 찍어 보았습니다.
비슷한 시간에, 동일한 공격자(IP)가 지속적으로 접속하려는 시도를 했습니다.

1초 단위로 접속 시도하는 것을 보아, 취약점을 찾는 해킹 프로그램을 사용해서, 접속 시도함을 알 수 있습니다.
더불어, 예상되는 여러 경로로 접속 시도를 하고 있습니다.

방어 방법

방법1. phpmyadmin을 항상 최신 버전으로 유지하고, 취약점에 대해 패치 되었는지 확인해야 합니다.
방법2. 블랙리스트로 등록하여, 접속을 차단해야 합니다.
라우터 장비에서 차단할 수도 있을 것이며,
운영체제 방화벽에서 차단할 수도 있을 것이며,
서버 프로그램에서 차단할 수도 있을 것입니다.
저 같은 경우는 가정집 네트워크에서 가장 앞 단에 위치하는 iptime 공유기 방화벽에 해당 IP를 블랙리스트로 등록하였습니다.

iptime 공유기 방화벽에 해당 IP를 블랙리스트로 등록하는 방법을 아래 게시물을 참고해 주세요.

2023.05.25 - [사이버보안 CyberSecurity] - iptime 공유기에 외부 IP 접속 차단하는 방법

티스토리 helpot.kr 스킨 다운로드 및 적용 방법

helpot.kr — Thu, 25 May 2023 13:51:54 +0900

티스토리 helpot.kr 스킨을 소개합니다.

티스토리 helpot.kr 스킨

소개

안녕하세요. helpot.kr 스킨은 바로 본 블로그에 적용되어 있는 스킨입니다.
제가 사용하기 위해 수정하다가, 스킨 형태로 만들었습니다.
티스토리에서 심플하기로 유명한 Letter 기본 스킨에서 필요한 부분을 수정한 결과물입니다.

배경화면을 직접 디자인하였습니다.
목차 자동 생성 기능을 개발하였습니다.
목차 자동 생성 ON, OFF 설정 기능을 개발하였습니다.
그 외 글꼴, 글자 크기, 글자 색상을 변경하였습니다.

특징. 목차 자동 생성

게시물 상단에 '목차'를 자동 생성하는 기능을 개발하였습니다.
본 게시물의 상단에도 '목차'가 생성되어 있음을 알 수 있습니다.

티스토리 helpot.kr 스킨에 '목차'가 생성된 모습

목차를 클릭하면, 해당 위치로 이동합니다.

대부분 소제목을 H2 태그로 작성하시기에,
이를 자동으로 수집하여 목차로 만들도록 개발하였으니,
목차로 넣고 싶은 소제목은 꼭 H2 크기로(편집기에서는 '제목2') 작성해 주시면 됩니다~

더불어, 아래와 같이 스킨 편집에서 '목차 자동 생성' 기능을 ON, OFF 하실 수 있도록 해두었습니다.

helpot.kr 스킨의 목차 자동 생성 기능 ONOFF

기능을 'ON' 하였어도,
H2 태그가 하나도 없는 게시물에서는 '목차'가 생성되지 않도록 예외처리도 해두었습니다~

스킨 다운로드

helpot.kr_1.2.0.zip

0.16MB

저작권

본인 사용 용도로 스킨 수정하시는 것은 좋습니다.
다만, 수정하시더라도 하단의 copyright 제작자 부분의 수정은 허용하지 않습니다.
본 스킨을 무료로 제공 드리기 때문에, 제작자 표기를 꼭 유지시켜 주셔야 합니다.
수정한 스킨을 배포하는 것 허용하지 않습니다.

스킨 적용 방법

첫 째, 본 스킨을 다운받고 ZIP 파일의 압축을 풀어 둡니다.

둘 째, 티스토리 '블로그 관리 홈' > 좌측 메뉴의 '스킨 변경'을 누릅니다.

티스토리 helpot.kr 스킨 적용 방법 (2)

셋 째, 우측 상단의 '스킨 등록 +' 버튼을 누릅니다.

티스토리 helpot.kr 스킨 적용 방법 (3)

넷 째, 우측 상단의 '추가 ( 0B / 20MB )' 버튼을 누릅니다.

티스토리 helpot.kr 스킨 적용 방법 (4)

다섯 째, 압축 풀었던 모든 파일을 선택하고, '열기'를 누릅니다.

티스토리 helpot.kr 스킨 적용 방법 (5)

여섯 째, 약 2 ~ 3초 내로 모든 파일이 업로드 된 후, '저장' 버튼을 누릅니다.

티스토리 helpot.kr 스킨 적용 방법 (6)

일곱 째, 스킨명을 원하시는대로 임의 작성하시고, '확인' 버튼을 누릅니다.

티스토리 helpot.kr 스킨 적용 방법 (7)

여덟 째, 저장이 완료된 후, '스킨 보관함'을 누릅니다.

티스토리 helpot.kr 스킨 적용 방법 (8)

아홉 째, 업로드 완료된 helpot.kr 스킨의 '적용' 버튼을 누르면 됩니다.

티스토리 helpot.kr 스킨 적용 방법 (9)

버전 히스토리

1.0.0
스킨 출시
1.1.0
목차 자동 생성 기능 및 ONOFF 설정 기능 추가
1.2.0
소스코드 하이라이트 기능 추가

이용에 감사 드려요.
감사랑합니다.

농협 나무증권 NH투자증권 QV 차이

helpot.kr — Thu, 18 May 2023 17:15:53 +0900

농협 나무

나무증권은 NH투자증권에서 최근에 만든 새로운 서비스입니다.

나무증권 개설 이벤트로 인해, 정보를 찾으시는 분들이 많습니다.
하지만, NH투자증권과 헷갈리기 때문에, 이것을 정리해 보았습니다.

결론 부터 적으면,
나무증권은 NH투자증권이 만든 모바일 전용 투자 서비스 입니다.
당연히, 모바일 전용이기 때문에 스마트폰에 어플을 설치해서 사용하는 방식입니다.

NH투자증권에서 기존에 운영하던 QV와는 어떤 관계인가요?

QV도 NH투자증권이 훨씬 전에 만든 어플이며, 현재도 운영되는 서비스입니다.
나무증권이나 QV가 둘 다 NH투자증권에서 만들었지만, 서로 완전히 다릅니다.
서로 계좌 연동도 되지 않습니다.

결론

농협금융지주가 가장 크게 존재하고,
농협의 자회사 중에 하나가, NH투자증권입니다.
NH투자증권은 QV라는 어플을 기존에 운영하고 있었는데,
최근 나무증권이라는 새로운 서비스 및 어플을 만들었습니다.
다만, 기존의 NH투자증권에서 사용되던 증권 계좌를 이용할 수 없고, 나무증권용으로 새롭게 개설해야 합니다.
나무증권을 아예 별도의 자회사? 서비스? 처럼 키우고 있는 상황입니다.

https://www.mynamuhbegin.com/

Visual Studio Code (VSCode) 한국어 한글로 설정 변경하기

helpot.kr — Mon, 15 May 2023 09:01:34 +0900

아래 그림과 같이, 한국어 언어팩을 설치했어도, 각종 메뉴들이 영어로 보이는 분들이 있을 것입니다.
또는, 한국어 언어팩 조차도 설치하지 않은 경우도 있을 것입니다.
위와 같은 어떠한 경우에도 한국어로 변경하는 방법을 정리하였습니다.

한국어 적용방법

(Korean Language Pack)을 설치했든 아니든, 아래 순서대로 따라서 진행하시면 됩니다.
저는, 설치하지 않은 상태를 만들고, 아래와 같이 진행하여 캡쳐 사진을 남깁니다.

첫 째, 키보드에서 Ctrl + Shift + P 를 눌러서, 커맨드 창을 엽니다.

둘 째, "language" 를 입력합니다.

셋 째, "configure display language"를 선택합니다.

넷 째, "한국어"를 선택합니다.

다섯 째, 재 시작 안내 창에서 "Restart" 버튼을 누릅니다.

완성! 되었습니다.
모든 메뉴가 한국어로 잘 나옵니다.

code editor, text editor, IDE

helpot.kr — Fri, 12 May 2023 16:31:23 +0900

code editor, text editor, IDE

code editor, text editor, IDE에 대해 알아봅시다.

Code Editor (코드 에디터): 프로그래밍 코드를 작성하고 수정하는 데 사용되는 도구를 가리킵니다. 기본적인 텍스트 편집 기능 외에도, 코드 하이라이팅, 자동 완성, 라인 넘버링 등의 프로그래밍에 필요한 기능들을 제공합니다. Code Editor는 프로그램의 크기와 복잡성에 관계없이 코드를 작성하는 데 사용됩니다.
대표적인 코드 에디터로는 Visual Studio Code, Sublime Text, Atom 등이 있습니다.
Text Editor (텍스트 에디터): 일반적인 텍스트 작업에 사용되는 도구를 가리킵니다. 문서 작성, 메모 작성 등에 사용되며, 코드 에디터보다는 기능이 간단합니다.
대표적으로 Notepad, TextEdit, Notepad++ 등이 있습니다.
IDE (Integrated Development Environment, 통합 개발 환경): 코드 작성, 테스트, 디버깅을 한 곳에서 할 수 있도록 해주는 복합적인 도구를 말합니다. IDE는 여러 가지 도구를 통합해서 제공하므로, 개발자가 여러 개의 별도의 도구를 사용하지 않고도 소프트웨어 개발 작업을 수행할 수 있게 도와줍니다. 크고 복잡한 프로젝트, 특히 여러 사람이 함께 작업하는 프로젝트에서는 IDE의 이런 종합적인 기능이 유용합니다.
대표적인 IDE로는 Visual Studio, IntelliJ IDEA, Eclipse 등이 있습니다.

code editor와 text editor의 차이점은?

한국에서는 VIsualt Studio Code, Atom 과 같은 프로그램들도 text editor로 불리고 있습니다.
각종 웹사이트나 블로그 내용들만 찾아보아도, code editor 관련 프로그램 모두를 text editor라고 적혀 있습니다.
하지만, 해외 영어권 자료를 찾아보면, 반대로 code editor 라고 더욱 많이 불립니다.
차이는 없습니다. 왜냐하면, 표현되는 용어만 다를 뿐, 언급되는 프로그램들이 동일한 프로그램이기 때문입니다.

code editor와 IDE의 차이점은?

이 부분도, 과거엔 구분이 확실했지만, 요즘은 구별짓기 어려우며, 굳이 구분하지도 않습니다.
핵심적인 차이점은 컴파일과 디버깅이 가능한가? 입니다.
(IDE에서는 컴파일, 디버깅 등을 제공합니다.)

제 경험으로, 2000년 전후로 C 또는 C++ 개발자 중에 Notepad++(code editor)를 사용하는 개발자도 많았고, Visual Studio(IDE)를 사용하는 개발자도 많았습니다. 물론, 리눅스에서 vim으로 개발하는 개발자들도 있었죠.
당시엔, Notepad++가 대표적인 text editor(또는 code editor)였으며, Visual Studio가 컴파일도 되고, 디버깅도 되는 대표적인 IDE였습니다.

하지만, 요즘은 가장 인기있는 Visual Studio Code, Sublime Text, Atom 등의 code editor에서 여러 플러그인을 제공함으로써 컴파일, 디버깅, 하이라이트 등 정말 많은 기능을 제공하기에 기능적인 측면으로는 code editor와 IDE를 구분할 수 없는 수준이 되었습니다.

다만, code editor가 최초 설치할 때와 구동될 때 매우 가볍고, 필요한 플러그인만 설치하면 되기에, 인기가 점점 많아지고 있습니다.

어떤게 가장 좋은가?

선택의 문제입니다. 본인이 모두 사용해보고, 좋은 것을 선택하면 됩니다.
여러 통계 사이트에서는, 1위 ~ 2위 상위권을 항상 차지하는 툴은 Visual Studio Code입니다.
웹이 크게 성장하면서, 세계적으로 웹 개발자, 특별히 자바스크립트 개발자들이 많아진 영향도 있을 것입니다.

그렇다고 해서, IDE가 몰락하는 일은 없을 것입니다.

안드로이드 진영에서 1위는 여전히, Android Studio(IDE) 입니다.
자바 진영에서는 IntelliJ(IDE)가 있으며, 아직 나이가 든 시니어 개발자들은 Eclipse(IDE)와 NetBeans(IDE)를 사랑합니다.
파이썬 진영에서는 Visual Studio Code 못지 않게, PyCharm(IDE)도 많이 사용합니다.
C 진영에서는 Visual Stuio(IDE) 만큼 막강한 툴은 없을 것입니다.

더불어, 웹사이트에 접속해서 프로그래밍하는 online editor들도 많아지고 있습니다.
기대됩니다.

대도시, 중소도시, 농어촌 총 정리

helpot.kr — Wed, 10 May 2023 18:34:14 +0900

2023년 5월 기준 대도시, 중소도시, 농어촌 총 정리

정부의 각종 복지 지원금 정보를 접하다 보면,
신청 자격 부분에서 신청자 거주지의 도시 형태(대도시, 중소도시, 농어촌)를 구분해서 적는 부분이 종종 등장합니다.
내가 사는 도시가 어떤 형태인지 파악하기 어렵기에, 이를 돕고자 정리하였습니다.
본 내용은 2023년 5월 10일에 정리한 기준이며,
이후, 도시의 거주 인구수에 따라 바뀔 수 있습니다.

대도시

인구 50만명 이상인 도시이며, 크게 네 가지로 분류되어 등록되어 있습니다.
아래에 적힌 도시는 모두 '대도시'입니다.

특별시
- 서울특별시
광역시
- 부산광역시
- 대구광역시
- 대전광역시
- 인천광역시
- 광주광역시
- 울산광역시
특례시
- 수원시
- 고양시
- 용인시
- 창원
대도시 특례 기준에 부합하는 도시
- 성남시
- 부천시
- 안산시
- 안양시
- 평택시
- 남양주시
- 화성시
- 시흥시
- 김포시
- 청주시
- 전주시
- 천안시
- 포항시
- 김해시

농어촌

본 내용을 확인할 수 있는 자료를 찾지 못했습니다.
몇 가지 웹사이트나 블로그 내용을 참고해보니,
'읍' 또는 '면'이면 무조건 농어촌으로 구분된다는 내용들도 있던데, 이는 확실치 않은 정보입니다.

복지로 누리집(전화 1566 - 0313)에 직접 전화 문의해봤더니,
웹사이트나 자료는 따로 존재하지 않으며, 관할 읍/면/동 주민센터에 전화해봐서 확인해야 한다고 합니다.

특별히, 농림축산식품부장관이 고시하여, 특정 지역이 농어촌으로 지정될 수도 있기에,
꼭 자신의 거주지 관할 읍/면/동 주민센터에 전화로 문의가 필요합니다.

중소도시

위 농어촌과 마찬가지로, 관할 읍/면/동 주민센터에 문의가 필요합니다.

기타 의견

사실, 복지로에서 제공하는 '청년내일저축계좌' 정책을 보고서, 본 내용을 파악하기 시작했습니다.
지원 자격에 보니 "대도시, 중소도시, 농어촌" 판별이 꼭 필요하네요.

그런데 정말 이상한 점은, 이런 정책을 제공하고 신청도 받는 복지로에서,
위와 같은 대도시, 중소도시, 농어촌을 구분하는 정보가 없다는 것이 이해되지 않았습니다.
혹시, 나쁜 신청자가 거짓말로 적으면 어떻게 심사를 할까?
신청자가 잘 못 알고 적은 내용도 그냥 수용하는것인가?... 이상했습니다.

다시, 면밀히 살펴보니, 복지로 웹사이트에서는 접수만 받는 것이며,
심사는 신청자의 관할 주민센터에서 진행한다는 것을 알 수 있었습니다.

따라서, 복지로 웹사이트는 정책에 대해 참고만 할 수 있는 수준으로 활용해야 한다는 것이며
실제적인 내용이나 심사는 관할 주민센터가 진행하기에,
실제적인 문의도 관할 주민센터로 해야 한다는 사실을 깨달았습니다.

근로장려금 총 정리

helpot.kr — Tue, 9 May 2023 12:30:52 +0900

2023년 근로장려금 총 정리

요약

지원 금액	최대 330만원
신청 자격	작년(2022년)에 일 하셨던, 근로자, 사업자, 종교인
신청 기간	2023. 5. 1 ~ 2023. 5. 31 (이후에도 11.30 까지 신청 가능하나, 10% 차감 됩니다.)
신청 방법	홈택스 웹페이지 및 어플, ARS 1544 - 9944
문의 전화	근로 자녀장려금 상담센터 1566 - 3636

근로장려금이란?

산정된 기준보다 소득이 적은 근로자, 사업자(전문직 제외), 종교인에 대하여 장려금을 지급합니다.
가구원 구성과 가구원들의 총 소득, 재산 등에 따라 지급액을 산정합니다.
지원을 통해 근로를 계속해서 장려하는 제도입니다.

얼마나 받을 수 있나?

단독 가구일 경우: 2022년 총 소득이 2,200만원 미만이면, 최대 165만원 받을 수 있습니다.
홑벌이 가구일 경우: 2022년 총 소득이 3,200만원 미만이면, 최대 285만원 받을 수 있습니다.
맞벌이 가구일 경우: 2022년 총 소득이 3,800만원 미만이면, 최대 330만원 받을 수 있습니다.

주의!
예를 들어, 3,800만원 미만이면, 3,800만원은 포함되지 않습니다!
37,999,990원 까지를 말 합니다.

내가 맞벌이, 홑벌이, 단독 중에 무엇에 속하는가?

아래 내용 모두 2022.12.31. 가족관계등록부를 기준으로 합니다.
따라서, 모두 법적으로 등록된 배우자, 부양자녀, 직계존속을 뜻 합니다.

단독 가구: 배우자도 없고, 부양자녀도 없고, 70세 이상 직계존속이 모두 없는 혼자 사는 사람은 '단독 가구'입니다.
홑벌이 가구: 배우자가 있거나, 부양자녀가 있거나, 70세 이상 직계존속이 있는 가구는 '홑벌이 가구'입니다.
(단, 배우자가 있는 경우, 배우자의 2022년 총 급여액이 3백만원 미만인 경우만 '홑벌이 가구'입니다.)
(단, 입양인 경우도 부양자녀이며, 부양자녀의 2022년 총 급여액이 1백만원 이하인 경우만 '홑벌이 가구'입니다.)
(단, 70세 이상 직계존속이 있는 경우, 직계존속의 2022년 총 급여액이 1백만원 이하인 경우만 '홑벌이 가구'입니다.)
맞벌이 가구: 신청인과 배우자 각각의 총 급여액 등이 3백만원 이상인 가구는 '맞벌이 가구'입니다.

주의!
- 위에서 표현된 '배우자'는 혼인 신고하여, 가족관계증명서에 기재된 배우자를 뜻합니다.
- 사실혼 관계이지만, 혼인 신고하지 않은 경우, 본 지원금 제도에서는 '배우자'로 인정하지 않습니다.
- 만약, 2022년 중에 배우자가 사망한 경우, 사망일 전일에 가족관계등록부에 배우자로 기재되어 있어야 합니다.

재산 요건도 확인해야 합니다.

2022. 6. 1. 기준으로 가구원이 소유하고 있는 재산 합계액이 2.4억원 미만이어야 합니다.
(재산이 1.7억원 이상 ~ 2.4억원 미만인 경우는 총 장려금액의 50%를 차감합니다.)
재산의 종류는 아래와 같습니다.

주택·토지·건축물(시가표준액을 기준으로 합니다.)
승용자동차(시가표준액을 기준으로 합니다.)(영업용 승용자동차는 재산으로 보지 않습니다.)
전세금, 금융자산, 유가증권, 회원권, 부동산을 취득할 수 있는 권리 등의 합계액으로 부채는 차감하지 않습니다.(조세특례제한법 시행령 제100조의4 3항)

주의!
- 위 내용 중, '전세금' 관련 내용입니다.
- 주택은 간주전세금(기준시가 55%)과 실제 전세금 중 작은 금액, 상가는 실제 전세금으로만 평가[거주자와 그 배우자의 직계존비속(그 배우자 포함)으로부터 주택을 임차한 경우 그 해당 주택의 기준시가의 100%를 적용하여 평가한 금액(임차계약서 금액 적용 배제)]

만약, 사업자일 경우는 아래 조정률을 적용해야 합니다.

'사업수입금액 x 업종별 조정률'을 2022년 소득으로 산정합니다.

사업자 업종별 조정률

위 요건을 만족해도, 대상자에서 제외되는 기준이 있습니다.

2022. 12. 31. 대한민국 국적이 아닌 자는, 지원 대상에서 제외됩니다.
(단, 대한민국 국적을 가진 자와 혼인하였거나, 대한민국 국적의 부양자녀가 있는 자는 근로장려금 신청 가능합니다.)
2022년 중에 다른 거주자의 부양자녀가 되었던 기록이 있는 사람은, 지원 대상에서 제외됩니다.
신청자 또는 배우자가 전문직 사업을 하고 있는 사람은, 지원 대상에서 제외됩니다.

근로장려금 신청 방법

신청 하기(홈택스로 이동)

데이터 형식 Data Formats

helpot.kr — Sat, 6 May 2023 15:47:53 +0900

데이터 형식이란

데이터를 저장하고, 표현하며, 전달하기 위한 구조화된 방식입니다.
대표적으로 JSON, XML, HTML, CSS, YAML, CSV, PDF 등이 있습니다.
데이터 형식은 매우 방대하며, 외울 필요는 없지만, 개발자라면 다양한 데이터 형식을 매일 사용할테니, 한번 쯤은 제대로 학습을 해야 하기도 합니다.

"HTML은 프로그래밍 언어가 아니라, 마크업이야" 이라는 말을 이미 들어보셨을 수도 있습니다.
맞는 말입니다. HTML은 연산이 불가능하며, 문서를 표현한 마크업이라는 형태일 뿐이기 때문입니다.
여기서 말하는, '마크업' 이라는 것도 데이터 형식의 한 가지인데, 우선 데이터 형식에 대해, 좀 더 자세히 알아 보겠습니다.

데이터 형식의 종류

데이터 형식은 다양한 종류와 범주로 나뉘며, 각각의 형식은 특정 목적에 맞춰 설계되어 사용됩니다.
종류가 다양하지만, 대표적인 다섯 가지로 구분해 봤습니다.

마크업 (Markup)
텍스트 내에 태그나 기호를 사용하여 문서의 구조와 내용을 설명하는 데이터 형식입니다.
예시로는 HTML, XML, Markdown 등이 있습니다.
스타일 시트(Stylesheet)
웹페이지나 애플리케이션의 외관을 제어하는 데 사용되는 언어입니다.
주요 예시로는 CSS, XSL, Sass, Less, Stylus 등이 있습니다.
직렬화 형식 (Serialization Formats)
데이터 구조를 저장하고 교환하는 데 사용되는 형식입니다.
JSON, XML, YAML, Protobuf 등이 이 범주에 속합니다.
테이블 형식 (Tabular Formats)
행과 열을 사용하여 데이터를 표현하는 형식입니다.
CSV, TSV 등이 이 범주에 포함됩니다.
바이너리 형식 (Binary Formats)
이진 데이터를 저장하고 전송하는 데 사용되는 형식으로, 이미지 파일 형식 (PNG, JPEG 등), 동영상 파일 형식 (MP4, AVI 등) 등이 포함됩니다.

상세한 내용

각 데이터 형식별로는 공통된 내용이 없기 때문에, 여기에 작성하지 않고, 별도의 게시물로 좀 더 상세히 작성하려 합니다.

마크다운 Markdown

helpot.kr — Wed, 3 May 2023 14:57:06 +0900

마크다운 Markdown 이란

만든 사람인 존 그루버에 의하면, HTML 문서를 더욱 쉽고 빠르게 만들기 위한 도구입니다.
직관적으로 이해하기 위해, 바로 아래에 몇 가지 예를 적었습니다.

#### 샾 4개를 앞 뒤에 적으면 <h4> 태그로 작성한 글자처럼 인식됩니다.

**별표 2개를 앞 뒤에 적으면, 굵은 글씨로 표현됩니다.**

- 목록1.
  - 목록1-1.
  - 목록1-2.
- 목록2.
  - 목록2-1.
    - 목록2-1-1.

샾 4개를 앞 뒤에 적으면 <h4> 태그로 작성한 글자처럼 인식됩니다.

별표 2개를 앞 뒤에 적으면, 굵은 글씨로 표현됩니다.

목록1.
- 목록1-1.
- 목록1-2.
목록2.
- 목록2-1.
  - 목록2-1-1.

장점

굉장히 쉽습니다.
위 예시처럼, 별표(*)나 샵(#)을 적는 수준으로도 html 문서를 만들 수 있습니다.
작성 속도가 빠릅니다.
WORD 처럼, 각종 서식을 마우스 클릭하여 적용하는 방식을 WYSIWYG(위즈윅 또는 위즈위그)이라고 부릅니다.
반대로, 마크다운은 키보드만으로 작성을 하게되니, 몇 배는 빠르게 작성할 수 있습니다.
대부분의 플랫폼에서 마크다운을 지원합니다.
티스토리, 네이버, 노션, 에버노트 등, 요즘 인기있는 글 작성 플랫폼에서는 모두 마크다운을 지원합니다. 이들을 통해, HTML 웹페이지 형태로 자동 변환이 가능합니다.
더불어, 한 단계 정도만 추가하면 WORD 파일이나 PDF로도 변환 가능합니다.
아무 편집기에서도 작성할 수 있습니다.
윈도우 메모장만 있어도 작성 가능합니다.
다른 문서 형태로 변환이 쉽습니다.
요즘 문서 변환은 필수인 시대입니다.
심지어, WORD 문서를 PDF 문서나 이미지로 변환 해보지 않은 사람이 있을까요?
더불어, github의 폭발적인 인기로 인해, 개발자들은 소스코드 설명을 모두 마크다운 문서로 작성하고 있는 상황입니다. 이런 상황에서 마크다운이야 말로, 가장 좋은 대안일 것입니다.
백업이 용이합니다.
글을 작성해 두었던, 웹사이트나 블로그가 폐쇄된 경험이 있습니까?
모든 글을 다운 받았다 하더라도, 어떻게 다른 플랫폼으로 옮기나요?
만약, 마크다운으로 작성하였다면, 컴퓨터에 백업해두는 것도 어려움이 없었을 것이며,
마크다운 문서를 다른 플랫폼에 바로 옮겨 저장하는 것도 전혀 어려움이 없습니다.

단점

사진을 별도 관리해야 합니다.
문서에 첨부해야 할 사진은 마크다운 .md 파일과 함께 따로 저장해서 관리해야 합니다.
만약, WORD 문서였다면, 문서 중간에 사진을 첨부하여 .doc 또는 .docx 1개 파일로 관리가 가능합니다만, 마크다운의 경우 불가능합니다.
아직 생소합니다.
개발자 또는 IT를 적극적으로 활용하는 사람이 아닌 이상, 아직은 마크다운으로 문서를 작성하는게 일반적이지는 않다.
HTML을 완전히 대체하지 못 합니다.
유명 플랫폼 마다, 마크다운 문서 표현 방식이 약간 다릅니다.
마크다운 문서 뷰어가 마땅히 없습니다.
마이크로소프트의 워드처럼 뭔가 엄청 유명하거나 표준화된 프로그램이 없습니다.
개발자의 경우, 자신이 사용하는 IDE에서 마크다운을 HTML 형태로 볼 수 있으며,
블로거는 자신의 블로그에서 HTML 형태로 볼 수 있습니다.
그 외, 마크다운 뷰어 웹사이트도 많지만, 마크다운 버전마다 및 뷰어마다 표현이 약간씩 달라서, 큰 단점으로 느껴집니다.

마크다운 Markdown 문법

학습 수 있는 대표적인 웹사이트를 아래 적습니다.
현재, 가장 유명한 웹사이트는 https://www.markdownguide.org/입니다.
그 외의 웹사이트도 아래에 남깁니다.

John Gruber의 마크다운 문서: Markdown 제작자가 작성한 원본 가이드입니다.
마크다운 튜토리얼: 브라우저에서 Markdown을 테스트해 볼 수 있습니다.
멋진 마크다운: 정말 많은 예시를 정리해 두었습니다.

코드 스타일 가이드 Code Style Guide, Code Conventions

helpot.kr — Tue, 2 May 2023 21:54:43 +0900

코드 스타일 가이드는 프로그래밍 언어에서 권장하는 가장 적절한 코드 스타일을 말합니다.
예를 들어, 각종 띄어쓰기 및 변수명 작성하는 규칙 등 입니다.
개발자는 필히 학습해야 하는 내용입니다.

국내에서 '코딩 규칙' 또는 '코딩 관례'라고 혼용하여 말하기도 하지만, 엄밀히 다른 내용입니다.
또한, 회사에서 요청하는 '코딩 규칙'과도 엄밀히 다른 내용입니다.

코드 스타일 가이드: 프로그래밍 언어에서 강력히 권장하는 가장 적절한 코드 스타일
코딩 관례: 여러 개발자들이 주로 선택하는 코드 스타일
회사 내 코딩 규칙: 꼭 지켜야 하는 의무 코딩 규정

코드 스타일 가이드

코드 스타일 가이드는 이런 것입니다.

직관적인 이해를 위해, 몇 가지 예를 적습니다.

# 권장하는 예
import sys
import requests
import os
import time

# 권장하지 않는 예
import sys, os, time, ..., ...

위 파이썬 코드드는 '코드 스타일 가이드'에서 권장하는 내용을 그대로 가져왔습니다.
이유가 따로 적혀 있지 않지만, 제 경험에 의하면,
라이브러리 추가 삭제가 용이하고, 라이브러리 관련하여 주석을 적기 편합니다.
만약, 한 줄 옆으로만 나열하여 여러 라이브러리를 적었다면, 주석이 어떤 라이브러리에 관한 주석인지 알기 어려울 것입니다.

// 아래는 코딩 관례입니다.
// 자바 개발자의 89%**는 아래와 같이, if문과 조건문 사이에 공백을 1칸 넣습니다.
if  (true)  {
    ......
}

// 자바 개발자의 10%**는 아래와 같이, if문과 조건문 사이에 공백을 넣지 않습니다.
if(true)  {
    ......
}

위 자바 코드는 '코딩 관례' 통계 자료의 일부분 입니다.

필요한 이유

속도 향상
프로그래머에게 가독성은 필수입니다. 안 그래도 난해하게 보일 수 밖에 없는게 소스코드인데, 가독성이 나쁘면 개발 속도가 느려질 수 밖에 없습니다. 코드 스타일 가이드를 따라서 깔끔하게 코드를 정리하면 개발 속도가 빨라질 것입니다.
에러 방지
코드 스타일 가이드가 익숙해 지면, 코드가 깔끔해 지고, 상대적으로 문제가 될 수 있는 코드 부분이 눈에 잘 띕니다.
더불어, 프로그래밍은 띄어쓰기 하나로도 에러가 발생하지 않는데, 이런 상황을 최대한 방어할 수 있습니다.
협업
여러 사람이 프로그램을 나누어 개발하여 협업이 필요한 상황에서야 말로, 코드 스타일 가이드는 필수입니다.
서로 코딩하는 스타일이 천차만별이라면 결코 그 프로그램이 작동할 수 없을 것이다.
유지관리
다른 사람이 개발했거나, 과거에 자신이 개발한 프로그램을 이어 받아서 계속 유지보수하고 추가 개발하려면, 과거의 코드를 훑어보며 복습해야 하기 때문에, 일관된 관례에 따라 코드가 관리되야 한다.

추세

과거엔 회사의 CTO, 팀장, 선배 등 가장 영향력 있는 개발자가 코드 스타일 가이드를 참고하여, 회사 내 코딩 규칙을 정하는 형태였다면, 요즘은 개발에 사용하는 IDE 및 각종 플러그인이 매우 발달하였기에, 그런 프로그램에서 제공하는 규칙을 그대로 사용하는 경우도 많습니다.

프로그래밍 언어별 코드 스타일 가이드

파이썬
'PEP8'이라는 공식 코드 스타일 가이드가 있습니다.
PEP는 Python Enhancement Proposal의 약자로, 파이썬 개발자 커뮤니티에서 파이썬에 대한 새로운 기능, 정보, 혹은 절차에 대해 제안하는 문서입니다. 아래와 같은 내용들이 있습니다.
자바스크립트
가장 널리 사용되는 것은 'Airbnb JavaScript Style Guide' 입니다.
또한, 'Google JavaScript Style Guide'도 많은 개발자들이 참고하는 가이드입니다.
자바
자바에서는 'Google JavaScript Style Guide'라는 공식 코드 스타일 가이드가 있습니다.
이는 Sun Microsystems에서 처음 발표되었고, Oracle이 Sun을 인수한 이후에도 계속 사용되고 있습니다.

취업 또는 이직

취업을 준비하는 학생의 경우, 자신의 이력서에 적을 프로그래밍 언어에 대해 코드 스타일 가이드 정도는 학습하는게 옳습니다.
이직을 준비하는 경력자도, 코드 스타일 가이드 내용을 당연히 알아야 할 것이며, 이를 모를 경우, 전 직장에서 개발 할 때, 마구잡이로 개발했다고 보여질 수 있다고 생각됩니다.

참고

여러 프로그래밍 언어별로, 개발자들이 선호하는 코드 스타일을 통계 그래프로 분석한 사이트를 소개합니다.
http://sideeffect.kr/popularconvention

helpot.kr

[Upstage AI Lab 3기] 부트캠프 지식으로 각종 대회 도전기

첫째, kaggle 대회

둘째, KRX 금융모델 대회

[Upstage AI Lab 3기] Data Centric AI 학습 내용

Data Centric AI란?

데이터 구축 파이프라인

데이터 수집 방법

주의할 점

데이터 라벨링 규칙

IAA(Inter-Annotator Agreement)

[Upstage AI Lab 3기] Dialogue Summarization | 일상 대화 요약 대회

대회 소개

Timeline

Evaluation

개인 Branch

데이터 및 상세 내용

나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했는가?

마주한 한계는 무엇이며, 아쉬웠던 점은 무엇인가?

한계/교훈을 바탕으로 다음 경진대회에서 시도해보고 싶은 점은 무엇인가?

[Upstage AI Lab 3기] 컴퓨터비전 학습 내용

고정된 이미지에서 탐색 분야

실시간 이미지에서 탐색 분야

이미지 생성 분야

[Upstage AI Lab 3기] Document Type Classification 대회

대회 소개

Timeline

Evaluation

팀 구성

개인 Branch

수행 절차

데이터 및 상세 내용

나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했는가?

마주한 한계는 무엇이며, 아쉬웠던 점은 무엇인가?

한계/교훈을 바탕으로 다음 경진대회에서 시도해보고 싶은 점은 무엇인가?

[Upstage AI Lab 3기] Upstage Machine Learning Regression 대회

대회 소개

Timeline

Evaluation

팀 구성

개인 Branch

설계

수행 절차

데이터 및 상세 내용

나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했는가?

마주한 한계는 무엇이며, 아쉬웠던 점은 무엇인가?

한계/교훈을 바탕으로 다음 경진대회에서 시도해보고 싶은 점은 무엇인가?

[Upstage AI Lab 3기] 학습 과정 중간 회고

학습 기간

학습했던 내용

프로젝트

출석율

느낀점

[Upstage AI Lab 3기] 딥러닝 & 파이토치 학습 내용

다층 퍼셉트론(Multi-Layer Perceptron, MLP)의 등장 이유

컨볼루션 신경망(Convolutional Neural Network, CNN)의 등장 이유

순환 신경망(RNN, Recurrent Neural Network)의 등장 이유

CNN 기반 요즘 인기 모델

RNN 기반 요즘 인기 모델

혼합 모델

인기 있는 프레임웍과 라이브러리

[Upstage AI Lab 3기] 머신러닝 학습 내용

선행 학습

학습 키워드

supervised learning_regression

supervised learning_ classification

unsupervised learning

etc

[Upstage AI Lab 3기] 코딩 테스트 준비

학습이 필요한 내용

외부 라이브러리 사용하는 것 관련(ex itertools)

예제. twosum 코드 구현 (반복문)

예제. twosum 코드 구현 (재귀)

예제. 조합

예제. 괄호 유효성 문제

예제. BFS(Breadth First Search)

예제. DFS(Depth First Search)

[Upstage AI Lab 3기] 인공지능으로 풀려는 문제를 찾아내는 과정인 데이터 분석 EDA

데이터 분석 과정

데이터 분석을 위해 가장 많이 사용되는 라이브러리