전체 글 76

Kafka

victorydntmd.tistory.com/344 [Kafka] 기본 개념잡기 대표적인 메시징 시스템으로 Kafka, RabbitMQ, Active MQ가 있는데요. 각 메시징 시스템마다 장단점이 있겠지만, 하도 Kafka가 좋다하고 도입하길래 어떤 녀석인지 궁금했습니다. Kafka에 대해 알아보 victorydntmd.tistory.com taetaetae.github.io/2017/11/02/what-is-kafka/ What is Kafka? 필자가 맡고있는 서비스에 Elastic Stack 을 도입하면서 중간에 버퍼가 필요하여 Message-Queue 시스템들을 알아보던 중 Kafka 에 대해 알아보고, 정리를 해보게 된다. 기본설명 및 기존 메세징 시스템과 taetaetae.github.io ..

Data Engineering 2020.11.26

MobaXterm

kibua20.tistory.com/62 윈도우용 MobaXterm - SSH 및 X-Server 지원 윈도우에서 1) 원격 서버에 SSH (Secure Shell)로 접속, 2) 원격 프로그램을 실행, 3) 로컬에서 리눅스 명령어를 사용하는 경우 유용한 tool이 MobaXterm이다. 이미 Putty, PowerShell, Cygiwn을 사용하는 분들께.. kibua20.tistory.com m.blog.naver.com/PostView.nhn?blogId=mincoding&logNo=221713417061&proxyReferer=https:%2F%2Fwww.google.com%2F MobaXterm 사용법, SSH 사용법 https://mobaxterm.mobatek.net/ MobaXterm 향상..

Data Engineering 2020.11.26

SSH (Secure Shell Protocol)

baked-corn.tistory.com/52 SSH란? SSH 안녕하세요. 오늘은 제가 평소에 많이 사용은 하지만 정확히 그것이 어떻게 동작하는지에 대해서 알고 싶어서 공부를 해보고 간단하게 정리를 해보는 시간을 가지려고 합니다. 동아리에서 baked-corn.tistory.com opentutorials.org/module/432/3738 SSH - 원격제어 SSH Secure Sell의 약자로 원격지에 있는 컴퓨터를 안전하게 제어하기 위한 프로토콜 또는 이 프로토콜을 사용하는 프로그램들을 의미한다. SSH 클라이언트와 SSH 서버의 관계로 상호작용하면서 SSH opentutorials.org

Data Engineering 2020.11.26

K-nearest neighbors , distance measures

분류 및 예측을 위한 모델 - Model-based Learning - 선형/비선형 모델(e.g., linear regression, logistic reegression) - Neural network - 의사 결정 나무 - Support vector machine → 데이터로부터 모델을 생성하여 분류/예측 진행 - Instance-based Learning - K-nearest neighbor - Locally weighted regression → 별도의 모델 생성 없이 인접 데이터를 분류/예측에 사용 KNN 알고리즘의 구분 및 특징 - Instance-based Learning - 각각의 관측치 (instance)만을 이용하여 새로운 데이터에 대한 예측을 진행 - Memory-based Learn..

인공 신경망 (Neural Network)

로지스틱 회귀모델 - Y가 범주형 : 입력변수(X)의 비선형결합(로지스틱 함수 형태)로 출력변수 (Y)를 표현 ① 입력변수의 선형결합 ② 선형결합 값의 비선형 변환 (Nonlinear transformation) 단층 퍼셉트론 - NOT, AND, OR 연산 가능하지만, XOR 연산 불가능 2중 퍼셉트론 - 두개의 퍼셉트론을 결합 (2중 퍼셉트론 : 2-layer perceptron) - 두 개의 입력변수와 한 개의 출력변수 - 다층 퍼셉트론 → 인공신경망 (Artificial Neural Network) - 입력층 - 은닉층 - 출력층 - [범주형] 출력노드의 수 = 출력변수의 범주 개수 - [연속형] 출력노드의 수 = 출력변수의 개수 선형회귀모델, 로지스틱 회귀모델, 뉴럴 네트워크 모델 비용함수 - ..

Logistic regression (로지스틱 회귀모델) - 2 (학습, 해석)

로지스틱 회귀모델 - X 변수를 로지스틱 함수형태(비선형결합)으로 표현 - 관측치가 특정 범주에 속할 확률로 계산 - 확률값이 정한 기준값보다 크면 범주 1 아니면 범주 2 (이진범주 분류 문제의 경우) 다중 로지스틱 회귀모델 - 입력변수 X가 2개 이상 파라미터 추정 - 로지스틱 회귀모델 학습: 최대 우도 추정법 (Maximum Likelihood Estimation) - 위 로그우도함수(log likelihood function)가 최대가 되는 파라미터 b 결정 - 로그 우도함수(log likelihood founction)는 파라미터 b에 대해 비선형이므로 선형회귀모델과 같이 명시적인 해가 존재하지 않음 (No closed-form solution exists) - Iterative reweight..