본문 바로가기

개발/AI

 (12)
[MCP] Model Context Protocol란 🍏 MCP란= AI와 외부(데이터, 도구 등..)의 통합을 지원하는 개방형 프로토콜. (데이터 표현 규칙)MCP를 통해 AI가 다양한 도구나 데이터 들을 활용할 수 있게 된다. MCP 3-티어 아키텍처 - MCP Host = MCP를 통해서 데이터에 접근하려고 하는 프로그램 (ex Cursor, Vscode, Claude Desktop ...)- MCP Client = 서버와의 통신 관리, 연결 상태 관리 등..- MCP Server = 실제 기능 제공, 도구 실행 통신Standard Input Output (Stdio) = 로컬에서 실행 . SSE = 웹 서버에서 실행. 원격 서버 호출해서 결과를 받는다. 🍏 MCP 특징외부 도구= 여러 외부 도구를 AI가 사용할 수 있도록표준화된 방식으로 외부 ..
[논문 리뷰] A joint Sequence Fusion Model for Video Question Answering and Retrieval Abstractmultimodal sequence data 쌍 사이의 유사성을 평가하는 JSFusion(Joint Sequence Fusion)에 대해 소개할 것이다.JSFusion의 중요한 구성요소는 다음과 같다1. Joint Semantic Tensor = 2가지 sequence data를 3D tensor로 나타낸다.2. Convolutional Hierarchical Decoder = 두 sequence modalities사이 은닉층 에서 일치하는 부분으로 유사도를 측정.잘못 정렬된 패턴은 하향식으로 제거하고 옳게 매치되는 패턴들이 더 많이 생기게 학습시키는 Hierarchical attention mechanisms를 활용했다.이 연구에서는 video-language작업에 중점을 두고 있다(원래..
[Pytorch] 08. 합성곱 신경망 파이토치 위키독스 공부하기 08-01 합성곱과 출링합성곱 신경망은 이미지 처리에 탁월한 신경망이다.합성곱층과 풀링층으로 구성된다. 아래의 그림은 합성곱 신경망의 예다.CONV=합성곱 연산합성곱 연산의 결과가 ReLU를 지나는 이 과정이 합성곱층 이라고 한다.그 후 POOL구간을 지나는데 이것이 풀링 연산이며 풀링층이라고 한다.  1. 합성곱 신경망의 대두손글씨를 다층 퍼셉트론으로 분류한다고 하면,이미지를 벡터( 1차원 텐서 )로 변환하고 다층 퍼셉트론의 입력층으로 사용해야 한다.벡터로 바꾸면 다음과 같다.변환후의 벡터는 사람도 기계도 원래 어떤 이미지 였는지 구분하기 어렵다.벡터로 표현된 방식은 공간적인 구조 정보(거리가 가까운 어떤 픽셀들끼리는 어떤 연관이 있고, 어떤 픽셀들끼리는 값이 비슷하거나 등을..
[Pytorch] 07. 순환 신경망(RNN) 파이토치 위키독스 공부하기 07-01 순환 신경망 RNNRNN은 가장 기본적인 Sequence모델이다.시퀀스들을 처리하기 위한 모델을 시퀀스 모델이라고 한다.입력과 출력을 시퀀스 단위로 처리한다.ex)번역기 : 입력은 문장(단어 시퀀스), 출력은 번역된 문장(단어 시퀀스) 1. 순환 신경망(RNN)앞서 배운 신경망들안 은닉층에서 활성화 함수 지난 값은 출력층 방향으로만 진행 한다.(Feed Forward 신경망)RNN은 이와 달리 결과값을 출력층 방향으로도 보내고, 그 다음 다시 은닉층 노드의 다음 계산 입력으로도 보낸다.x는 입력층y는 출력층cell은 RNN 은닉층에서 활성화 함수를 통해 결과 내보내는 역할의 노드. 이전 값을 기억하려고 하는 메모리 역할을 하기 때문에 메모리셀, RNN셀이라고도 한다...
[OpenCV] 컴퓨터 비전과 딥러닝 / Ch05 / 연습 문제 틀릴 수 있음 주의 01(1)325202323C=2 (2)035203320C=2  02 03import cv2 as cvimg=cv.imread("../source/pooh.jpg")gray=cv.cvtColor(img,cv.COLOR_BGR2GRAY)for i in range(0,10): num=2**i #make keypoint sift=cv.SIFT_create(nfeatures=num) kp,des=sift.detectAndCompute(gray,None) #draw keypoint gray=cv.drawKeypoints(gray,kp,None,flags=cv.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS) cv.imshow('s..
[OpenCV] 컴퓨터 비전과 딥러닝 / Ch04 / 연습 문제 틀릴 수 있음 주의 01 (1) (y,x)=(4,4)fy'(4,4)=1x-1+3x-2+3x-1+1x1+1x2+1x1 = -6fx'(4,4)=1x-1+3x1+1x-2+3x2+1x-1+1x1 = 6s(4,4)= 루트(6^2+(-6)^2) =8.485d(4,4)=arctan(-1)=-45도 (2) (y,x)=(5,2)fy'(5,2)=0fx'(5,2)=0s(5,2)=0d(0,0)=arctan(0)=0 02 03임계값을 정하고 해당 임계값을 넘은 에지 강도인 에지 점들의 집합의 방향을 적용해 곡선을 찾는다.해당 작업을 RANSAC로 반복 04아니오해당절에서 설명한 에지 검출 알고리즘들은 명암 변화에만 의존하여 구분이 힘들다 05뇌이미지 분석, 다변량 패턴 분석 065번 반복한다는 것이다.1로 바꾸면 undefit..
[Pytorch] 06. 인공 신경망 파이토치 위키독스 공부하기 06-01 머신 러닝 용어 이해1.머신 러닝 모델 평가(원래는 아래와 같이 분류하나 여기서는 개념 학습이 목적이라 위와 같이 분류할 것이다) 검증용 데이터 = 모델의 성능을 조정하는 용도. 과적합 여부를 판단하거나 하이퍼파미터값을 조정하기 위한 데이터 - 하이퍼파라미터=(초매개변수). 모델 성능에 영향을 준다. 사용자가 집접 정해분다.ex)학습률, 뉴런의 수, 은닉층의 수 등..- 매개변수=모델이 학습하며 변해지며 얻는 값. ex)가중치와 편향.. 하이퍼파라미터 튜닝이 끝나면 이제는 검증용 데이터로 모델을 평가할 수 없다. 모델이 검증용 데이터에 대해서도 일정부분 최적화가 되어있기 때문이다.모델에 대한 평가는 모델이 본적 없는 데이터로 해야한다.검증이 끝나면 테스트 데이터로 모..
[Pytorch] 05. 소프트맥스 회귀 파이토치 위키독스 공부하기 05-01 One-Hot Encoding1.One-Hot encoding- 원-핫 인코딩=선택애야하는 선택지 개수만큼의 차원을 가진다.각 선택지의 인덱스에 해당하는 원소는1의 값, 나머지는 0의 값을 가지는 표현 방법- 원-핫 벡터=원-핫 인코딩으로 표현된 벡터 ex)강아지 0번 인덱스, 고양이 1번 인덱스, 냉장고 2번 인덱스 이다.선택지에 대해서 원-핫 인코딩 된 벡터는 다음과 같다강아지=[1,0,0] 고양이=[0,1,0] 냉장고=[0,0,1]위의 벡터들은 원-핫 벡터 2. 원-핫 벡터의 무작위성대부분의 '다중 클래스 분류 문제'는 클래스 간의 관계가 균등하므로원-핫 벡터로 표현하는것이 적절하다 그런데 이때 정수 인코딩을 사용할수 있지 않을가 생각을 할 수 있다. 예를들어 ..

티스토리툴바