LLM(Large Language Model)의 기초/LLM 서비스 기초(7)
-
1. 크롤링
1. 크롤링크롤링(Crawling)이란 웹 크롤러(Web Crawler) 또는 스크레이퍼(Scraper)라고 불리는 프로그램이나 스크립트를 사용하여 인터넷상의 웹 페이지에서 데이터를 자동으로 수집하는 과정을 말합니다. 주로 검색 엔진이 웹사이트를 탐색하고 색인(Index)에 추가하기 위해 사용하는 기술이며, 특정 주제나 데이터를 수집해 분석하는 데에도 활용됩니다. 크롤링은 HTML, CSS, JavaScript로 구성된 웹페이지 구조를 파싱(Parsing)하여 원하는 정보를 추출하고, 이를 활용 가능한 데이터 형식으로 저장합니다. 크롤링 시에는 웹사이트의 이용 약관과 로봇 배제 표준(Robots.txt)을 준수하여 법적, 윤리적 문제를 방지해야 합니다.https://www.melon.com/robots...
2025.01.16 -
6. FAST API
1.FAST API란?* FastAPI는 Python 기반의 웹 프레임워크로, 주로 API를 빠르게 개발하기 위해 설계되었습니다.* FastAPI는 자동으로 생성되는 OpenAPI 문서(Swagger UI)를 통해 API의 사용성과 테스트를 쉽게 할 수 있으며, 데이터 유효성 검사와 타입 힌트를 활용한 코드 자동완성 및 오류 방지를 지원합니다.* 특히, 비동기 처리를 활용하여 속도가 중요한 대규모 애플리케이션 개발에 적합하며, RESTful API와 GraphQL 같은 현대적 웹 API 개발에 유용합니다. *타입 힌팅(Type Hints) * 타입 힌팅(Type Hints)은 프로그래밍 언어에서 변수, 함수 매개변수, 함수 반환값 등에 대한 데이터 타입 정보를 코드에 명시적으로 제공하는 기술입니다. ..
2024.12.13 -
2. Gradio
1.Gradio란?머신러닝 모델을 간단히 웹 애플리케이션 형태로 배포할 수 있게 해주는 파이썬 라이브러리입니다. 이를 통해 사용자는 인터랙티브 웹 인터페이스를 통해 모델을 테스트하고 공유할 수 있습니다. Gradio는 머신러닝 엔지니어, 데이터 과학자, 연구자들이 복잡한 웹 개발 지식 없이도 직관적인 UI를 생성할 수 있도록 설계되었습니다. 모델의 입력과 출력을 정의하면 Gradio가 자동으로 웹 기반 인터페이스를 생성하며, 이를 로컬에서 실행하거나 웹에 배포할 수 있습니다.[주소] https://www.gradio.app/ GradioBuild & Share Delightful Machine Learning Appswww.gradio.app 2. Gradio 실행방법1) gradio 명령어 실행pip ..
2024.12.11 -
5. 프롬프트 엔지니어링
1. 프롬프트 엔지니어링(Prompt Engineering)란?* 프롬프트 엔지니어링(prompt engineering)은 인공지능 모델, 특히 자연어 처리 모델(GPT 계열 등)과의 상호작용을 최적화하는 기술입니다. * 이는 모델이 주어진 작업을 더 정확하고 효과적으로 수행할 수 있도록, 입력되는 텍스트(프롬프트)를 신중하게 설계하는 과정입니다. * 프롬프트 엔지니어링의 핵심은 모델이 의도한 답변을 도출하도록 텍스트를 구성하는 방식으로, 적절한 질문 형식이나 설명을 제공하여 더 나은 성과를 얻는 것을 목표로 합니다. * 이 과정은 모델의 한계와 특성을 이해하고, 모델이 특정 방식으로 반응하도록 유도하는 언어적 전략을 포함합니다. * 예를 들어, 더 구체적인 정보를 요청하거나, 다양한 조건을 명확히 설정..
2024.12.11 -
3. 몽고 DB 와 파이썬
1. 몽고 DB의 파이썬(Python) 사용법1) 몽고 db 사이트 들어가서 로그인을 한다.2) 파이썬과 몽고 db와 연결을 한다1) 비밀번호가 까먹었을 시, connect를 눌러서 들어간다. 1. 파이 몽고 설치해 준다!pip install pymongo 2.from pymongo import MongoClient#connect에 drivers에 있다#@cluster0.kkabv.mongodb.net/?retryWrites=true&w=majority&appName=Cluster0'#url='mongodb+srv://twitter:fdsfewerrrr@cluster0.h11kj.mongodb.net/?retryWrites=true&w=majority&appName=Cluster0'url='mon..
2024.12.10 -
5-2. 프롬프트 엔지니어링
1. 프롬프트 엔지니어링 (prompt engineering)이란?* 프롬프트 엔지니어링(prompt engineering)은 인공지능 모델, 특히 자연어 처리 모델(GPT 계열 등)과의 상호작용을 최적화하는 기술입니다. * 이는 모델이 주어진 작업을 더 정확하고 효과적으로 수행할 수 있도록, 입력되는 텍스트(프롬프트)를 신중하게 설계하는 과정입니다. * 프롬프트 엔지니어링의 핵심은 모델이 의도한 답변을 도출하도록 텍스트를 구성하는 방식으로, 적절한 질문 형식이나 설명을 제공하여 더 나은 성과를 얻는 것을 목표로 합니다. * 이 과정은 모델의 한계와 특성을 이해하고, 모델이 특정 방식으로 반응하도록 유도하는 언어적 전략을 포함합니다. * 예를 들어, 더 구체적인 정보를 요청하거나, 다양한 조건을 명확히 ..
2024.12.10