일단 지난번 붓꽃 학습에서 학습시킨 모델을 pickle로 저장한다. import pickle f = open('iris_model.md', 'wb') # wb는 write binary라는 뜻 pickle.dump(model, f) f.close() 주요 참고자료 : https://wikidocs.net/8929 그리고 파이썬 응용프로그램으로 저장하도록 한다. time과 system이라는 모듈을 쓴다. time : 프로세서의 처리 시간을 설정할 수 있는 모듈 sys : 입력인자를 받아오는 역할 import time import sys print(sys.argv) print(sys.argv[1]) time.sleep(5) print('finish') 주요 참고자료 : https://dololak.tistor..

이전 게시물(붓꽃 학습, KNeighborsClassifier)과 이어집니다. 근데 뭔 내용이었는지 까먹음. from sklearn.neighbors import KNeighborsClassifier from sklearn import metrics model = KNeighborsClassifier(n_neighbors=1) model.fit(X_train, y_train) pre=model.predict(X_test) metrics.accuracy_score(pre, y_test) import matplotlib.pyplot as plt # 가지고 있는 데이터를 시각화하여 전반적인 느낌을 한눈에 본다 pd.plotting.scatter_matrix(iris_df, figsize=(15,15), mar..

사이킷런에 들어있는 붓꽃학습 자료를 사용합니다. from sklearn.datasets import load_iris iris = load.iris() import pandas as pd * 가지고 있는 데이터를 7 : 3 정도로 나눈다. 그중 7은 모듈 학습 데이터(X_train, y_train) 자료로 쓰고, 나머지 3은 학습한 모듈의 성능을 검사할 때 테스트자료로 쓴다(y_train, y_test) X = iris_df y = iris.target from sklearn.model_selection import train_test_split # train_test_split을 사용하면 언제나 X_train, X_test, y_train, y_test 순서로 결과값이 나온다. X_train, X_te..

import requests as req url = https://www.naver.com/ res = req.get(url) from bs4 import BeautifulSoup as bs soup = bs(res.text, 'html.parser') # res.text는 request 반환값을 있는 그대로 출력하지 않고 글자만 뽑아 쓴다는 뜻. 뒤에 있는 html.parser는 사용하는 parser의 종류이다. result_num = soup.findAll('span', class_='ah_r') result_word = soup.findAll('span', class_='ah_k') # 네이버 가서 실검 태그 보면 확인할 수 있는 내용 for g in range(20) : print(result_n..

크롤러라는 것은 사람처럼 웹에 접속해서 데이터를 받아오는 프로그램이다. requests는 파이썬에서 사용할 수 있는 웹 request 모듈이다. requests를 이용하여 요청하면, 서버가 응답해주는 값을 받아올 수 있다. import requests as rq url = "접속할 웹사이트 주소" res = rq.get(url) or res = rq.post(url) * get방식으로 요청을 보낼 때는 rq.get(url), post 방식으로 요청을 보낼 때는 rq.post(url)을 쓴다. * rq의 반환값은 String이다. 그런데 string 형태의 자료구조로는 select, select_one, find 등을 사용해서 tag 검색을 할 수 없다. 그래서 BeautifulSoup을 쓰고 parser..

▣ 문제정의 ▣ 데이터 수집 ▣ 데이터전처리 - 글자들을 숫자로(기계가 읽어들일 수 있게) 인코딩 - 스케일링(단위 바꿔보기), 칼럼정돈, 결측치 정리 등 ▣ 탐색적 데이터분석 - 모아놨던 데이터를 시각화하면서 데이터를 파악해본다 - 모든 칼럼을 다 쓰는게 아니라 어떤 칼럼들을 사용할지 정한다(=사용할 feature를 선택한다) ▣ 모델선택, 하이퍼 파라미터 조정 - 목적에 맞는 적절한 모델 선택 - 여러가지 모델을 만들어놓고 그중에 어떤 모델이 내 프로젝트에 적합한지 선별한다. ▣ 학습과 예측 - 학습: fit(X_train, y_train) - 예측: predict(X_test) - 내 데이터 중에서 70%는 train data, 나머지 30%는 test data로 잡아주는 것이 적절. - 70% 까..