- Dataset: 정제된 데이터와 그 데이터에 대한 label을 정리해 놓은 데이터 모음
    - Machine learning Algorithm: 기계학습 알고리즘

- train-images-idx3-ubyte.gz : train set 이미지
- train-labels-idx1-ubyte.gz : train set 레이블
- t10k-images-idx3-ubyte.gz : test set 이미지
- t10k-labels-idx1-ubyte.gz : test set 레이블 <br><br>

import gzip
import pickle
import numpy as np

# MNIST 데이터셋은 train, test 셋이 각각 image, label로 나누어 저장되어있는 4개의 파일로 구성
test_image_path = 't10k-images-idx3-ubyte.gz'
test_label_path = 't10k-labels-idx1-ubyte.gz'
train_label_path = 'train-labels-idx1-ubyte.gz'
train_image_path = 'train-images-idx3-ubyte.gz'
out_file_name = 'fashion-mnist.pkl.gz'

# train label / images 추출
with gzip.open(train_label_path, 'rb') as train_label_f:
    train_label = np.frombuffer(
            train_label_f.read(), dtype=np.uint8, offset=8).astype(np.int64)

with gzip.open(train_image_path, 'rb') as train_image_f:
    train_imgs = np.frombuffer(
            train_image_f.read(), dtype=np.uint8, offset=16).reshape(-1, 784).astype(np.float32)

# test label / images 추출
with gzip.open(test_label_path, 'rb') as test_label_f:
    test_label = np.frombuffer(test_label_f.read(), dtype=np.uint8, offset=8).astype(np.int64)

with gzip.open(test_image_path, 'rb') as test_image_f:
    test_imgs = np.frombuffer(
            test_image_f.read(), dtype=np.uint8, offset=16).reshape(-1, 784).astype(np.float32)

# 기존 60000개 training set에서 50000개는 train set으로 사용하고, 10000개는 valid set으로 활용
train_label, valid_label = train_label[:50000], train_label[50000:]
train_imgs, valid_imgs = train_imgs[:50000], train_imgs[50000:]

# train set, validati on set, test set을 튜플 자료형으로 저장
out_data = ((train_imgs, train_label),
            (valid_imgs, valid_label),
            (test_imgs, test_label))

# pickle file로 dataset 데이터 포맷 맞춰주기
with gzip.open(out_file_name, 'wb') as out_f:
    pickle.dump(out_data, out_f)

# entire script (숫자 Mnist)

# 오호 드디어 coding start!
# 이제부터 Brandi의 단아한 개발자, 저를 따라오시면 됩니다 :)
# 노트북 Block을 실행하는 방법은 Shift + Enter 입니다

from sagemaker import get_execution_role
role = get_execution_role()  # 초기에 설정해 뒀던 IAM role 가져오기
bucket = 'sagemaker-julie-test'  # 초기 단계에 만들었던 S3 Bucket 이름 적기

%%time
import pickle, gzip, numpy, urllib.request, json

# 여기서 잠깐, 생소한 라이브러리 설명을 드릴게요!
# pickle: python식 데이터 압축 포맷
# numpy: 수치 계산을 하기 위한 python package

# Load the dataset
urllib.request.urlretrieve("http://deeplearning.net/data/mnist/mnist.pkl.gz", "mnist.pkl.gz")
with gzip.open('mnist.pkl.gz', 'rb') as f:
    train_set, valid_set, test_set = pickle.load(f, encoding="latin1")

# matplotlib로 그리는 그림이 jupyter 노트북에 바로 보여줄 수 있도록 설정
%matplotlib inline
import matplotlib.pyplot as plt  # 도표나 그림을 그릴 수 있게 해주는 라이브러리
plt.rcParams["figure.figsize"] = (2, 10)  # 그림의 크기 지정

def show_digit(img, caption='', subplot=None):
    if subplot is None:
        _,(subplot) = plt.subplots(1,1)

    imgr = img.reshape((28, 28))
    subplot.axis('off')
    subplot.imshow(imgr, cmap='gray')
    plt.title(caption)

# train_set의 그림과[0] 데이터 이름[1]을 예시로 보여준다
show_digit(train_set[0][30], 'This is a {}'.format(train_set[1][30]))

# 학습을 하기 위해 학습 알고리즘 및 데이터 경로 설정!
from sagemaker import KMeans

data_location = 's3://{}/kmeans_highlevel_example/data'.format(bucket)
output_location = 's3://{}/kmeans_example/output'.format(bucket)

print('training data will be uploaded to: {}'.format(data_location))
print('training artifacts will be uploaded to: {}'.format(output_location))

kmeans = KMeans(role=role,
                train_instance_count=2,  # 장비 2대를 사용하여 학습하겠어요!
                train_instance_type='ml.c4.8xlarge',
                output_path=output_location,
                k=10,  # 아래 그림을 참고해 주세요!
                data_location=data_location)

%%time

# 학습 시작!
kmeans.fit(kmeans.record_set(train_set[0]))

%%time

# 모델을 만든 후 사용하기 위하여 배포하기
kmeans_predictor = kmeans.deploy(initial_instance_count=1,
                                instance_type='ml.m4.xlarge')

# valid_set에 30번째 sample을 테스트 해보기

result = kmeans_predictor.predict(valid_set[0][30:31])
print(result)

%%time

# vaild_set에 있는 0번부터 99번까지의 데이터로 cluster를 예측 해보자
result = kmeans_predictor.predict(valid_set[0][0:100])

# 예측 결과에 대한 cluster 정보를 수집
clusters = [r.label['closest_cluster'].float32_tensor.values[0] for r in result]

# 각 cluster별 예측된 이미지 출력
for cluster in range(10):
    print('\n\n\nCluster {}:'.format(int(cluster)))
    digits = [ img for l, img in zip(clusters, valid_set[0]) if int(l) == cluster ]
    height = ((len(digits)-1)//5)+1
    width = 5
    plt.rcParams["figure.figsize"] = (width,height)
    _, subplots = plt.subplots(height, width)
    subplots = numpy.ndarray.flatten(subplots)
    for subplot, image in zip(subplots, digits):
        show_digit(image, subplot=subplot)
    for subplot in subplots[len(digits):]:
        subplot.axis('off')

    plt.show()