TigerCow.Door


안녕하세요. 문범우입니다.

이번 포스팅에서는 파이썬 패키지를 배포하는 방법에 대해서 함께 살펴보도록 하겠습니다.



1. pip: 파이썬 패키지 관리자


파이썬 패키지를 배포하는 방법에 대해 설명드리기에 앞서 간단하게 pip, 파이썬 패키지 관리자에 대해 짚고 넘어가보겠습니다.

파이썬을 공부하고 어느정도 사용을 해본 분들이라면 자연스럽게 pip를 사용해 보셨을 것이라고 생각합니다.


가령, 데이터 분석을 위해서 주로 numpy나 pandas, 웹 개발을 할 때에는 django, flask 등을 이용하기 위해 아래와 같이 pip를 이용하여 필요한 라이브러리를 다운받아 사용하셨을 겁니다.


1
pip install <라이브러리 이름>
cs


이때 우리가 사용하는 pip는 무엇일까요?

pip란, Python Package Index(PyPI)라는 저장소에서 제공되는 파이썬 패키지 소프트웨어를 설치 및 관리하는 패키지 관리 시스템입니다.

즉 우리가 그 동안 pip를 통해 설치한 다양한 라이브러리(패키지)들은 모두 PyPI라는 곳에 저장되어 있으며 실제로 아래 PyPI사이트에서 검색을 통해 확인해볼 수 있습니다.


https://pypi.org/


그리고 위의 PyPI사이트에 일정한 템플릿을 맞추어 자신의 패키지를 어렵지 않게 등록할 수 있습니다.

별도의 승인과정이나 절차가 없으며 단순히 특정 파일들만 잘 셋팅하면 어렵지 않게 자신만의 라이브러리(패키지)를 등록하여, pip로 설치할 수 있게 되는 것 입니다.


자신이 구현한 알고리즘이나, 특정 기능을 하는 함수를 더 많은 사람들에게 공유하고, 기회가 된다면 피드백을 받아 보다 좋은 코드로 발전시키는 것은 언제나 중요하고 보람찬 일이라고 생각합니다.


그럼 이제, 어떻게 PyPI 사이트에 자신의 코드를 등록할 수 있는지 살펴보도록 하겠습니다.



2. 준비 단계


2-1. PyPI 회원가입


제일 먼저 PyPI에 회원가입을 진행합니다.

아래 사이트에서 우측 상단의 Register를 클릭하고 이름과 이메일, 비밀번호를 입력 후 이메일 인증만 진행하면 됩니다.

추후 패키지를 등록하고자 할 때 PyPI의 계정이 필요하니 미리 가입을 해두는 것을 추천드립니다.


https://pypi.org/



2-2. 패키지 이름 중복 확인


가입이 완료되었다면, 위의 사이트에서 search를 통해 자신이 등록하고자 하는 패키지의 이름의 있는지 확인합니다. 패키지 이름은 추후 사용해야 할 곳이 많으니 자신이 쓰고자 하는 패키지의 이름이 중복되지 않는지를 먼저 확인 후 이후 과정을 진행하시는 것이 편리합니다.

만약, 이름이 중복된다면 다양한 것들을 수정해야 할 수 있습니다.


저는 doorbw-test 라는 이름으로 패키지가 없는 것을 확인하였기에 해당 이름으로 패키지 생성 및 등록을 진행해보도록 하겠습니다.



2-3. 등록하고자 하는 파일(함수) 구현


또한 제가 등록하고자 하는 함수는 test_function()으로써 아래와 같이 코드를 작성하였습니다.


1
2
3
4
def test_function(input_str):
    print("Hello, I'm beomwoo.moon")
    print("Your input string is,",input_str)
    print("Bye!")
cs


위의 코드를 test.py라는 파일로 저장하였습니다.

추후 우리가 doorbw_test라는 이름으로 패키지를 등록하면, 위의 함수를 사용하기 위해서 doorbw-test를 pip로 설치한 후에 다음과 같이 호출해야 합니다.


(패키지 등록시 대시('-')가 아닌 언더바('_')를 사용해야 합니다.

파이썬에서 import할때 대시를 포함한 라이브러리를 호출하려면 다른 작업이 필요하기 때문입니다. 하지만 언더바를 사용하더라도 PyPI에서는 대시로 나타나니 혼동하지 않기 바랍니다.)


1
2
3
from doorbw_test import test
 
test.test_function("[pip deploy test]")
cs



우리가 등록하는 패키지 이름으로부터 test.py를 import하고 test안에 있는 test_function을 실행하는 모습입니다.



2-4. github repository 구성


마지막으로는 해당 코드를 공유할 github repository를 만들어 줍니다.

해당 과정은 필수는 아닙니다.

일반적으로 배포하고자 하는 패키지이름과 동일하게 github repository를 만들어주지만, 저는 설명을 위한 배포이기 때문에 repository 이름은 'pypi_deploy_test'로 진행하였습니다.



이제 위에서 준비한 내용들을 바탕으로 PyPI에 등록해보도록 하겠습니다.



3. 등록 단계


3-1. 폴더 구성


처음에도 말씀드렸듯이, PyPI에 패키지를 등록하려면 별도의 승인과정 같은 것은 없지만 일정한 템플릿을 구성해야 한다고 말씀드렸습니다.

먼저 패키지를 등록할 폴더를 만듭니다. 패키지를 등록할 폴더는 패키지 이름과 동일해야 합니다.

따라서 저같은 경우는 doorbw_test라는 폴더를 만들었으며, 해당 폴더안에 동일한 이름의 폴더를 하나 더 만들고 위에서 작성한 test.py파일을 넣어줍니다.

현재까지의 디렉토리 상태를 트리구조로 본다면 다음과 같습니다.


doorbw_test

   - doorbw_test

      - test.py



3-2. setup.py 파일 구성


위와 같은 상태에서 두번째 doorbw_test와 같은 경로상에 setup.py 파일을 만들고 아래와 같이 작성합니다.


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
from setuptools import setup, find_packages
 
setup(
    # 배포할 패키지의 이름을 적어줍니다. setup.py파일을 가지는 폴더 이름과 동일하게 합니다.
    name                = 'doorbw_test',
    # 배포할 패키지의 버전을 적어줍니다. 첫 등록이므로 0.1 또는 0.0.1을 사용합니다.
    version             = '0.1',
    # 배포할 패키지에 대한 설명을 작성합니다.
    description         = 'for explain about pypi deploy',
    # 배포하는 사람의 이름을 작성합니다.
    author              = 'beomwoo.moon',
    # 배포하는 사람의 메일주소를 작성합니다.
    author_email        = 'doorbw@outlook.com',
    # 배포하는 패키지의 url을 적어줍니다. 보통 github 링크를 적습니다.
    url                 = 'https://github.com/doorBW/pypi_deploy_test',
    # 배포하는 패키지의 다운로드 url을 적어줍니다.
    download_url        = 'https://github.com/doorBW/pypi_deploy_test/archive/master.zip',
    # 해당 패키지를 사용하기 위해 필요한 패키지를 적어줍니다. ex. install_requires= ['numpy', 'django']
    # 여기에 적어준 패키지는 현재 패키지를 install할때 함께 install됩니다.
    install_requires    =  [],
    # 등록하고자 하는 패키지를 적는 곳입니다.
    # 우리는 find_packages 라이브러리를 이용하기 때문에 아래와 같이 적어줍니다.
    # 만약 제외하고자 하는 파일이 있다면 exclude에 적어줍니다.
    packages            = find_packages(exclude = []),
    # 패키지의 키워드를 적습니다.
    keywords            = ['pypi deploy'],
    # 해당 패키지를 사용하기 위해 필요한 파이썬 버전을 적습니다.
    python_requires     = '>=3',
    # 파이썬 파일이 아닌 다른 파일을 포함시키고 싶다면 package_data에 포함시켜야 합니다.
    package_data        = {},
    # 위의 package_data에 대한 설정을 하였다면 zip_safe설정도 해주어야 합니다.
    zip_safe            = False,
    # PyPI에 등록될 메타 데이터를 설정합니다.
    # 이는 단순히 PyPI에 등록되는 메타 데이터일 뿐이고, 실제 빌드에는 영향을 주지 않습니다.
    classifiers         = [
        'Programming Language :: Python :: 3',
        'Programming Language :: Python :: 3.2',
        'Programming Language :: Python :: 3.3',
        'Programming Language :: Python :: 3.4',
        'Programming Language :: Python :: 3.5',
        'Programming Language :: Python :: 3.6',
        'Programming Language :: Python :: 3.7',
    ],
)
cs


각각에 대한 설명은 주석으로 달아두었습니다.



3-3. __init__.py / README.md /

setup.cfg / .gitignore / git init


이번에는 5개의 작업을 진행합니다.


먼저 우리가 앞에서 만들었던 test.py 파일과 같은 경로에 __init__.py 파일을 만들어 줍니다.

해당 파일 안에는 비워두셔도 되고 단순히 print문을 입력하셔도 됩니다.


이후 setup.py 파일과 동일한 경로에 README.md 파일을 만들어 패키지에 대한 간략한 설명을 작성해 줍니다.


1
2
3
4
5
# HELLO
This is just explain for PyPI deploy  
 
doorbw@outlook.com  
 
cs


위와 같이 README.md를 작성하였다면 동일한 경로에 setup.cfg 파일을 만들어 줍니다.


1
2
[metadata]
description-file = README.md
cs


위와 같이 setup.cfg를 만들어 주었다면 github등록 전 마지막으로 .gitignore파일을 아래와 같이 만들어 줍니다.


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
# vscode
.vscode/
 
# Byte-compiled / optimized / DLL files
__pycache__/
*.py[cod]
*$py.class
 
# C extensions
*.so
 
# Distribution / packaging
.Python
build/
develop-eggs/
dist/
downloads/
eggs/
.eggs/
lib/
lib64/
parts/
sdist/
var/
wheels/
pip-wheel-metadata/
share/python-wheels/
*.egg-info/
.installed.cfg
*.egg
MANIFEST
 
# PyInstaller
#  Usually these files are written by a python script from a template
#  before PyInstaller builds the exe, so as to inject date/other infos into it.
*.manifest
*.spec
 
# Installer logs
pip-log.txt
pip-delete-this-directory.txt
 
# Unit test / coverage reports
htmlcov/
.tox/
.nox/
.coverage
.coverage.*
.cache
nosetests.xml
coverage.xml
*.cover
.hypothesis/
.pytest_cache/
 
# Translations
*.mo
*.pot
 
# Django stuff:
*.log
local_settings.py
db.sqlite3
 
# Flask stuff:
instance/
.webassets-cache
 
# Scrapy stuff:
.scrapy
 
# Sphinx documentation
docs/_build/
 
# PyBuilder
target/
 
# Jupyter Notebook
.ipynb_checkpoints
 
# IPython
profile_default/
ipython_config.py
 
# pyenv
.python-version
 
# celery beat schedule file
celerybeat-schedule
 
# SageMath parsed files
*.sage.py
 
# Environments
.env
.venv
env/
venv/
ENV/
env.bak/
venv.bak/
 
# Spyder project settings
.spyderproject
.spyproject
 
# Rope project settings
.ropeproject
 
# mkdocs documentation
/site
 
# mypy
.mypy_cache/
.dmypy.json
dmypy.json
 
# Pyre type checker
.pyre/
cs


이제 해당 폴더를 앞에서 만든 github repository에 등록시켜주도록 합시다.

현재까지의 디렉토리 상태는 아래의 트리구조와 같습니다.


doorbw_test

   - doorbw_test

      - __init__.py

      - test.py

   - .gitignore

   - README.md

   - setup.cfg

   - setup.py


cmd또는 터미널에서 해당 폴더를 이전에 만든 github repository에 올려줍니다.




3-4. 필요한 라이브러리 설치 및 빌드


이제 우리가 만든 패키지를 배포하기 위한 마지막 작업으로 필요한 라이브러리를 설치합니다.

우선 setup.py파일에서 사용한 setuptools,

그리고 빌드시에 사용할 wheel,

배포시에 사용할 twine

총 3개를 아래의 명령어로 설치합니다.


1
pip install setuptools wheel twine
cs


이제 앞에서 구성한 setup.py을 통해 패키지 빌드를 시작합니다.

setup.py파일이 있는 경로상에서 아래와 같이 명령어를 입력합니다.


1
python setup.py bdist_wheel
cs


위의 명령어를 입력하고 나면 폴더에 build, dist, <자신의 패키지이름>.egg-info 이름의 3개의 폴더가 생성되었을 것입니다.

이 중에서 dist 폴더 내부에 있는 파일이름을 확장자까지 모두 복사합니다.



3-5. 등록하기


dist 폴더 내부에 있는 확장자를 포함한 파일 이름을 복사하셨다면 아래와 같이 명령어를 실행합니다.


1
2
# dist 폴더 아래에 있는 파일명이 doorbw_test-0.1-py3-none-any.whl 일때,
twine upload dist/doorbw_test-0.1-py3-none-any.whl
cs


위의 명령어를 입력하면 자신의 이름을 입력하라고 나옵니다.

이때 제일 처음에 가입했던 PyPI의 이름을 입력하시고 이어서 비밀번호를 입력하시면 됩니다.



위와 같이 결과가 출력된다면 정상적으로 등록된 것 입니다.

이제 PyPI에 가서 자신의 계정으로 로그인 후에 자신이 등록한 패키지를 확인할 수 있습니다.


이후 아래와 같이 실제로 자신이 등록한 패키지를 pip install로 다운받아서 사용하실 수 있습니다.





추가적으로 문의사항이 있으시거나 잘 해결되지 않는 점이 있다면

주저하지 마시고 언제든지 이메일 또는 카카오톡으로 연락주시면 빠르게 도움드리도록 하겠습니다.

감사합니다.

블로그 이미지

Tigercow.Door

Web Programming / Back-end / Database / AI / Algorithm / DeepLearning / etc

댓글을 달아 주세요

파이썬 클린 코드

[해당 리뷰는 터닝포인트 출판사에서 서적을 지원받고 작성하게 되었습니다.]

파이썬 클린코드

기초적인 파이썬 내용을 넘어, 보다 전문적인 파이썬 개발자가 되고자 하는 분

 

안녕하세요. 문범우입니다.

최근 개인적인 사정으로 인해 블로그에 글을 많이 못올리는데,

오랜만에 IT 도서리뷰로 포스팅을 하게 되었습니다.

이번에 소개해드릴 서적은, 터닝포인트 출판사에서 나온 '파이썬 클린코드'라는 서적입니다.

그럼 간단하게 나마 해당 책에 대한 소개를 드려보도록 하겠습니다.

 

누가 읽으면 좋을까?

사실 이 책에 대해서 이야기를 할 때, 대상 독자에 대한 고려가 제일 필요하다고 생각됩니다.

솔직하게 말씀드려서 아직 파이썬이라는 프로그래밍 언어가 낯설거나, 처음이신분들, 유지보수에 대해서 아직 정확히 파악하지 못했거나 소프트웨어 공학에 대해서 전혀 알지 못하시는 분들에게는 절대 추천드리지 않습니다.

그런 분들께서는 오히려 책의 내용이 지루할 뿐만 아니라, 하나하나 이해하기도 힘들 수 있을 것이라 생각됩니다.

반대로, 파이썬 언어에 대해서 익숙하신 분들, 팀 프로젝트를 하며 코드의 유지보수성에 대해서 고민하신 분들에게는 적극적으로 추천드리고자 하는 책 입니다.

 

소프트웨어 공학의 중요 개념과 파이썬의 연결고리

사실 저는 소프트웨어 공학에 대해서 학습하면서, 당연히 이론적인 내용도 중요했지만 실제로 코드에서 그것들이 어떻게 반영되는지를 무척이나 궁금해했습니다. 하지만 대학에서 이에 대해서 학습할 때에는 자바(Java)언어에 대해 한정적으로 배울 수 있었습니다.

물론 해당 내용이 이론적으로 잘 이해하고 공부한다면 언어는 단순히 도구적으로 사용될 뿐이지만, 개인적으로 파이썬을 좋아하는 개발자로써 파이썬에서의 소프트웨어 공학의 이론들은, 개념들은 어떻게 적용되고 있을까, 실제로 파이썬 언어만의 특징을 어떻게 더 살려낼 수 있을까? 에 대해서 고민한 적이 많습니다.

그리고 이번에 소개시켜드리는 책에서는 그러한 부분들을 많이 해소시킬 수 있었습니다.

책의 목차에서도 그렇듯, '파이썬 클린코드' 서적에서는 우리가 그동안 배웠던 소프트웨어 공학의 내용들과 파이썬 언어만의 특징을 잘 살려내서 설명해주고 있습니다.

 

아쉬웠지만 극복할 수 있는 키워드 설명

책을 읽으면서 아쉬웠던 점은, 가끔 특정 키워드나 개념에 대해 충분한 설명없이 넘어가는 점들이 있습니다.

하지만 이를 '극복할 수 있는' 이라고 말씀드리는 것은, 그러한 것들이 엄청나게 많다거나, 그러한 것들 때문에 다른 내용이 읽히지 않는 정도는 아니기 때문입니다.

오히려 저는 책의 중간중간 포스트잍을 붙여가면서 모르는 키워드에 대해서 정리하고, 그것을 기반으로 해당 챕터의 내용을 다시 상기할 수 있게끔 하는 방법을 사용했는데, 더 공부한 느낌도 나고 정리도 잘 되는 것 같아서 내심 뿌듯했습니다 :)

 


이렇게 '파이썬 클린코드' 서적에 대해 개인적으로 생각하는 특징을 바탕으로 짧게나마 정리해보았습니다.

사실 무엇보다 개인적으로는, 최근 파이썬 언어가 핫해지면서 기초적인 책들이 많이 나오고 있는데, 그 와중에 오랜만에 적당히 깊이있고 잘 정리되어 있는 책이 나와서 너무나 반갑고 재미있게 읽은 책인 것 같습니다.

 

자신이 파이썬 언어에 대해서 보다 깊이 공부하고 싶고, 어느정도 자신이 있다면 꼭 한번 읽어보시기를 적극적으로 추천드립니다.

블로그 이미지

Tigercow.Door

Web Programming / Back-end / Database / AI / Algorithm / DeepLearning / etc

댓글을 달아 주세요


안녕하세요. 문범우입니다.

오랜만에 파이썬 관련 내용을 포스팅하게 되었습니다.

최근 자바 언어에 대해 다시 공부하면서 멀티 쓰레딩 개념을 학습중인데, 파이썬에서 해당 내용을 다뤄보지 않은 것 같아 간략하게나마 공부하고 이를 정리해보았습니다.


즉, 이번 글에서는 파이썬에서의 멀티 프로세싱, 멀티 쓰레딩에 대해서 알아보도록 하겠습니다.



글에 앞서서, 멀티 프로세싱, 멀티 쓰레딩 등, 동시성 프로그래밍에 대한 개념적인 내용은 아래 글을 참고하시면 되겠습니다.

https://doorbw.tistory.com/26


먼저 전체적인 코드입니다.


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
from functools import partial 
from threading import Thread
import multiprocessing
import time
 
def singleCount(cnt,name):
    for i in range(1,10000001):
        cnt += 1
        if(i%2500000 == 0):
            print(name,":",i)
 
lists = ['1','2','3','4']
# single process start
cnt = 0
print(" # # SINGLE PROCESSING # # ")
start_time = time.time()
for each in lists:
    singleCount(cnt,each)
print("SINGLE PROCESSING TIME : %s\n" %(time.time()-start_time))
 
# multi process start
cnt = 0
print(" # # MULTI PROCESSING # # ")
start_time = time.time()
pool = multiprocessing.Pool(processes=4)
func = partial(singleCount, cnt)
pool.map(func, lists)
pool.close()
pool.join()
print("MULTI PROCESSING TIME : %s\n" %(time.time()-start_time))
 
#multi threading start
cnt = 0
print(" # # MULTI THREADING # # ")
start_time = time.time()
th1 = Thread(target=singleCount, args=(cnt,"1"))
th1.start()
th1.join()
th2 = Thread(target=singleCount, args=(cnt,"2"))
th2.start()
th2.join()
th3 = Thread(target=singleCount, args=(cnt,"3"))
th3.start()
th3.join()
th4 = Thread(target=singleCount, args=(cnt,"4"))
th4.start()
th4.join()
print("MULTI THREADING TIME : %s\n" %(time.time()-start_time))
 
cs


코드에서는 싱글 프로세싱, 멀티 프로세싱, 멀티 쓰레딩 총 3개의 로직이 구현되어 있으며 이에 대한 결과는 아래와 같습니다.


* 싱글 프로세싱


* 멀티 프로세싱


* 멀티 쓰레딩


위의 결과를 보시면 사실상 싱글 프로세싱과 멀티 쓰레딩의 시간차이는 크게 없고, 멀티 프로세싱에서만 시간 효율이 존재함을 알 수 있습니다.


파이썬에서는 GIL(Global Interpreter Lock)이라는 동작때문에 사실상 여러개의 스레드가 동일한 자원에 대해 접근하지 못합니다.

즉, 우리가 기대한 것과 달리 하나의 스레드가 종료함에 따라 다른 스레드가 진행되는 것이죠. 이러한 GIL때문에 오히려 멀티 쓰레딩이 싱글 쓰레딩보다 I/O작업이 많아 짐에 따라 시간소요가 커질 수 있기도 합니다.

이에 대해 보다 자세한 내용은 아래 링크에서 확인하실 수 있습니다.

https://medium.com/@mjhans83/python-gil-f940eac0bef9


그리고, 멀티 프로세싱은 개념적으로 공부한 것과 같이 다수의 프로세스를 띄워 작업을 처리하기 때문에 당연히 싱글 프로세싱보다 처리 시간이 단축되는 것을 볼 수 있습니다.



오랜만에 다시금 동시성 프로그래밍 개념들에 대해 공부하다보니 또 헷갈리는 내용들과 질문들이 생기게 되었습니다..

위의 글에서 설명이 부족한 이유는 아마 아직 해결되지 못한 궁금증과 질문들 때문일겁니다.. 따로 위에는 적어두지 않았지만 추후에 보다 깊이 이해하게 된다면 한번더 제대로 정리하고 싶어지네요 :-(


잘못된 점이나 궁금하신 점들 언제든지 연락주시면 저도 많이 부족하지만 같이 이야기해보면서 답을 찾아나가면 좋을 것 같습니다 :)

블로그 이미지

Tigercow.Door

Web Programming / Back-end / Database / AI / Algorithm / DeepLearning / etc

댓글을 달아 주세요

 

안녕하세요. 문범우입니다.

최근 파이썬을 활용할 일이 많이 없었는데, 엊그제 문득 필요한게 생각나서 후다닥 파이썬으로 만들어보았습니다.


뭐라고 이름을 지어야할지 모르겠는데..

많은 분들도 만들어서 사용하시기도 하는 것으로 알고 있습니다.

제가 자주 보는 커뮤니티에서의 특정 게시판 상위 n개에 대해서 크롤링하여 링크를 포함한 헤드라인만 정해진 시각에 제 메일로 보내는 프로그램입니다.


저는 OKKY라는 커뮤니티에서 스터디, 뉴스, 행사에 관련된 3개 게시판에 대해 상위 5개 또는 3개의 글을 정해진 시각(오전, 점심, 오후)에 메일로 보내도록 하였습니다.


메일 내용을 더 꾸밀 수도 있겠지만..

일단은 심플하게 아래와 같이 메일이 전송됩니다 :)




실제로 이렇게 해두고 나니, 정해진 시각에 한번쯤 더 쳐다보게 되고 요새 바빠서 다양한 행사에 대해 관심가지지 못하고 있는데 이를 보완할 수 있을 것 같다는 생각이 듭니다.


관련 코드는 github에 올려두어 아래 링크에서 확인해보실 수 있습니다.


https://github.com/doorBW/event_crawl


코드에서도 확인하실 수 있으며, 사용된 내용들은 크게


1. requests와 bs4를 이용한 웹 크롤링

2. SMTP 서버를 통한 메일 보내기

3. crontab 활용하여 일정시간에 쉘스크립트 실행시키기


입니다. 각각에 대해서는 구글에 검색해보시면 다양한 자료를 찾아보실 수 있으니 추가적인 설명은 접어두도록 하겠습니다.


코드가 깔끔할지는 모르겠으나, 필요하신분들 참고하셔도 될 것 같습니다.

추가적으로 궁금한 점등의 문의사항은 언제든 댓글이나 카톡, 이메일로 연락주세요 :)

블로그 이미지

Tigercow.Door

Web Programming / Back-end / Database / AI / Algorithm / DeepLearning / etc

댓글을 달아 주세요

안녕하세요. 문범우입니다.

이번에 소개해드릴 알고리즘 문제는, 2017년 카카오톡 블라인드테스트 1차 코딩시험에서 나왔던 문제중 난이도가 제일 낮다는 소개된 '비밀지도' 문제입니다.


해당 문제는 프로그래머스를 통해, 아래 주소에서 만나보실 수 있습니다.

https://programmers.co.kr/learn/courses/30/lessons/17681?language=python3


난이도가 가장 낮다고 소개된 만큼, 문제자체도 간단하고 풀이도 어렵지 않습니다.

따라서 해당 문제는 추가적인 설명대신 코드만 첨부해드리도록 하겠습니다.

추가적으로 궁금한 사항이 있으시면 언제든지 댓글 및 카카오톡이나 이메일을 통해서 연락주시면 바로 답변드리도록 하겠습니다.


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
def solution(n, arr1, arr2):
    answer = []
    decode_arr1 = []
    decode_arr2 = []
    tmp_str = ''
    tmp_answer = ''
    for i in arr1:
        tmp_str = str(bin(i))[2:]
        while(len(tmp_str) < n):
            tmp_str = '0'+tmp_str
        tmp_str = tmp_str.replace('0',' ')
        tmp_str = tmp_str.replace('1','#')
        decode_arr1.append(tmp_str)
    for i in arr2:
        tmp_str = str(bin(i))[2:]
        while(len(tmp_str) < n):
            tmp_str = '0'+tmp_str
        tmp_str = tmp_str.replace('0',' ')
        tmp_str = tmp_str.replace('1','#')
        decode_arr2.append(tmp_str)
    
    for i in range(n):
        for j in range(n):
            if (decode_arr1[i][j] == '#'or (decode_arr2[i][j] == '#'):
                tmp_answer += '#'
            else:
                tmp_answer += ' '
        answer.append(tmp_answer)
        tmp_answer = ''
    return answer
cs


블로그 이미지

Tigercow.Door

Web Programming / Back-end / Database / AI / Algorithm / DeepLearning / etc

댓글을 달아 주세요

안녕하세요. 문범우입니다.

요새 많은 기업들이 공채시즌이 다가와서 그런지, 평소보다 알고리즘 문제풀이에 대한 학원이나 온라인강의에 대한 광고가 많아진 것 같네요.


요새보면 대부분의 기업에서 SW인원들은 다른 시험보다 코딩테스트를 중요시하고 있고 많은 사람들이 제일 까다로워 하는 부분인 것 같습니다.


요새 개인적으로 공부하는 기계학습이나, 리액트네이티브때문에 블로그활동을 자주못하고 있는데, 오랜만에 프로그래머스에 들어갔다가 2017년 카카오톡 블라인드테스트 1차 코딩문제를 공개해두었길래 이번주에 하나씩 풀어보려합니다.


처음에는 쉬운문제부터 풀어보려했는데.. 나중에 확인해보니 이번에 소개해드릴 '추석트래픽' 문제가 가장 어려웠다고 하네요.


프로그래머스에서 제공하는 작년 카카오톡 코딩테스트 문제는 아래에서 만나보실수 있으며,

https://programmers.co.kr/learn/challenges


이에 대한 전체적인 해설은 아래에서 만나보실수 있습니다.

http://tech.kakao.com/2017/09/27/kakao-blind-recruitment-round-1/



오늘 소개해드릴 '추석트래픽' 문제의 정답률이 약18%라고 하지만, 개인적인 생각으로는 2017 카카오톡 블라인드테스트 1차 코딩테스트에서 총 5시간이 주어졌기때문에 어려웠다기보단 시간이 부족했다는 이야기가 많았을 듯 합니다.


문제에 대한 전체적인 안내나, 난이도정도등에 대해서는 위에 소개해드린 해설에서 확인해보시길 바랍니다.



1. 추석 트래픽


추석 트래픽 문제에 대한 설명은 따로 진행하지 않겠습니다.

제가 말로 주구장창 설명하는 것보다 직접 문제와 예제를 보시는게 이해가 빠를 것 같아서요 :'(


특별히, 예제3번에서 하나의 그림을 보여주고 있습니다.

x축을 시간으로 두고 각각의 트래픽을 bar형태로 표시해두었죠.

그리고 1초라는 시간범위(구간)를 정해서, 가장 많은 트래픽이 포함되는 구간에서의 트래픽 개수를 찾아내고 있습니다.


해당 그림을 보면서 어디서 많이 낯익다 싶었습니다.

바로, An activity-selection problem 문제입니다.

작년 알고리즘수업을 들으면서 봤던 문제인데, 잘 모르시는 분들은 한번 쯤 찾아보셔도 좋을 듯 합니다.


먼저 저는 입력되는 lines 를 하나씩 가져와서 datetime 객체로 바꾸고 이를 end_datetime으로 두었으며 lines에서 주는 실행시간을 가져와서 실행시간의 초단위 값 processing_s 와, 실행시간의 micro second단위 값 processing_ms 를 만들었습니다.

그리고 이 세개의 값를 이용해서, 트래픽의 시작시간을 구해 datetime객체로 하여 start_datetime으로 두었습니다.


이들을 이용해 같은 트래픽끼리 하나의 리스트로 묶어서, start_end_datetime 리스트에 저장하였고, 추후 answer를 탐색하기 위해 sorted_time 리스트를 만들어 start_datetime과 end_datetime의 모든 요소를 같이 저장하였습니다.

그리고 모든 lines에 대한 처리가 끝나면 sorted_time 리스트는 sort함수를 통해 오름차순으로 정렬합니다.


즉, 예제 1번과 같이 입력이 다음과 같다면,

입력: [
2016-09-15 01:00:04.001 2.0s,
2016-09-15 01:00:07.000 2s
]


start_end_datetime = [[ '2016-09-15 01:00:02.002000', '2016-09-15 01:00:04.001000' ], [ '2016-09-15 01:00:05.001', '2016-09-15 01:00:07.000']]


sorted_time = [ '2016-09-15 01:00:02.002000', '2016-09-15 01:00:04.001000', '2016-09-15 01:00:05.001', '2016-09-15 01:00:07.000']


과 같이 만들어지게 됩니다.


이제 문제에서 원하는 답을 찾을 차례입니다.

여기서 저도 한번 헤매고, 1000 micro second마다 탐색하는 방법으로 시도해봤더니 역시나 시간초과에 걸렸었습니다....


하지만 조금 더 생각해보면, 구하고자 하는 초당 최대 처리량이 변하는 순간은 단지 어떤 트래픽의 시작 또는 종료 시점뿐 입니다.

즉, 위에서 만들어두었던 sorted_time 리스트에 있는 시간에서만 초당 최대 처리량의 변화가 발생합니다.

따라서 우리는 sorted_time 리스트를 범위로 for문을 돌리면 되고, sorted_time 리스트에서 꺼낸 하나의 요소를 compare_time으로 두었고, 여기에 1초를 더한 시간을 compare_time_one으로 두었습니다.

그리고 start_end_datetime에서 하나씩 꺼내어 compare_time과 compare_time_one이라는 범위에 해당 트래픽이 속하여있는지를 탐색하고 각각의 탐색에 따른 최대값을 찾아 정답으로 반환하면 됩니다.


설명이 잘 된지는 모르겠으나, 실제로 코드를 보시면서 이해해보시면 잘 이해할 수 있을 것이라고 생각됩니다.


전체적인 python 코드는 다음과 같습니다.


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
import datetime
 
def solution(lines):
    start_end_time = []
    sorted_time = []
    tmp_answer = 0
    answer = tmp_answer
    for line in lines:
        split_line = line.split()
        split_day = split_line[0].split('-')
        split_time = split_line[1].split(':')
        split_s = split_time[2].split('.')
 
        Y = int(split_day[0]); M = int(split_day[1]); D = int(split_day[2])
        h = int(split_time[0]); m = int(split_time[1])
        s = int(split_s[0]); ms = int(split_s[1])*1000
        
        end_datetime = datetime.datetime(Y,M,D,h,m,s,ms)
        
        split_processing = split_line[2][:-1].split('.')
        processing_s = int(split_processing[0])
        if len(split_processing) == 1:
            start_datetime = end_datetime - datetime.timedelta(seconds=processing_s)
        else:
            processing_ms = int(split_processing[1]) * 1000
            start_datetime = end_datetime - datetime.timedelta(seconds=processing_s) - datetime.timedelta(microseconds=processing_ms)
        start_datetime = start_datetime + datetime.timedelta(microseconds=1000)
        start_end_time.append([start_datetime,end_datetime])
        sorted_time.append(start_datetime)
        sorted_time.append(end_datetime)
    sorted_time.sort()
    
    for compare_time in sorted_time:
        compare_time_one = compare_time + datetime.timedelta(seconds=1)
        if compare_time >= start_end_time[-1][1]:
            break;
        for each in start_end_time:
            if (compare_time <= each[0])and(each[0< compare_time_one):
                tmp_answer += 1
            elif (compare_time <= each[1])and(each[1< compare_time_one):
                tmp_answer += 1
            elif (each[0<= compare_time)and(compare_time_one <= each[1]):
                tmp_answer += 1
        if answer < tmp_answer:
            answer = tmp_answer
        tmp_answer = 0
    if answer == 0:
        answer += 1
    return answer
cs


만약 코드에 대해 궁금한 사항이나, 보다 효율적인 방법에 대해서 말씀해주실 점이 있다면 언제든지 댓글 또는 카카오톡, 이메일을 이용해서 말씀해주세요 :)

블로그 이미지

Tigercow.Door

Web Programming / Back-end / Database / AI / Algorithm / DeepLearning / etc

댓글을 달아 주세요

  • 잘보았습니다 2019.04.02 16:07  댓글주소  수정/삭제  댓글쓰기

    안녕하세요. 코드 잘 보았습니다. 아무리 해도 해결이 되지 않아서1초 구간과 line(lines의 element)을 비교할 때 막혀서 못 풀고 있었는데 선생님 코드를 보고 제가 뭘 잘못 생각했는지 알았어요. 아래는 제 코드입니다.

    from datetime import datetime, timedelta

    def convert_lines(lines):
    result = []
    for line in lines:
    line = line.split()
    end = ' '.join(line[:-1])
    end = datetime.strptime(end, '%Y-%m-%d %H:%M:%S.%f')
    duration = timedelta(seconds=float(line[-1][:-1]))
    start = end - duration + timedelta(milliseconds=1)
    result.append([start, end])
    return result

    def solution(lines):
    lines = convert_lines(lines)
    times = [x for line in lines for x in line]
    times.sort()
    max_count = 0
    for time in times:
    count = 0
    for line in lines:
    if line[0] <= time + timedelta(seconds=0.999) and line[1] >= time:
    count += 1
    if count > max_count:
    max_count = count
    return max_count

    • Favicon of https://doorbw.tistory.com BlogIcon Tigercow.Door 2019.04.03 16:29 신고  댓글주소  수정/삭제

      도움이 되었다니 뿌듯합니다^^
      현재 외부에 있어서 코드는 자세히 살펴보지 못하네요. 더 좋은 글들로 도움될 수 있도록 노력하겠습니다 :)


안녕하세요. 문범우입니다.


최근 멋쟁이 사자처럼 6기 운영진으로 활동하며, 지난 8월말에 해커톤을 진행하였습니다.

저는 방학간 파이썬, 장고 스터디를 진행하며 함께 공부한 친구들과 장고를 활용한 공유일기장 플랫폼 웹사이트를 개발하였습니다.


aws ec2 프리티어을 이용하여 배포까지 완료하였으나, 실제로 서비스 론칭등의 계획은 없습니다.

장고를 직접 활용해보고 6기 인원들에게는 배포까지 해보는 경험으로써의 토이 프로젝트였습니다.


활용된 스택은 다음과 같습니다.


python: 3.6.5


django: 2.0


postgresql: 10.4



해당 프로젝트에서 저는, 프로젝트 전체 기획 및 진행을 담당하며 세부적으로는 데이터베이스 설계 및 구축, 교환일기장 기능 개발을 담당하였습니다.



- 서비스 소개


카카오톡 소셜 로그인



장고를 활용한 공유일기장 플랫폼에서는 카카오톡 소셜로그인을 통해 누구나 쉽게 서비스를 이용할 수 있도록 개발하였습니다.



메인화면 달력 및 작성한 일기 확인하기


사용자는 메인화면에서 달력을 확인할 수 있고, 그 전에 작성한 일기들은 해당 요일에 제목이 표시됩니다. 제목을 누르면 해당 일기로 이동할 수 있습니다.



일기 작성하기


사용자는 일기 쓰기 탭을 눌러서 일기를 작성할 수 있습니다.

제목, 작성할 교환일기장, 감정, 날씨, 사진, 내용을 입력합니다.

하나라도 작성되지 않을시에는 저장되지 않고 빈칸을 알려줍니다.



교환일기장


교환일기장에서는 개인이 작성한 일기 뿐아니라 다른 사람의 일기를 확인할 수 있습니다. 관심사가 같거나, 친구들끼리 함께 일기를 작성하고 싶을때는 교환일기장을 만들거나, 참여하여 함께 일기를 작성할 수 있습니다.



이 외에도 일기를 보관할 수 있는 '뜯어가기' 기능과 댓글기능 등을 구현하였습니다.



배포된 프로젝트의 모든 코드는 아래 깃헙에서 확인하실 수 있습니다.

https://github.com/doorBW/LAN-Diary


이 외에도 추가적인 질문등은 언제든지 댓글 및 이메일, 카카오톡을 이용해주세요 :)

블로그 이미지

Tigercow.Door

Web Programming / Back-end / Database / AI / Algorithm / DeepLearning / etc

댓글을 달아 주세요


안녕하세요.

이번 포스팅에서는 django에서 admin 페이지를 사용해보도록 하겠습니다.



1. Admin 계정 만들기


먼저 우리는 지난 포스팅까지해서 django와 postgresql의 django_test라는 데이터베이스를 만들어서 연결하였습니다.

그리고 django에서 post라는 모델을 생성하여 migrate 해줌으로써 실제 django_test라는 데이터베이스 내부에 blog_post라는 테이블이 생성된 것을 확인하였습니다.


django에서는 model에 대한 data를 간편하게 확인하고 조작할 수 있는 admin 페이지를 제공해주는데, 이때 admin페이지에는 아무나 접근 가능한 것이 아니고, 서버개발 과정에서 admin 계정을 직접 만들어주어야 합니다.

admin 계정을 만들기 위해서 manage.py 파일이 있는 위치에서 아래 명령어를 입력해줍니다.


python manage.py createsuperuser



명령어를 입력하면 위와 같이 admin 계정에 대한 정보를 입력할 수 있습니다.

여기서 입력한 Username과 password를 통해 admin 페이지에 접근가능합니다. 



2. Admin 페이지 사용하기


이렇게 admin 계정을 만들었다면 이제 서버를 돌려서 주소의 가장 끝에 /admin 을 붙여 admin 페이지에 접근해보겠습니다.



이렇게 접근하면, 아래와 같은 화면이 나타나게 됩니다.



이제 위에서 만들었던 admin 계정의 username과 password를 입력해서 로그인을 합니다.


그런데 로그인을 하고나서 확인을 해보아도 우리가 이전에 만들었던 post와 관련된 것은 찾아볼 수 없습니다.

우리가 마이그레이션을 통해 만들었던 post 모델을 admin 페이지에서 보기 위해서는 이를 admin 페이지에 등록을 해주어야 합니다.


우리가 만든 blog라는 app의 폴더로 들어가보면 admin.py 라는 파일이 있습니다. 해당 파일을 켜서 아래와 같이 작성해줍니다.


1
2
3
4
5
from django.contrib import admin
from .models import Post
# Register your models here.
 
admin.site.register(Post)
cs


그리고 해당 파일을 저장한 뒤에 다시 admin 페이지를 새로고침 해보면,



위와 같이 blog 라는 app에 Posts 라는 것이 새로 생긴것을 확인할 수 있습니다.

실제로 저것을 통해 Posts 라는 테이블에 저장된 값들을 확인할 수 있으며 우리가 직접 데이터를 추가할 수도 있습니다.


이를 직접 확인해보기 위해서, admin 페이지에서 데이터를 입력해보고 postgresql에서 확인해보도록 하겠습니다.


admin 사이트에서 Posts 우측에 있는 Add 버튼을 눌러서 데이터를 추가해보겠습니다.



위와 같이 제목과 내용을 입력하고 Save 버튼을 눌러 데이터를 저장합니다.


그럼 실제로 admin 페이지에서 데이터가 성공적으로 입력되었다는 문구가 뜨고, Posts object도 하나 생긴것을 볼 수 있습니다.


이제 postgresql에서 확인해보도록 하겠습니다.



간단한 SQL문장으로 해당 테이블을 확인해보니 정상적으로 데이터가 입력된 것을 볼 수 있습니다.



이렇게 해서 admin 페이지 사용에 대한 간략한 설명을 진행해보았습니다.

추후에 지속될 포스팅 내용으로는, 개발된 django 어플리케이션을 aws를 이용하여 배포하는 방법을 진행해보도록 할 예정입니다.

블로그 이미지

Tigercow.Door

Web Programming / Back-end / Database / AI / Algorithm / DeepLearning / etc

댓글을 달아 주세요


안녕하세요. 문범우입니다.

이번 포스팅에서는 django에서 첫화면을 만들어보도록 하겠습니다.

먼저 우리가 만들어볼 전체적인 그림은 MVC패턴을 이용하여 간단한 블로그를 만들어 보는 것 입니다.

글을 작성하고 이것이 데이터베이스에 저장되고, 글을 삭제하거나 그에 대한 댓글을 다는 등의 기능을 구현해보도록 할 것 입니다.

먼저 이번 포스팅에서는 위에서 말씀드린 것과 같이 간단하게 첫화면을 만들어보도록 하겠습니다.


1. App 만들기


먼저 우리는 지난 포스팅을 통해서 start_django라는 프로젝트를 만들었습니다.

장고에서는 프로젝트 내부에 여러개의 app이 존재하면서 여러개의 기능을 구현할 수 있습니다.


먼저 우리는 blog라는 app을 만들어 보도록 하겠습니다.


터미널(윈도우의 경우 cmd창)을 열어서 지난 포스트에서 만든 프로젝트까지 이동합니다.

그리고 아래의 명령어를 입력합니다.


python manage.py startapp blog



그럼 위와 같이 start_django라는 우리의 프로젝트 폴더안에 blog라는 폴더가 새로 생긴 것을 확인할 수 있습니다.

현재 명령어 창이 위치한 start_django 폴더는 프로젝트의 기본 폴더라고 생각하시면 되고, 이 내부에 blog라는 app이 존재하며, 또 존재하는 start_django 폴더는 프로젝트 전체에 대한 설정 파일들이 담겨 있다고 생각하시면 됩니다.



2. 첫번째 화면 만들기


그럼 첫번째화면을 만들기 위해서 먼저 url지정을 진행해보도록 하겠습니다.

에디터를 통해 start_django > start_django > urls.py 파일을 열어봅니다.



위와 같이 매우 긴 주석처리와 약간의 코드가 존재합니다.

django 1.x 버전과 2.0 버전의 차이점 중의 하나가 여기서 나타나는데, 1.x 버전에서는 url 지정에서 url 함수를 사용하며 정규식을 사용하는데 2.0 이후부터는 path함수를 통해 정규식이 필요 없어지게 되었습니다.


우리가 추가하고자 하는 url은 맨처음 들어올 메인화면에 대한 것이므로 다음과 같이 코드를 수정합니다. (주석처리된 곳은 삭제하여도 무방합니다.)


1
2
3
4
5
6
7
from django.contrib import admin
from django.urls import path, include
 
urlpatterns = [
    path('', include('blog.urls')),
    path('admin/', admin.site.urls),
]
cs


2번째 줄을 보시면 include라는 함수를 추가로 import 하였습니다.

그리고 5번줄에서 path함수를 활용하여 첫 화면, 아무것도 입력되지 않은 url에서는 blog의 urls를 참고하도록 하였습니다.


이제 blog라는 폴더안에 urls.py 이라는 파일을 새로 만들어서 아래와 같이 코드를 작성합니다.


1
2
3
4
5
6
from django.urls import path
from . import views
 
urlpatterns = [
    path('', views.index),
]
cs


해당 urls.py 파일은 위에서 작성한 파일과 다른 파일입니다.

blog라는 폴더 내부에 새롭게 만든 파일입니다.

먼저 해당 blog에서는 존재하지 않은 admin관련 import를 삭제하였습니다.

admin과 관련되어서는 추후 model을 다루게 될때 살펴보도록 하겠습니다.

그리고 화면을 보여주도록 할 views 파일을 import 하였고, url패턴에서 아무것도 입력되지 않은 주소에 대해서 views의 index를 참고하도록 하였습니다.


그럼 마지막으로 blog 폴더에 있는 views.py 파일을 열어 아래와 같이 코드를 작성합니다.


1
2
3
4
5
6
from django.shortcuts import render
from django.http import HttpResponse
 
# Create your views here.
def index(request):
    return HttpResponse("Main Screen!!!")
cs


2번째 줄에, HttpResponse 라는 함수를 추가로 import하였습니다.

그리고 index라는 함수를 만들었고 단순히 HttpResponse함수를 통한 반환을 하도록 하였습니다.


이렇게 하고 명령어창을 기본 start_django 폴더에 위치하게 한다음, 아래의 명령어를 입력하면 서버가 돌아가게 됩니다.


python manage.py runserver



migrations 에 대한 경고가 뜨는데 일단은 무시하겠습니다.

그리고 이제 localhost:8000 으로 접속하게 되면 아래와 같이 우리가 작성한 첫화면이 나오게 됩니다.



블로그 이미지

Tigercow.Door

Web Programming / Back-end / Database / AI / Algorithm / DeepLearning / etc

댓글을 달아 주세요

  • ㅁㅇㄴ 2019.11.20 14:46  댓글주소  수정/삭제  댓글쓰기

    에디터는 그냥 cmd로 해도되나요?

  • ㅁㅇㄴ 2019.11.20 15:35  댓글주소  수정/삭제  댓글쓰기

    아니면 윈도우인데 파이참 같은 에디터로해도되는지요?
    초보라서 잘몰라서죄송합니다 ㅠㅜ

    • Favicon of https://doorbw.tistory.com BlogIcon Tigercow.Door 2019.11.20 15:36 신고  댓글주소  수정/삭제

      안녕하세요! 위의 내용을 진행하시려면 cmd로는 작업이 힘들 수 있습니다. 파이참도 좋지만 큰 작업이 아니니 보다 가벼운 VScode 및 서브라임텍스트 에디터를 추천드립니다.

  • ㅁㅇㄴ 2019.11.20 15:53  댓글주소  수정/삭제  댓글쓰기

    django.core.exceptions.ImproperlyConfigured: The included URLconf '<module 'blog.urls' from 'C:\\Users\\지성\\Desktop\\start_django\\blog\\urls.py'>' does not appear to have any patterns in it. If you see valid patterns in the file then the issue is probably caused by a circular import
    다 따라하고나니 (에디터는 그냥 파이참으로 햇습니다) 이런게 뜨네요.ㅠ 혹시 왜그런지 아시나요?ㅠㅠ
    검색해도 마땅히 뜨지가않네요


안녕하세요. 문범우입니다.

이번 포스팅에서는 파이썬에서 사용되는 컴프리헨션(Comprehension)이라는 개념에 대해서 알아보도록 하겠습니다.



1. 컴프리헨션(Comprehension)이란?


일단, 파이썬에서 사용되는 Comprehension이 무엇인지 알아보기 전에, 어떤 의미를 가지고 있는 단어인지 살펴보았습니다.

사전적으로는 이해, 이해력, 포용, 포용력, 포함, 압축 등의 뜻을 가지고 있습니다.

단순히 이런 의미로는 대체 어떻게 파이썬에서 사용되는지 감이 쉽게 안오실텐데, 하나씩 천천히 살펴보시면 충분히 이해하실 수 있을 것입니다.


앞으로 알아보는 Comprehension을 보다 제대로 이해하기 위해서는 기본적으로 파이썬의 조건문, 반복문 등의 개념을 알고 있으셔야 하며 해당 개념은 리스트, 집합(set), 딕셔너리(dictionary) 자료형에 대해 사용될 수 있기 때문에, 해당 자료형에 대해서도 알아야 제대로 이해할 수 있습니다.


2. List, Set, Dict Comprehension


먼저 알아볼 내용은 List, Set, Dict 자료형으로 사용되는 Comprehension입니다.

사용되는 방법이나, 문법등은 동일하나 어떤 자료형에 적용시키는지에 따라 다르기 때문에, 대표적으로는 리스트자료형으로 Comprehension을 알아보도록 하겠습니다.


List Comprehension은 쉽게 생각하면, 반복되거나 특정 조건을 만족하는 리스트를 보다 쉽게 만들어 내기 위한 방법입니다.



2-1. 반복문을 사용한 Comprehension


실제로 어떻게 사용되는지 먼저 간단한 예제를 통해 확인해보겠습니다.



위의 코드를 보시면 총 3번의 Comprehension이 사용되었습니다.

그 동안 우리는 특정 리스트를 생성하기 위해서 직접 값을 넣어주거나, 기타 다른 함수들을 이용했지만 Comprehension이라는 개념을 사용하면 위와 같이 쉽게 리스트를 생성할 수 있습니다.


첫번째 코드, [i for i in range(10)] 은 사실상 단순히 range()를 이용해도 되지만, Comprehension이 어떻게 사용되는지를 보여드리기 위해 보여드렸습니다.



2-2. 조건문을 사용한 Comprehension


위에서 살펴본 것은 반복문을 사용한 Comprehension 이며 반복문 이외에도 조건문을 추가로 이용하여 리스트를 생성할 수 있습니다.



위와 같이, 반복문과 조건문을 함께 사용하여 리스트를 생성한 모습입니다.


먼저 반복문을 적어주고, 반복문의 인자가 뒤에 적어준 조건문에 해당하는지를 확인하여 그 인자를 리스트의 요소로 가지게 되는 것입니다.


또한, 위에서 사용한 반복문이나 조건문을 여러개 이용하는 것도 가능합니다.

이때, 여러번 사용되는 반복문은 각각이 개별적으로 돌아가는 것이 아니고 조건문은 서로 and연산으로 묶인다고 생각하시면 됩니다.

아래 예시들을 통해 확인해보도록 하겠습니다.



2-3. 두 개의 반복문 사용하기


먼저, 두개의 반복문이 사용된 예제입니다.



먼저 반복문이 어떻게 돌아가는지 보다 잘 확인하기 위해 a,b,c,d,e 를 가진 리스트 a와 1,2,3,4,5를 가진 리스트 b를 만들어 주었습니다.

그리고 [i+j for i in a for j in b] 라는 Comprehension 구문으로 새로운 리스트를 생성해보았습니다.

해당 결과를 보면 먼저 앞의 for문에서 하나의 요소에 대해 뒤의 for문을 적용하는 방식임을 확인할 수 있습니다.

보다 쉽게 보자면, 아래와 같은 것임을 알 수 있습니다.



위의 코드를 보시면, 우리가 전에 알던 for문의 문법을 이용하여 a, b 리스트에 있는 요소를 하나씩 꺼내어 새로운 리스트에 삽입하는 방식으로 결과를 확인해보았습니다.



2-4. 두 개의 조건문 사용하기


이번에는 두개의 조건문이 사용된 예제를 확인해보도록 하겠습니다.



위의 결과를 보시면 0~49의 범위에서 2로 나눴을 때 0이며, 3으로 나눴을 때 0인 요소로 새로운 리스트가 생성된 것을 확인할 수 있습니다.

즉, 우리가 적어준 두개의 조건문이 서로 and로 묶인 것을 알 수 있습니다.



2-5. 조건문에서 else 사용하기


물론 우리가 사용하는 조건문에 대해서 if 이외에 else도 함께 사용할 수 있습니다. 하지만 else if (elif)는 사용할 수 없습니다.



위의 코드의 첫번째 줄에서 볼 수 있듯이 if와 else를 함께 사용할 수 있습니다.

0~9의 숫자에 따라서 2로 나누어 떨어지면 'even'을, 그게 아니면 'odd'를 출력하게 한 구문 입니다.

하지만 그 아래줄에서 0인 숫자에 대해서는 zero를 출력하도록, elif를 사용해보았지만 오류가 발생합니다.


그렇지만, else를 사용할 수 있기때문에 elif를 직접적으로 사용할 수는 없지만, 개념적으로 elif와 동일한 구문을 사용할 수는 있습니다.



2-6. 조건문에서 elif 사용하기



위와 같이 else 뒤에서 if를 한번 더 사용함으로써, elif와 같은 기능을 갖는 구문을 만들 수 있습니다.

첫 번째 줄에서는 0이 2로 나누어떨어진다고 보기 때문에 맨 앞에 있는 if 문에 걸려 even을 출력하게 되었습니다. 이를 수정하여 두번째 코드와 같이 작성하면 우리가 기대한 값이 출력됨을 볼 수 있습니다.

물론 이러한 경우에도 else를 여러번 중복하여 사용할 수 있습니다.



위의 코드에서는 0~9의 숫자에 대해서, 1일때는 'one', 2일때는 'two', 3일때는 'three', 4일때는 'four'를 출력하도록 여러개의 else와 if를 사용하였습니다. 그리고 그외에는 'hum'을 출력하도록 설정하였습니다.



3. Generator Expression


이번에는 Generator Expression에 대해서 알아봅니다.

지금까지 Comprehension에 대해서 알아보다가 갑자기 다른 주제라서 당황하셨나요?

하지만 Generator Expression도 Comprehension를 사용한 기능 중에 하나입니다.


처음에, Comprehension도 리스트말고도 {}를 사용하는 집합 자료형과 키와 값을 이용한 딕셔너리 자료형에서도 이용할 수 있다고 말씀드렸습니다.

그리고 이와 비슷하게, ()를 사용하면 Generator Expression이 되는 것 입니다.

표현하는 방법 자체는 위에서 알아본 Comprehension과 동일하니 어떻게 사용되는 것인지만 예제를 통해서 알아보도록 하겠습니다.



먼저 a와 b에 우리가 위에서 알아본 Comprehension 의 구문과 소괄호, ()를 이용하여 정의하였습니다. 그리고 각각을 print해보니 generator 객체가 나왔습니다.

이처럼 Comprehension 구문을 사용하여 소괄호로 묶어주면 자동적으로 파이썬에서 generator expression으로 인식하여 generator 객체를 생성하게 됩니다.

이를 사용하기 위해서는 해당 generator객체를 next로 감싸서 출력해주면 됩니다.


우리가 Comprehension를 통해 기대하는 값들이 순서대로 하나씩 출력되는 것을 볼 수 있습니다. 그리고, 모든 값에 대해 한바퀴를 돌게 되면 아래와 같이 Stop Iteration 이라는 오류를 출력하게 됩니다.




4. Comprehension 정리


우리는 위에서 Comprehension에 대해서 알아보았습니다.

그 구문과 사용법을 익히면, list, set, dict과 같은 자료형에서 다양하게 사용될 수 있으며, 소괄호를 이용하여 generator 객체를 만들어 이용할 수도 있습니다.

이러한 구문이 나왔을 때 당황하지 않고 리딩할 수 있어야 하며, 필요할때는 적극적으로 이용할 수 있어야 하기 때문에 꼭 한번씩 인터프리터등을 이용해 연습해보시기를 추천드립니다.

마지막으로 Comprehension 구문에 대해서 총정리를 해보면, 아래와 같습니다.




블로그 이미지

Tigercow.Door

Web Programming / Back-end / Database / AI / Algorithm / DeepLearning / etc

댓글을 달아 주세요