ํ‹ฐ์Šคํ† ๋ฆฌ

Data Dive
๊ฒ€์ƒ‰ํ•˜๊ธฐ

๋ธ”๋กœ๊ทธ ํ™ˆ

Data Dive

heesleisure.tistory.com/m

๐Ÿ‘ฉ๐Ÿป‍๐ŸŽ“ Master Student in IS(Information System) ๐Ÿ“š Data Science & Causal Inference Study ๐ŸŽฌ Hobby

๊ตฌ๋…์ž
4
๋ฐฉ๋ช…๋ก ๋ฐฉ๋ฌธํ•˜๊ธฐ

์ฃผ์š” ๊ธ€ ๋ชฉ๋ก

  • [Econometrics, ๊ณ„๋Ÿ‰๊ฒฝ์ œํ•™] ๊ณ ์ • ํšจ๊ณผ(Fixed Effect) ์‚ฌ๋ก€ ๋ถ„์„ https://www.youtube.com/watch?v=UNIF-jHY2Rk๋“ค์–ด๊ฐ€๊ธฐ ์ „์—https://heesleisure.tistory.com/55 [Econometrics, ๊ณ„๋Ÿ‰๊ฒฝ์ œํ•™] ๋ฐ์ดํ„ฐ ๊ตฌ์กฐ์™€ ๊ณ ์ • ํšจ๊ณผ(Fixed Effect)https://www.youtube.com/watch?v=yZOTgQfVfxQ ๋ฐ์ดํ„ฐ ๊ตฌ์กฐCross-sectional Data : ์—ฌ๋Ÿฌ ์œ ๋‹›, ํŠน์ • ์‹œ์ ์˜ ์ •๋ณด๋ฅผ ํฌํ•จ (์„œ๋ฒ ์ด ๋“ฑ ๋ฐ์ดํ„ฐ๋ฅผ ๋ชจ์Œ)Time-Series Data : ํ•˜๋‚˜์˜ ์œ ๋‹›, ์‹œ๊ฐ„์— ๋”ฐ๋ฅธ ๋ณ€ํ™” (์ฃผ์‹ ๊ฐ€๊ฒฉ, ๊ตญ๊ฐ€์˜ Gheesleisure.tistory.com  ์ด์ „ ๊ธ€์„ ๋จผ์ € ์ฝ์–ด๋ณด์‹œ๋ฉด ์ดํ•ด๊ฐ€ ๋น ๋ฅด์‹ค ๊ฒ๋‹ˆ๋‹ค! How Fixed Effects Work for Causal Inference์–ด๋–ค ๋ฐฉ์‹์œผ๋กœ ์ž‘.. ๊ณต๊ฐ์ˆ˜ 4 ๋Œ“๊ธ€์ˆ˜ 3 2024. 10. 29.
  • [Econometrics, ๊ณ„๋Ÿ‰๊ฒฝ์ œํ•™] ๋ฐ์ดํ„ฐ ๊ตฌ์กฐ์™€ ๊ณ ์ • ํšจ๊ณผ(Fixed Effect) https://www.youtube.com/watch?v=yZOTgQfVfxQ ๋ฐ์ดํ„ฐ ๊ตฌ์กฐCross-sectional Data : ์—ฌ๋Ÿฌ ์œ ๋‹›, ํŠน์ • ์‹œ์ ์˜ ์ •๋ณด๋ฅผ ํฌํ•จ (์„œ๋ฒ ์ด ๋“ฑ ๋ฐ์ดํ„ฐ๋ฅผ ๋ชจ์Œ)Time-Series Data : ํ•˜๋‚˜์˜ ์œ ๋‹›, ์‹œ๊ฐ„์— ๋”ฐ๋ฅธ ๋ณ€ํ™” (์ฃผ์‹ ๊ฐ€๊ฒฉ, ๊ตญ๊ฐ€์˜ GDP ๋“ฑ)Panel (longitudinal) Data : ์—ฌ๋Ÿฌ ์œ ๋‹›, ์‹œ๊ฐ„์— ๋”ฐ๋ฅธ ๋ณ€ํ™”๋™์ผํ•œ ์œ ๋‹›์— ๋Œ€ํ•ด ์‹œ๊ฐ„์— ๋”ฐ๋ฅธ ๋ณ€ํ™”๋ฅผ ๊ด€์ฐฐํ•  ์ˆ˜ ์žˆ์–ด์•ผ ํ•จ์ฆ‰, ๊ฐ ์‹œ์ ๋งˆ๋‹ค ์œ ๋‹›์ด ๋‹ค๋ฅด๊ฑฐ๋‚˜ ์œ ๋‹› ID๊ฐ€ ์—†์–ด์„œ ์ถ”์ ์ด ๋ถˆ๊ฐ€๋Šฅํ•˜๋‹ค๋ฉด? pooled cross-sectional data ๋จ  Recall How to Remove the Selection Bias ์ธ๊ณผ์ถ”๋ก ์„ ๋ฐฉํ•ดํ•˜๋Š” ์ตœ๋Œ€์˜ ์ ์€? ์„ ํƒ ํŽธํ–ฅ (Treatment๊ฐ€ ์—†๋Š” ์ƒํ™ฉ์—์„œ.. ๊ณต๊ฐ์ˆ˜ 4 ๋Œ“๊ธ€์ˆ˜ 0 2024. 10. 28.
  • Ensemble(์•™์ƒ๋ธ”): Bagging๊ณผ Boosting, Stacking Ensemble(์•™์ƒ๋ธ”)์ด๋ž€?์—ฌ๋Ÿฌ๊ฐœ์˜ ๋ถ„๋ฅ˜๊ธฐ๋ฅผ ์ƒ์„ฑํ•˜๊ณ  ๊ทธ ์˜ˆ์ธก์„ ๊ฒฐํ•ฉํ•จ์œผ๋กœ์จ ์ตœ์ข… ์˜ˆ์ธก์„ ๋„์ถœํ•˜๋Š” ๋ฐฉ๋ฒ• Bagging๊ณผ Boosting์˜ ์ฐจ์ด์ Bagging: ๋ณ‘๋ ฌ์ , parallelํ•จBootstrap Aggregating, ๋ถ€ํŠธ์ŠคํŠธ๋žฉ(๋žœ๋ค ์ƒ˜ํ”Œ๋ง)์„ ์ง‘๊ณ„ํ•˜๋Š” ๊ฒƒ, ์—ฌ๋Ÿฌ ์ƒ˜ํ”Œ ์กฐํ•ฉ์— ๋Œ€ํ•˜์—ฌ ํ•˜๋‚˜์˜ ์•Œ๊ณ ๋ฆฌ์ฆ˜(๋ชจ๋ธ) ํ™œ์šฉ์ƒ˜ํ”Œ๋ง ๊ณผ์ •์€ ๋ณต์›์ถ”์ถœ์ž„๋ฐ์ดํ„ฐ๊ฐ€ ๋งŽ์ง€ ์•Š์•„๋„ ์ถฉ๋ถ„ํ•œ ํ•™์Šตํšจ๊ณผ๋ฅผ ์ฃผ์–ด underfitting, overfitting ๋ฌธ์ œ์— ๋„์›€๋จBagging์˜ ๋Œ€ํ‘œ์ ์ธ ๊ธฐ๋ฒ•์œผ๋กœ RandomForest๊ฐ€ ์žˆ์Œ  Boosting: ์ˆœ์ฐจ์ , sequentialํ•จ์˜ค๋ถ„๋ฅ˜๋œ ํ•™์Šต ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•ด์„œ ๊ฐ€์ค‘์น˜๋ฅผ ์ฃผ๊ณ  ๋‹ค์Œ ๋ชจ๋ธ(๋ถ„๋ฅ˜๊ธฐ)์—์„œ ํ•ด๋‹น ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šตํ•˜๊ฒŒ ์œ ๋„๋จผ์ € ์ƒ์„ฑ๋œ ๋ชจ๋ธ์„ ์ ์  ๋ฐœ์ „์‹œ์ผœ๋‚˜๊ฐ€๋Š” ๋ฐฉ๋ฒ•์ž„   Stac.. ๊ณต๊ฐ์ˆ˜ 1 ๋Œ“๊ธ€์ˆ˜ 1 2024. 7. 6.
  • [MODUPOP Seminar] Gen AI Safety & Security https://festa.io/events/4739 [๊ฐ•๋‚จ] ๋ชจ๋‘ํŒ ์„ธ๋ฏธ๋‚˜ | Gen AI Safety & Security | Festa! Festa์—์„œ ๋‹น์‹ ์ด ์ฐพ๋Š” ์ด๋ฒคํŠธ๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”. festa.io ์ด๋ฒˆ ์ฃผ์ œ๋Š” ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ์—์„œ ์ฃผ์ตœํ•œ [Gen AI Safety & Security] ์˜คํ”ˆ ์„ธ๋ฏธ๋‚˜์ด๋‹ค. ๋ชจ๋‘์ฝ˜ ์ดํ›„๋กœ ํ”Œ์นœ์ด ๋œ ๋‚˜์™€ ๋ชจ๋‘์—ฐ.. ์š”์ƒˆ ๊ฐœ์ธ์—ฐ๊ตฌ&ํ”„๋กœ์ ํŠธ๋กœ LLM๊ณผ ํ”„๋กฌํ”„ํŠธ๋ฅผ ํ•œ์ฐฝ ๊ณต๋ถ€ํ•˜๊ณ  ์žˆ์—ˆ๋Š”๋ฐ ์ด๋Ÿฐ ์„ธ๋ฏธ๋‚˜๋ผ๋‹ˆ! ๊ทผ๋ฐ ์‹ ์ดŒ๊ณผ ์ •๋ฐ˜๋Œ€ ๊ฐ•๋‚จ์บ ํผ์Šค๋ฅผ ์ €์‹œ๊ฐ„์— ๊ฐ€๋Š”๊ฑด ๋ฌด๋ฆฌ๋ผ ์˜จ๋ผ์ธ ์ˆ˜๊ฐ•์„ ํ•˜๊ธฐ๋กœ ํ–ˆ๋‹ค. (์ง€๊ธˆ ์ƒ๊ฐํ•˜๋‹ˆ ์‹ ์˜ ํ•œ ์ˆ˜์ž„) ์—ฐ๊ตฌ์‹ค ๋ฉค๋ฒ„๋“ค์—๊ฒŒ ๊ฐ™์ด๋“ฃ์ž๊ณ  ๊ผฌ์‹œ๋Š”์ค‘ ์ผ๋‹จ์€ ๋‚˜๋งŒ ๋“ค์€ ๊ฒƒ ๊ฐ™๊ธดํ•ด ... ์•„์‰ฌ์›€์„ ๋’ค๋กœํ•˜๊ณ ,, ์˜ค๋Š˜ ์ฃผ์ œ๋Š” ํœ˜๋ฐœ์„ฑ์ด ๊ฝค ๊ฐ•ํ•œ ๋‚ด์šฉ์ด๋ผ ๊ฐ„๋žตํžˆ ์ •๋ฆฌ๋งŒ ํ•ด๋ณด๋ คํ•œ๋‹ค ๋ชฉ์ฐจ.. ๊ณต๊ฐ์ˆ˜ 7 ๋Œ“๊ธ€์ˆ˜ 2 2024. 2. 21.
  • [1๊ฐ•][CV] ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ์ดˆ ์ด๋ก  CS231n ๋ณดํ˜ธ๋˜์–ด ์žˆ๋Š” ๊ธ€์ž…๋‹ˆ๋‹ค. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2024. 2. 21.
  • [LLM] LangChain์œผ๋กœ ChatGPT API ํ™œ์šฉ & ํ”„๋กฌํ”„ํŠธ ํ…œํ”Œ๋ฆฟ ์ถœ์ฒ˜: https://www.youtube.com/watch?v=BLM3KDaOTJM&list=PLQIgLu3Wf-q_Ne8vv-ZXuJ4mztHJaQb_v&index=3 https://www.youtube.com/watch?v=y6D5Hn_k4lE&list=PLQIgLu3Wf-q_Ne8vv-ZXuJ4mztHJaQb_v&index=5 API๋ฅผ ํ†ตํ•ด ChatGPT์™€ ๋Œ€ํ™”ํ•˜๊ธฐ davinci-003 vs gpt-3.5-turbo: GPT ๋ฒ„์ „ ์ฐจ์ด(3๊ณผ 3.5) temperature: chat-gpt๊ฐ€ ๋‚ด๋†“๋Š” ๋‹ต๋ณ€์˜ ์ผ๊ด€์„ฑ์„ ์กฐ์ ˆํ•˜๋Š” ๋งค๊ฐœ๋ณ€์ˆ˜ 0~2๊นŒ์ง€ ์„ค์ • ๊ฐ€๋Šฅ 0์ผ ๊ฒฝ์šฐ ๋‹ต๋ณ€์ด ์ผ๊ด€์ , 2์ผ ๊ฒฝ์šฐ randomํ•˜๊ฒŒ ๋‚˜์˜ค๋Š” ๊ฒฝํ–ฅ์ด ์žˆ์Œ callbacks์˜ streaming_stdout ๋‚ด์—์„œ streaming.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2024. 2. 18.
  • [LLM] LangChain: ์ดˆ๊ฑฐ๋Œ€ ์–ธ์–ด๋ชจ๋ธ ๊ฐ„๋‹จ ์„ค๋ช… ์ถœ์ฒ˜: https://youtube.com/watch?v=XwlLeVhWCCc LangChain์˜ ๊ตฌ์กฐ LLM ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ์ž์—ฐ์–ด ํ˜•ํƒœ๋กœ๋œ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•ด ํ˜„์žฌ NLP(Natural Language Process) ๋ชจ๋ธ์˜ ๊ฑฐ์˜ ๋Œ€๋ถ€๋ถ„์€ Transformer ์•„ํ‚คํ…์ฒ˜๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๋ฉฐ, ๋ชจ๋ธ์˜ ์šฉ๋„์— ๋”ฐ๋ผ ํŠธ๋žœ์Šคํฌ๋จธ์˜ Encoder, Decoder๋ฅผ ๊ฐœ๋ณ„ ๋˜๋Š” ํ†ตํ•ฉ ์‚ฌ์šฉํ•˜๋Š” ์ถ”์„ธ ๊ธฐ๊ณ„์™€ ๋ง์„ ์ฃผ๊ณ ๋ฐ›๊ธฐ ์œ„ํ•ด ์–ด๋–ค ์‹์œผ๋กœ ๋ชจ๋ธ์„ ๊ตฌ์„ฑํ•ด์•ผํ•˜๋Š”์ง€ ์—ฐ๊ตฌํ•˜๋‹ค๊ฐ€ ์ตœ์ข…์ ์œผ๋กœ ํšจ์œจ์ ์ด๋ผ๊ณ  ํŒ๋‹จํ•œ ๊ตฌ์กฐ๊ฐ€ ๋ฐ”๋กœ Transformer ๋ชจ๋ธ์ด๋ฏ€๋กœ, ์šฐ๋ฆฌ์˜ ๋ง์„ '์ž˜ ์ดํ•ดํ•˜๊ณ ', ์˜๋„๋œ ๋Œ€๋กœ '๋Œ€๋‹ต์„ ์ž˜ ํ•˜๋Š”' ์—ญํ• ์ด ์ค‘์š”ํ•จ Encoder: ๋ฌธ์žฅ์„ ์คฌ์„ ๋•Œ ์ž˜ ์ดํ•ดํ•˜๋Š” ๋ถ€๋ถ„์„ ๋‹ด๋‹น(๋ถ„ํ™์ƒ‰) Decoder: ๋ง์„ ์ž˜ ํ•˜๋Š” ๋ถ€๋ถ„(ํŒŒ.. ๊ณต๊ฐ์ˆ˜ 2 ๋Œ“๊ธ€์ˆ˜ 2 2024. 2. 16.
  • [LLM] LangChain์˜ ๋ชจ๋“  ๊ฒƒ ์ถœ์ฒ˜: https://www.youtube.com/watch?v=WWRCLzXxUgs&list=PLQIgLu3Wf-q_Ne8vv-ZXuJ4mztHJaQb_v ์ •์˜ ์–ธ์–ด๋ชจ๋ธ๋กœ ๊ตฌ๋™๋˜๋Š” ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๊ฐœ๋ฐœํ•˜๊ธฐ ์œ„ํ•œ ํ”„๋ ˆ์ž„ ์›Œํฌ → ๋ฐ์ดํ„ฐ ์†Œ์Šค๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์ด์•ผ๊ธฐํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•จ, ๊ตฌ์ฒด์ ์ธ ํˆด๊ณผ ๋ฐฉ๋ฒ•๋ก ์„ ์ œ์‹œํ•˜์ง€ ์•Š์•„๋„ ๋‹ค์–‘ํ•œ ํ™˜๊ฒฝ๊ณผ ์ƒํ˜ธ์ž‘์šฉ์ด ๊ฐ€๋Šฅํ•จ ex) ์ตœ๊ทผ LLM ๋™ํ–ฅ์„ ์•Œ๊ณ  ์‹ถ๋‹ค๋ฉด? ์—์ด์ „ํŠธ ๊ธฐ๋Šฅ์„ ์ด์šฉํ•ด ์–ด๋–ค ์š”์ฒญ์„ ๋„˜๊ฒผ์„ ๋•Œ, ๊ทธ๊ฒƒ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์–ด๋–ค ํˆด์„ ํ™œ์šฉํ•ด์•ผํ• ์ง€ ๋žญ์ฒด์ธ์ด ๊ฒฐ์ •ํ•˜์—ฌ ์ธํ„ฐ๋„ท ๊ฒ€์ƒ‰์„ ํ•œ๋‹ค๋˜๊ฐ€ ๋“ฑ ํ•จ์œผ๋กœ์จ ์ •์ œ๋œ ๋‹ต๋ณ€์„ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ์Œ ๋ฐ์ดํ„ฐ ์ธ์‹: ์–ธ์–ด ๋ชจ๋ธ์„ ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ ์†Œ์Šค์— ์—ฐ๊ฒฐ ์—์ด์ „ํŠธ ๊ธฐ๋Šฅ: ์–ธ์–ด ๋ชจ๋ธ์ด ํ™˜๊ฒฝ๊ณผ ์ƒํ˜ธ ์ž‘์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•จ ์™œ ์จ์•ผํ• ๊นŒ? 1) ์ •๋ณด ์ ‘๊ทผ ์ œํ•œ ์ตœ.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 1 2024. 2. 16.
  • [SAP] ์‚ผ์„ฑSDS Intelligence ERP(2020.09.10) 0) SAP ERP ์ „์‚ฌ๊ฒฝ์˜๊ด€๋ฆฌ์‹œ์Šคํ…œ: ์˜ค๋žœ ๊ธฐ๊ฐ„ ๊ธฐ์—…์˜ ๋ฐฑ๋ณธ ์‹œ์Šคํ…œ ์‹ค์‹œ๊ฐ„ ์—…๋ฌด ์ฒ˜๋ฆฌ๋ฅผ ๋„˜์–ด ๋ฐ์ดํ„ฐ๋ถ„์„์œผ๋กœ ์ƒˆ๋กœ์šด ์ธ์‚ฌ์ดํŠธ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ๊ณ , ์ง€์†์ ์œผ๋กœ ์—…๋ฌด ์ตœ์ ํ™”๊ฐ€ ๊ฐ€๋Šฅํ•ด์ง์— ๋”ฐ๋ผ Intelligent ERP๋ผ ๋ถˆ๋ฆผ ๊ธฐ์—…์˜ Digital Transformation ์ธก๋ฉด์—์„œ ๊ธฐ์—…์˜ ๋น„์ฆˆ๋‹ˆ์Šค ํ”„๋กœ์„ธ์Šค, ๋ฐ์ดํ„ฐ, ์‹œ์Šคํ…œ ์ธก๋ฉด์—์„œ ๊ฐ€์žฅ ํ•ต์‹ฌ์ ์ธ ์—ญํ• ์„ ์ˆ˜ํ–‰ํ•จ → Digital Core๋ผ๊ณ ๋„ ๋ถˆ๋ฆผ 1) ์‚ผ์„ฑSDS intelligence ERP(2020.09.10) https://www.youtube.com/watch?v=azg6ZW5TH7I S/4HANA ๊ธฐ๋ฐ˜์˜ ์ฐจ์„ธ๋Œ€ ERP ๊ตฌ์ถ• ํ•„์š”์„ฑ Why needed? ๊ธ€๋กœ๋ฒŒ ์‚ฌ์—… ํ™•๋Œ€์— ๋”ฐ๋ฅธ ๊ธ€๋กœ๋ฒŒ ์˜คํผ๋ ˆ์ด์…˜ ์ตœ์ ํ™”(๊ธ€๋กœ๋ฒŒ ๊ฒฝ์˜์ฒด๊ณ„ ๊ตฌ์ถ•) ์—…๋ฌด์ž๋™ํ™”์— ๋”ฐ๋ฅธ digit.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2024. 2. 7.
  • [SAP] ์ƒ์‹ ์šฉ์–ด ๊ณต๋ถ€ํ•˜๊ธฐ SAP ๊ธฐ๋ณธ ์šฉ์–ด SD: Sales and Distribution, ํŒ๋งค ๋ฐ ์˜์—…๊ด€๋ฆฌ ํŒ๋งค์˜ค๋”(S/O) → ์ถœ๊ณ ์ง€์‹œ(D/O) → ์ถœ๊ณ ์ „๊ธฐ(GI) → ๋Œ€๊ธˆ์ฒญ๊ตฌ(billing) ๋ฐ˜ํ’ˆ์˜ค๋”(S/O) → ์ž…๊ณ ์ง€์‹œ(D/O) → ์ž…๊ณ ์ „๊ธฐ(GI) → ๋Œ€๊ธˆํ™˜์›(billing) MM: Material Management, ๊ตฌ๋งค ๋ฐ ์ž์žฌ๊ด€๋ฆฌ ๊ตฌ๋งค์š”์ฒญ(PR) → ๊ตฌ๋งค์˜ค๋”(PO) → ์ž…๊ณ (GR) → ์†ก์žฅ(IV) ๊ตฌ๋งค์š”์ฒญ์„œ(์˜์—…,์ƒ์‚ฐํŒ€์—์„œ ๊ตฌ๋งคํŒ€) → ๊ตฌ๋งคํ’ˆ์˜์„œ(๊ตฌ๋งคํŒ€์—์„œ ์Šน์ธ๊ถŒ์ž) → ๊ตฌ๋งค์ž…๊ณ (์ž…๊ณ ๋‹ด๋‹น์ž) → ํšŒ๊ณ„์ฒ˜๋ฆฌ(๊ตฌ๋งคํŒ€) ๊ตฌ๋งค์š”์ฒญ(PR) → ๊ตฌ๋งค์˜ค๋”(PO) → ์†ก์žฅ(IV) → ์ž…๊ณ (GR) ๊ตฌ๋งค์š”์ฒญ์„œ(์˜์—…,์ƒ์‚ฐํŒ€์—์„œ ๊ตฌ๋งคํŒ€) → ๊ตฌ๋งคํ’ˆ์˜์„œ(๊ตฌ๋งคํŒ€์—์„œ ์Šน์ธ๊ถŒ์ž) → ํšŒ๊ณ„์ฒ˜๋ฆฌ(๊ตฌ๋งคํŒ€) → ๊ตฌ๋งค์ž…๊ณ (์ž…๊ณ ๋‹ด๋‹น์ž) PP:์ƒ์‚ฐ๊ด€๋ฆฌ C.. ๊ณต๊ฐ์ˆ˜ 1 ๋Œ“๊ธ€์ˆ˜ 1 2024. 1. 4.
  • [MODUCON 2023] LLM๊ณผ ํ˜„์žฌ ์˜ค๋Š˜ ์ดํ™”์—ฌ๋Œ€ ECC์—์„œ ์—ด๋ฆฐ ๋ชจ๋‘์ฝ˜ 2023์— ๋‹ค๋…€์™”๋‹ค. ๋ชจ๋‘์ฝ˜ 2023 ์ตœ๊ทผ ์ƒ์„ฑํ˜• AI ํ‚ค์›Œ๋“œ๊ฐ€ ์›Œ๋‚™ ํ•ซํ•˜๋‹ค๋ณด๋‹ˆ LLM ๋ชจ๋ธ์— ๋Œ€ํ•˜๋Š” ํ•™๊ณ„์™€ ์ธ๋”์ŠคํŠธ๋ฆฌ์˜ ์ž…์žฅ์ด ๊ณผ์—ฐ ์–ด๋–จ์ง€ ์ •๋ณด๋ฅผ ์–ป์„ ๋ชฉ์ ์ด์—ˆ๋‹ค. ๊ฒฐ๋ก ๋ถ€ํ„ฐ ๋งํ•˜์ž๋ฉด, LLM ๋ชจ๋ธ์„ fine-tuningํ•˜์—ฌ ๊ฐ์ž์˜ ๋‹ˆ์ฆˆ์— ๋งž๊ฒŒ ์›ํ•˜๋Š” ํ”„๋กœ์„ธ์Šค์— ์ ์šฉ์‹œํ‚จ๋‹ค๋Š” ๊ฒƒ์ด ํ•ต์‹ฌ์ด์—ˆ๋‹ค. (์—…๋ฌด๋“  ์„œ๋น„์Šค ์ œ๊ณต ๊ณผ์ •์ด๋“  ๊ณ ๊ฐ๊ฒฝํ—˜ ๊ฐœ์„ ์ด๋“ ๊ฐ„์— ํ”„๋กœ์„ธ์Šค ์–ด๋””์„œ๋“ ) ๊ทธ ๊ณผ์ •์—์„œ ๋ฌธ์ œ์ ์€ ๋ฐ˜๋“œ์‹œ ๋ฐœ์ƒํ•˜๊ธฐ ๋•Œ๋ฌธ์—, ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ๊ฒƒ ๋˜ํ•œ ์ค‘์š”. ์ด ๊ธ€ ์ œ๋ชฉ์„ ‘LLM๊ณผ ํ˜„์žฌ’ ๋ผ๋Š” ์ œ๋ชฉ์œผ๋กœ ์“ด ๊ฒƒ๋„ (๋‚ด๋ง˜๋Œ€๋กœ์ง€๋งŒ) ์˜ค๋Š˜ ๋“ค์€ ๋‚ด์šฉ์„ ํ•จ์ถ•ํ•œ ๋Š๋‚Œ์ด๋ž„๊นŒ ใ…‹ใ…‹ ์„ธ์…˜ ํƒ€์ž„๋ผ์ธ ํ‚ค๋…ธํŠธ ์„ธ์…˜ (1๊ฐœ ์„ธ๋ฏธ๋‚˜) : ํ˜„์žฌ ์ธ๊ณต์ง€๋Šฅ ๊ธฐ์ˆ ์˜ ์ตœ์ „์„ ์— ์žˆ๋Š” ํ•˜์ •์šฐ ์†Œ์žฅ๋‹˜์„ ํ•œ์ƒ๊ธฐ ๋Œ€ํ‘œ๋‹˜์ด ์ธํ„ฐ๋ทฐ.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 1 2023. 12. 10.
  • [Econometrics, ๊ณ„๋Ÿ‰๊ฒฝ์ œํ•™] OLS์™€ BLUE ์ตœ๊ทผ ๋งˆ์ผ€ํŒ… ๋…ผ๋ฌธ์„ ์ฃผ๋กœ ์ฝ๋‹ค๋ณด๋‹ˆ, ๊ณ„๋Ÿ‰๊ฒฝ์ œํ•™์„ ๋งค๋ฒˆ ์ ‘ํ•˜๊ฒŒ ๋œ๋‹ค.๊ทธ๋ฆฌ๊ณ  ๊ฑฐ์˜ ๋ชจ๋“  ํšŒ๊ท€์‹์—์„œ ๋น ์ง์—†์ด ๋‚˜์˜ค๋Š” ํ•ญ์ด ์žˆ๋‹ค. ๋ฐ”๋กœ fixed effect์™€ random effect์ด๋‹ค.์ด Fixed vs Random์˜ ์ฐจ์ด๋ฅผ ์•Œ๋ ค๋ฉด, ์šฐ์„  ํšŒ๊ท€์‹์˜ ๊ธฐ๋ณธ๋ถ€ํ„ฐ ์•Œ์•„์•ผ ํ•˜๊ธฐ ๋•Œ๋ฌธ์— ์„ ํ˜•ํšŒ๊ท€๋ฅผ ์„ค๋ช…ํ•˜๋ คํ•œ๋‹ค.  ๋‹น์žฅ ์ง€๋‚œ์ฃผ์— ๋ณธ ๋…ผ๋ฌธ์—์„œ์˜ ํšŒ๊ท€์‹์„ ์‚ดํŽด๋ณด์ž.   $ After_{ijt} $๊ฐ€ Star์™€ Review์— ์˜ํ–ฅ์„ ๋ฏธ์น˜๋Š”์ง€, ๊ทธ ๋•Œ Tripadvisor(ij)ํ•ญ์˜ ์กฐ์ ˆํšจ๊ณผ๊ฐ€ ์žˆ๋Š”์ง€ ๋ถ„์„ํ•˜๋Š” ํšŒ๊ท€์‹์ž„์„ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ๋‹ค.ํ†ต์ œ๋ณ€์ˆ˜์™€ Error term์ด ์žˆ์œผ๋ฉฐ, ๊ฐ ํ•ญ๋งˆ๋‹ค Coefficient ๋ฒ ํƒ€ํ•ญ์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋‹ค. ์™„์ „ ๋‹จ์ˆœํ•œ ์„ ํ˜•ํšŒ๊ท€์‹์€ ์•„๋‹ˆ๊ณ  ๋‹ค์ค‘ํšŒ๊ท€์‹์ด๊ธดํ•œ๋ฐ, ์•”ํŠผ ์„ ํ˜•ํšŒ๊ท€์‹์ž„์€ ๋งž๋‹ค. ๋น„์„ ํ˜•์€ ์•„๋‹ˆ.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 1 2023. 11. 21.
  • [Econometrics, ๊ณ„๋Ÿ‰๊ฒฝ์ œํ•™] RDD(๋ถˆ์—ฐ์† ํšŒ๊ท€ ์„ค๊ณ„) https://everyday-tech.tistory.com/30https://medium.com/bondata/regression-discontinuity-bba1c4d7a08c  ๋ถˆ์—ฐ์† ํšŒ๊ท€ ์„ค๊ณ„(RDD, Regression Discontinuity Design)treatment๊ฐ€ ํŠน์ • ์ œ์•ฝ ์กฐ๊ฑด์ด๋‚˜ ์ž๊ฒฉ ํ•˜์— ์ •ํ•ด์ง€๋Š” ๊ฒฝ์šฐ์— ์‚ฌ์šฉํ•œ๋‹ค.๋ช…ํ™•ํ•˜๊ฒŒ control, treatment group์ด ์กด์žฌํ•˜์ง€ ์•Š๋Š”๋‹ค. ์ด์œ ๋Š” ๋ฐ‘์—์„œ ์•Œ์•„๋ณด์ž.  ์˜ˆ 1. ๋ฒ•์  ์ตœ์†Œ ์Œ์ฃผ์—ฐ๋ น(MLDA) ์ œ๋„ ๋„์ž…MLDA ๋ผ๋Š” treatment(shock)๊ฐ€ ๋ฐœ์ƒํ–ˆ์„ ๋•Œ, ์Œ์ฃผ๊ฐ€ ์‚ฌ๋ง์— ์˜ํ–ฅ์„ ๋ฏธ์น˜๋Š” ์ธ๊ณผ ๊ด€๊ณ„๋ฅผ ๋ถ„์„ํ•œ๋‹ค.๋ฏธ๊ตญ์˜ MLDA ์ œ๋„๋Š” ์ตœ์†Œ 21์„ธ๋ถ€ํ„ฐ ์Œ์ฃผ๊ฐ€ ๊ฐ€๋Šฅํ•˜๋„๋ก ๋ฒ•์•ˆ์„ ์ œ์ •ํ•œ ๊ฒƒ์ด๋‹ค.(์ฆ‰, 21์„ธ๋ผ๋Š” 'treatme.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2023. 9. 17.
  • [Econometrics, ๊ณ„๋Ÿ‰๊ฒฝ์ œํ•™] ํŽธํ–ฅ(bias) ์ธ๊ณผ์ถ”๋ก ์—์„œ ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ๋Š” 3๊ฐœ์˜ ํŽธํ–ฅ 1. ๊ต๋ž€ํŽธํ–ฅ(Confounding Bias)2. ์„ ํƒํŽธํ–ฅ(Selection Bias)3. Z-ํŽธํ–ฅ(Z-Bias) https://playinpap.github.io/three-biases-in-causal-inference/ ์ธ๊ณผ์ถ”๋ก ์—์„œ ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ๋Š” ์„ธ ๊ฐ€์ง€ ํŽธํ–ฅ์ธ๊ณผ์ถ”๋ก ์˜ ์•„์ด๋””์–ด ์ธ๊ณผ์ถ”๋ก ์€ ํŠน์ •ํ•œ ์ฒ˜์น˜ (treatment)๊ฐ€ ๊ฒฐ๊ณผ (outcome)์— ๋ฏธ์น˜๋Š” ์ธ๊ณผ์  …playinpap.github.io  1. ๊ต๋ž€ํŽธํ–ฅ"์–ด๋–ค ์‚ฌ๋žŒ์ด ํ•˜๋Š˜์„ ๋ณด๋Š”๊ฒŒ, ๋‹ค๋ฅธ ์‚ฌ๋žŒ๋„ ํ•˜๋Š˜์„ ๋ณด๊ฒŒ ๋งŒ๋“ค๊นŒ?"A(์–ด๋–ค ์‚ฌ๋žŒ์ด ํ•˜๋Š˜์„ ๋ณด๊ณ  ์žˆ์Œ)์ด๋ผ๋Š” ์š”์ธ๋„ ์žˆ์ง€๋งŒ, ์ฒœ๋‘ฅ์ด ์น˜๊ฑฐ๋‚˜ ๋น„๊ฐ€ ์˜ค๋Š” ๋“ฑ ์™ธ์ƒ์š”์ธ(L)์œผ๋กœ ํ•˜๋Š˜์„ ๋ณผ ์ˆ˜๋„ ์žˆ์ง€ ์•Š๋‚˜?์ด๋Ÿฌํ•œ ์™ธ์ƒ์š”์ธ์„ ๊ณ ๋ คํ•œ ๋ณด์ •์ด ์—†๋‹ค๋ฉด ๊ต๋ž€์— ๋”ฐ๋ฅธ .. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2023. 9. 17.
  • paper study 03 - ํ”„๋กœ๋ชจ์…˜์ด ์žˆ์„ ๋•Œ SKU ์ˆ˜์š” ์˜ˆ์ธก ๋ณดํ˜ธ๋˜์–ด ์žˆ๋Š” ๊ธ€์ž…๋‹ˆ๋‹ค. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2023. 2. 27.
  • ML 1. ํšŒ๊ท€๋ถ„์„ ๋ณดํ˜ธ๋˜์–ด ์žˆ๋Š” ๊ธ€์ž…๋‹ˆ๋‹ค. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2023. 2. 25.
  • paper study 02 - ํ…์ŠคํŠธ๋งˆ์ด๋‹ ๊ธฐ๋ฐ˜ ์‚ฌ์šฉ์ž ๊ฒฝํ—˜ ๋ถ„์„ ๋ฐ ๊ด€๋ฆฌ: ์Šค๋งˆํŠธ ์Šคํ”ผ์ปค ์‚ฌ๋ก€ Today's Paper ํ…์ŠคํŠธ๋งˆ์ด๋‹ ๊ธฐ๋ฐ˜ ์‚ฌ์šฉ์ž ๊ฒฝํ—˜ ๋ถ„์„ ๋ฐ ๊ด€๋ฆฌ: ์Šค๋งˆํŠธ ์Šคํ”ผ์ปค ์‚ฌ๋ก€ - ์—ฐ๋‹ค์ธ, ๋ฐ•๊ฐ€์—ฐ, ๊น€ํฌ์›… (2020) Information Systems Review, 2020. 1. Abstract ์ธ๊ณต์ง€๋Šฅ์„ ํ™œ์šฉํ•˜์—ฌ ๋‹ค์–‘ํ•œ ์ฝ˜ํ…์ธ ๋ฅผ ๊ฒ€์ƒ‰, ์ด์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๋Œ€ํ™”ํ˜• ์Œ์„ฑ ๊ธฐ๋ฐ˜ ์„œ๋น„์Šค๋ฅผ ์ œ๊ณตํ•˜๋Š” ๊ธฐ๊ธฐ ๋ฐ์ดํ„ฐ๋ฅผ ์ถ•์ ํ• ์ˆ˜๋ก ์ •๊ตํ•˜๊ณ  ์ตœ์ ํ™”๋œ ์„œ๋น„์Šค ์ œ๊ณต ๊ฐ€๋Šฅ ๋”ฐ๋ผ์„œ ๊ณต๊ฒฉ์  ๋งˆ์ผ€ํŒ…์„ ํ†ตํ•ด ํ”Œ๋žซํผ ๊ตฌ์ถ• ๋…ธ๋ ฅ But, ์Šค๋งˆํŠธ ์Šคํ”ผ์ปค ์‚ฌ์šฉ ๋นˆ๋„๋Š” ์›” 1ํšŒ ๋ฏธ๋งŒ์ด ์ „์ฒด์˜ 3๋ถ„์˜ 1์„ ์ฐจ์ง€ํ•จ (์ถœ์ฒ˜: ๋ฏธ๊ตญ VoiceBot(2018)) → ์ง€์†์  ์ด์šฉํ™œ์„ฑํ™”์™€ ๋งŒ์กฑ๋„ ์ฆ์ง„์„ ์œ„ํ•ด ์‚ฌ์šฉ์ž ๊ฒฝํ—˜ ๊ฐ•ํ™” ํ•„์š” ๋ณธ ์—ฐ๊ตฌ๋Š” ์‚ฌ์šฉ์ž๊ฐ€ ์ง์ ‘ ์ž‘์„ฑํ•œ ์‹ค์ œ ๋ฆฌ๋ทฐ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜์—ฌ ํ…์ŠคํŠธ๋งˆ์ด๋‹ ๋ถ„์„ ํ›„ ๊ฒฐ๊ณผ๋ฅผ ํ•ด์„ํ•จ 2. ํ‰๊ฐ€ ๊ธฐ.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2023. 2. 21.
  • [์ด์ƒํƒ์ง€ ์˜ˆ์ธก] ํ•„์š”๊ฐœ๋…: LSTM-AE ๋“ฑ ๋ณดํ˜ธ๋˜์–ด ์žˆ๋Š” ๊ธ€์ž…๋‹ˆ๋‹ค. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2023. 2. 20.
  • ์ž์—ฐ์–ด์ฒ˜๋ฆฌ๋ฅผ ์œ„ํ•œ 1D CNN ๋ณดํ˜ธ๋˜์–ด ์žˆ๋Š” ๊ธ€์ž…๋‹ˆ๋‹ค. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2023. 2. 20.
  • ๋ฐ์ดํ„ฐ ์ฑ„๊ตดํ•˜๊ธฐ 1ํŽธ: ์›น ์Šคํฌ๋ž˜ํ•‘ ์ •์˜ค๋Š˜์˜ ๊ณต๋ถ€ ๋‚ด์šฉ, ์›น ์Šคํฌ๋ž˜ํ•‘ ์ฐธ๊ณ  ์œ ํŠœ๋ธŒ: ๋‚˜๋„์ฝ”๋”ฉ https://youtu.be/yQ20jZwDjTE ์ด๋ฒˆ ๊ฒŒ์‹œ๋ฌผ์€ ์›น ์Šคํฌ๋ž˜ํ•‘์„ ํ•˜๊ธฐ ์œ„ํ•œ ์ด๋ก ํŽธ์ด๋‹ค. ์›น ์Šคํฌ๋ž˜ํ•‘? ์›น ํŽ˜์ด์ง€์—์„œ ๋‚ด๊ฐ€ ์›ํ•˜๋Š” ๋ถ€๋ถ„๋งŒ ๋–ผ์–ด์˜ค๋Š” ๊ฒƒ ์›น ํฌ๋กค๋ง์ด๋ž‘ ๋ญ๊ฐ€ ๋‹ค๋ฅธ๋ฐ? ์›น ํฌ๋กค๋ง์€ ํŽ˜์ด์ง€ ๋‚ด์˜ ๋งํฌ๋“ค์„ ๋”ฐ๋ผ๊ฐ€๋ฉด์„œ ๋ชจ~๋“  ๋‚ด์šฉ์„ ๊ฐ€์ ธ์˜ค๋Š” ๊ฒƒ. ๋งˆ๊ตฌ์žก์ด๋กœ ๊ฐ€์ ธ์˜ด ๋ฐ์ดํ„ฐ๋ฅผ ์ฑ„๊ตดํ•˜๋Š” ํ˜„์žฅ์—์„œ ๋งค์šฐ ๋นˆ๋ฒˆํ•˜๊ฒŒ ์“ฐ์ด๋Š” ๊ธฐ์ˆ ์ด๋‚˜, ํฌ๋กค๋ง/์Šคํฌ๋ž˜ํ•‘์œผ๋กœ ๊ฐ€์ ธ์˜จ ๋ฐ์ดํ„ฐ๋Š” ํœ˜๋ฐœ์„ฑ์ด ๊ฐ•ํ•˜๋ฉฐ ๋ณ€ํ™”๊ฐ€ ์žฆ๋‹ค. ์›น์˜ ๊ตฌ์„ฑ 1. HTML : ์ง‘์˜ ๋ผˆ๋Œ€ 2. CSS : ์ธํ…Œ๋ฆฌ์–ด 3. JS (JavaScript) : ์‚ฌ๋žŒ์˜ ๋‹ค์–‘ํ•œ ํ™œ๋™(์‚ด์•„์žˆ๊ฒŒ ํ•˜๋Š” ๊ฒƒ) → ์ฐฝ๋ฌธ ์—ฌ๋‹ซ๊ธฐ, ๋ถˆ ๋„๊ณ  ์ผœ๊ธฐ ๋“ฑ HTML Hyper Text Markup Language : elem.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2023. 2. 9.
  • [๋ฐฉ๋ฌธ์ž์ˆ˜ ์˜ˆ์ธก] Kaggle ๋ฐ์ดํ„ฐ ๋ฐ LSTM, GRU ๋ชจ๋ธ์„ ํ™œ์šฉํ•œ ์ƒ๊ถŒ(์‹๋‹น) ๋ฐฉ๋ฌธ์ž ์ˆ˜ ์˜ˆ์ธก ๋ณดํ˜ธ๋˜์–ด ์žˆ๋Š” ๊ธ€์ž…๋‹ˆ๋‹ค. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2022. 12. 26.
  • ML 3. ์‹œ๊ณ„์—ด๋ถ„์„ - AR, MA, ARIMA ๋ฐฉ๋ฌธ์ž์ˆ˜ ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ํ•˜๋Š”๋ฐ RNN, LSTM๋„ ์ค‘์š”ํ•˜์ง€๋งŒ ARIMA๋„ ํ•œ ๋ฒˆ ๋‚ด๊ฐ€ ๊ฐ€์ง„ ๋ฐ์ดํ„ฐ์— ์ ์šฉํ•ด๋ณผ ์ˆ˜ ์žˆ์ง€ ์•Š์„๊นŒํ•˜์—ฌ ARIMA๋ฅผ ๋” ๊ณต๋ถ€ํ•ด๋ณด๊ธฐ๋กœ ํ–ˆ๋‹ค. ๊ฐ€๋ณด์ž๊ณ ! ์ „๋ฐ˜์ ์ธ ์ถœ์ฒ˜๋Š” https://assaeunji.github.io/statistics/2021-08-23-arima/ ์‹œ๊ณ„์—ด ๋ถ„์„ ์‹œ๋ฆฌ์ฆˆ (2): AR / MA / ARIMA ๋ชจํ˜•, ์–ด๋””๊นŒ์ง€ ํŒŒ๋ดค๋‹ˆ? ์ด๋ฒˆ ํฌ์ŠคํŒ…์€ ์‹ค์ „ ์‹œ๊ณ„์—ด ๋ถ„์„: ํ†ต๊ณ„์™€ ๋จธ์‹ ๋Ÿฌ๋‹์„ ํ™œ์šฉํ•œ ์˜ˆ์ธก ๊ธฐ๋ฒ• ์ฑ…๊ณผ Forecasting: Principles and Practice์ฑ…์„ ๊ธฐ๋ฐ˜์œผ๋กœ AR, MA, ARIMA ๋ชจํ˜•์„ ์ •๋ฆฌํ•˜๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค. ์ œ๋ชฉ์€ “์–ด๋””๊นŒ์ง€ ํŒŒ๋ดค๋‹ˆ”๋กœ ๊ฑฐ assaeunji.github.io ์ž…๋‹ˆ๋‹ค... ARIMA Autoregressive Integre.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2022. 11. 29.
  • ์ฐจํŠธ ์‹œ๊ฐํ™” - ์‹œ๊ณ„์—ด ๊ทธ๋ž˜ํ”„ ๊ทธ๋ฆฌ๊ธฐ https://joyfuls.tistory.com/54 ์‹œ๊ฐํ™” """ from datetime import datetime # ํŒจํ‚ค์ง€ - ๋ชจ๋“ˆ (์ด๋ฆ„ ๊ฐ™์Œ) import pandas as pd # csv file read import matplotlib.pyplot as pl" data-og-host="joyfuls.tistory.com" data-og-source-url="https://joyfuls.tistory.com/54" data-og-url="https://joyfuls.tistory.com/54" data-og-image="https://scrap.kakaocdn.net/dn/dSJ36n/hyQE3Z37yl/LyLsBOtJvgAnyixFl1l9bK/img.png?width=597&height.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2022. 11. 24.
  • Python numpy: np.log1p()๋ž€ ๋ญ˜๊นŒ? ํฌ์Šค์ฝ” ๋น…๋ฐ์ดํ„ฐ ํ”„๋กœ์ ํŠธ์˜ ๋ฐ์ดํ„ฐ ์ „์ฒ˜๋ฆฌ ๋ถ€๋ถ„์„ ๋ดค๋Š”๋ฐ, ์—ฐ์†ํ˜•์ธ ๊ฒฐ๊ณผ๋ณ€์ˆ˜์— np.log1p() ํ•จ์ˆ˜๋ฅผ ์ทจํ•ด์ค€ ๊ฒƒ์„ ๋ณด์•˜๋‹ค. ์™œ np.log1p()๋ฅผ ํ•ด์ค€ ๊ฒƒ์ผ๊นŒ? https://velog.io/@gjtang/np.log1p%EB%A5%BC-%ED%95%98%EB%8A%94-%EC%9D%B4%EC%9C%A0 np.log1p()๋ฅผ ํ•˜๋Š” ์ด์œ  np.log1p()๋ฅผ ํ•˜๋Š” ์ด์œ  velog.io โ€ป ์ฐธ๊ณ  ๋กœ๊ทธ ํฐ ๊ฐ’์„ ์ž‘์€ ๊ฐ’์œผ๋กœ ํ‘œํ˜„ํ•˜๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉ๋œ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, NN์ด๋‚˜ logistic regression์˜ ๊ฒฝ์šฐ, binary classification์˜ ๋งˆ์ง€๋ง‰ ๋ ˆ์ด์–ด์—์„œ activation function์œผ๋กœ sigmoid๋ฅผ ํ™œ์šฉํ•œ๋‹ค.(softmax๋Š” multinomial classification) ์ด๊ฑด.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2022. 11. 21.
  • ML 0. ํ†ต๊ณ„๋ถ„์„ | ํ†ต๊ณ„์  ์ถ”๋ก ๊ณผ ํ†ต๊ณ„์  ๊ฒ€์ • ํ†ต๊ณ„๋ถ„์„(Statistical Analsis) 1. ํ†ต๊ณ„ํ•™๊ณผ ๊ธฐ์ˆ ํ†ต๊ณ„ 2. ํ™•๋ฅ ๋ถ„ํฌ 3. ํ†ต๊ณ„์  ์ถ”๋ก ๊ณผ ํ†ต๊ณ„์  ๊ฒ€์ • ← ์˜ค๋Š˜์€ ์—ฌ๊ธฐ! 1๋ฒˆ๊ณผ 2๋ฒˆ์„ ๋จผ์ € ๋ณด๊ณ ์‹ถ๋‹ค๋ฉด? https://heesleisure.tistory.com/28 ML 0. ํ†ต๊ณ„๋ถ„์„ ํ†ต๊ณ„๋ถ„์„(Statistical Analsis) 1. ํ†ต๊ณ„ํ•™๊ณผ ๊ธฐ์ˆ ํ†ต๊ณ„ 2. ํ™•๋ฅ ๋ถ„ํฌ 3. ํ†ต๊ณ„์  ์ถ”๋ก ๊ณผ ํ†ต๊ณ„์  ๊ฒ€์ • 1. ๊ธฐ์ˆ ํ†ต๊ณ„ ๋ฐ์ดํ„ฐ์˜ ์†์„ฑ์„ ํŠน์ •ํ•œ ํ†ต๊ณ„๋Ÿ‰์„์‚ฌ์šฉํ•ด ์ •๋ฆฌ, ์š”์•ฝ, ์„ค๋ช…ํ•˜๋Š” ๋ฐฉ๋ฒ• ์ค‘์‹ฌ์ฒ™๋„ ์ค‘์‹ฌ๊ฒฝํ–ฅ์„ฑ: heesleisure.tistory.com 3. ํ†ต๊ณ„์  ์ถ”๋ก ๊ณผ ํ†ต๊ณ„์  ๊ฒ€์ • 1) ๊ธฐ์ˆ ํ†ต๊ณ„์™€ ์ถ”๋ก ํ†ต๊ณ„ - ๊ธฐ์ˆ ํ†ต๊ณ„: ์ธก์ •์ด๋‚˜ ์‹คํ—˜์„ ํ†ตํ•ด ์ˆ˜์ง‘ํ•œ ํ†ต๊ณ„ ์ž๋ฃŒ์˜ ์ •๋ฆฌ/ํ‘œํ˜„/์š”์•ฝ/ํ•ด์„์„ ํ†ตํ•˜์—ฌ ์ž๋ฃŒ์˜ ํŠน์„ฑ์„ ๊ทœ๋ช…ํ•˜๋Š” ๋ฐฉ๋ฒ•๊ณผ ๊ธฐ๋ฒ• - ์ถ”๋ก ํ†ต๊ณ„: ํ•œ ๋ชจ์ง‘๋‹จ.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2022. 11. 16.
  • CNN(Convolutional Neural Network) CNN(Convolutional Neural Network) Convolution์„ ํ†ตํ•œ Filtering๊ณผ Max Pooling์„ ๋ฐ˜๋ณตํ•˜์—ฌ ์ •๋ง ์ค‘์š”ํ•œ ํŠน์ง•์„ ์ •์ œํ•œ ํ›„ Classificationํ•˜๋Š” ๊ฒƒ ๊ณผ์ • Feature extraction + Classification - Feature extraction: Convolutional layer + max pooling, ํŠน์ง•์„ ๋ฝ‘์•„๋ƒ„ - Classification: Fully-connected layer, ๋ฌผ์ฒด๋ฅผ ํŒ๋‹จํ•จ Neural Network ์ด์ „์—๋Š”? Adaptive boosting(Adaboost) :์‚ฌ๋žŒ์ด ๊ธฐ์ •์˜ํ•œ ํ•„ํ„ฐ๋ฅผ ํฌ๊ธฐ์™€ ๋ชจ์–‘์„ ๋ฐ”๊พธ๊ณ  ํšŒ์ „์‹œํ‚ค๋ฉฐ ๋นจ๊ฐ„์ƒ‰์˜ ๋ฐ”์šด๋”ฉ ๋ฐ•์Šค ์˜์—ญ์— ๋Œ€ํ•ด computation ์—ฐ์‚ฐ์„ ํ•จ ์ขŒ์ƒ๋‹จ์—์„œ๋ถ€ํ„ฐ ์Šฌ๋ผ์ด๋”ฉ.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2022. 11. 4.
  • ML 0. ํ†ต๊ณ„๋ถ„์„ ํ†ต๊ณ„๋ถ„์„(Statistical Analsis) 1. ํ†ต๊ณ„ํ•™๊ณผ ๊ธฐ์ˆ ํ†ต๊ณ„ 2. ํ™•๋ฅ ๋ถ„ํฌ 3. ํ†ต๊ณ„์  ์ถ”๋ก ๊ณผ ํ†ต๊ณ„์  ๊ฒ€์ • 1. ๊ธฐ์ˆ ํ†ต๊ณ„ ๋ฐ์ดํ„ฐ์˜ ์†์„ฑ์„ ํŠน์ •ํ•œ ํ†ต๊ณ„๋Ÿ‰์„์‚ฌ์šฉํ•ด ์ •๋ฆฌ, ์š”์•ฝ, ์„ค๋ช…ํ•˜๋Š” ๋ฐฉ๋ฒ• ์ค‘์‹ฌ์ฒ™๋„ ์ค‘์‹ฌ๊ฒฝํ–ฅ์„ฑ: ์ค‘์‹ฌ์ ์ธ ๊ฒฝํ–ฅ์„ ๋‚˜ํƒ€๋‚ด๋Š” ์ฃผ์š”ํ•œ ๊ธฐ์ˆ ํ†ต๊ณ„ ์‚ฐ์ˆ ํ‰๊ท , ์ค‘์•™๊ฐ’, ์ตœ๋นˆ์น˜ ์‚ฐํฌ์ฒ™๋„ ๋ฐ์ดํ„ฐ๊ฐ€ ํผ์ ธ์žˆ๋Š” ์ •๋„๋ฅผ ์„ค๋ช…ํ•˜๋Š” ๊ธฐ์ˆ ํ†ต๊ณ„ ๋ฒ”์œ„, ๋ถ„์‚ฐ, ํ‘œ์ค€ํŽธ์ฐจ, ์‚ฌ๋ถ„์œ„์ˆ˜ ๋ฒ”์œ„(IQR) ๋ถ„ํฌ๋ชจ์–‘ ๋ฐ์ดํ„ฐ๊ฐ€ ํผ์ ธ์žˆ๋Š” ํ˜•ํƒœ๋ฅผ ๋‚˜ํƒ€๋‚ธ ๊ฒƒ ๋„์ˆ˜๋ถ„ํฌ, ๋น„๋Œ€์นญ๋„(์™œ๋„, ์น˜์šฐ์นœ ์ •๋„), ์ฒจ๋„(๋พฐ์กฑํ•œ๊ฐ€ ์™„๋งŒํ•œ๊ฐ€) 1) ์‚ฐํฌ์ฒ™๋„ - ๋ฒ”์œ„: ์ตœ๋Œ€๊ฐ’๊ณผ ์ตœ์†Œ๊ฐ’์˜ ์ฐจ์ด - ์ œ๊ณฑ์˜ ํ•ฉ(Sum of Squares) ํŽธ์ฐจ๋Š” ๋‹ค ๋”ํ•˜๋ฉด 0์ด ๋˜๋Š” ๋”œ๋ ˆ๋งˆ๊ฐ€ ์ƒ๊ธด๋‹ค → MSE(์ œ๊ณฑํ•˜์—ฌ ํ•ฉ) / MAE(์ ˆ๋Œ€๊ฐ’์˜ ํ•ฉ) ์ž˜ ์•Œ๋ ค์ง„ ์˜ˆ๋Š” ํ‘œ์ค€ํŽธ์ฐจ, .. ๊ณต๊ฐ์ˆ˜ 15 ๋Œ“๊ธ€์ˆ˜ 0 2022. 10. 22.
  • ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์Šคํ„ฐ๋””0. ์‹œ๊ฐ„๋ณต์žก๋„์™€ ๋น…์˜ค(Big O) 1. ์‹œ๊ฐ„๋ณต์žก๋„๋ž€? (Time Complexity) ์‹คํ–‰์‹œ๊ฐ„(running time)์ด๋ž€ ํ•จ์ˆ˜/์•Œ๊ณ ๋ฆฌ์ฆ˜ ์ˆ˜ํ–‰์— ํ•„์š”ํ•œ ์Šคํ…(step) ์ˆ˜ ๊ฐ ๋ผ์ธ์„ ์ˆ˜ํ–‰ํ•˜๊ธฐ ์œ„ํ•ด ํ•„์š”ํ•œ ์Šคํ… ์ˆ˜๋Š” ์ƒ์ˆ˜(constant)๋ผ๊ณ  ๊ฐ€์ • T(N) = c1 + c2*(N+1) + c3*N + 1 = (c2+c3)*N + c1 + c2 + 1 = a*N + b N์ด ์ž‘์„ ๋•Œ์˜ ์‹คํ–‰์‹œ๊ฐ„์€ ์˜๋ฏธ๊ฐ€ ์—†๋‹ค. N์ด ๋ฌดํ•œ๋Œ€๋กœ ๊ฐˆ ๋•Œ N์ด ์ปค์งˆ์ˆ˜๋ก ๋œ ์ค‘์š”ํ•œ ๊ฒƒ์€ ์ œ๊ฑฐ(b ์ œ๊ฑฐ) ์ตœ๊ณ ์ฐจํ•ญ๋งŒ์ด ์˜๋ฏธ๋ฅผ ๊ฐ–๊ฒŒ๋˜๋ฉฐ(์—ฌ๊ธฐ์„œ๋Š” N) ์ตœ๊ณ ์ฐจํ•ญ์˜ ๊ณ„์ˆ˜(a) ๋˜ํ•œ ์˜๋ฏธ๊ฐ€ ์—†๋‹ค.(a ์ œ๊ฑฐ) → N๋งŒ ๋‚จ์Œ (Big) theta N = N → ์ ๊ทผ์  ๋ถ„์„์— ๋”ฐ๋ฅธ ์ ๊ทผ์  ํ‘œ๊ธฐ๋ฒ• ๋˜ํ•œ ์‹œ๊ฐ„๋ณต์žก๋„๋Š” ํ•จ์ˆ˜์˜ ์‹คํ–‰์‹œ๊ฐ„์„ ์ ๊ทผ์  ๋ถ„์„์„ ํ†ตํ•ด ์ ๊ทผ์  ํ‘œ๊ธฐ๋ฒ•์œผ๋กœ ํ‘œํ˜„ํ•œ๋‹ค. ์‹œ๊ฐ„.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2022. 10. 13.
  • ML 2. Logistic Regression(๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€๋ชจํ˜•) 1. Logistic Regression(๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€๋ชจํ˜•) ๊ฐœ๋… 2. Confusion Matrix์™€ AUROC 3. Multiclass Classification 1. Logistic Regression(๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€๋ชจํ˜•) ๊ฐœ๋… ์—ฐ์†ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ inputํ•˜์—ฌ sigmoid ํ•จ์ˆ˜๋ฅผ ํ†ตํ•ด ์ด์‚ฐํ˜•(๋ฒ”์ฃผํ˜•) ๋ฐ์ดํ„ฐ๋ฅผ ๋„์ถœ(output) ex)binary classfication Linear Regression + Rogistic Functoin (์„ ํ˜•ํšŒ๊ท€ + ๋กœ์ง€์Šคํ‹ฑ ํ•จ์ˆ˜) ์ฆ‰, ์ •๋‹ต์ด ๋ฒ”์ฃผํ˜•์ผ ๋•Œ ์‚ฌ์šฉํ•˜๋Š” Regression Model ์ผ๋ฐ˜ ์„ ํ˜•/๋น„์„ ํ˜• ํšŒ๊ท€๋ชจ๋ธ๊ณผ ๊ฐ™์ด ์—ฐ์†ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ๋„ฃ์–ด์ฃผ๋Š” ๊ฒƒ(input)์€ ๊ฐ™์Œ https://www.youtube.com/watch?v=14eTDPJLkis 2. Con.. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2022. 7. 23.
  • Python numpy: reshape(-1, n) ์—์„œ -1์€ ๋ญ˜๊นŒ? Regression ์ธ๊ฐ•๋“ฃ๋Š” ๋„์ค‘ ๋‚˜์˜จ reshape(-1, 1)์„ ๋ณด๊ณ  -1์ด ์™œ ๋“ค์–ด๊ฐ€๋Š”๊ฑธ๊นŒ? ํ•˜๊ณ  ๊ถ๊ธˆํ•ด์„œ ์ฐพ์•„๋ด„ ๊ฒฐ๋ก ๋ถ€ํ„ฐ, -1์€ ๋งˆ์น˜ n๊ณผ ๊ฐ™์ด ๊ฐ€๋ณ€์ ์ž„์„ ๋‚˜ํƒ€๋‚ด๋Š” ์ˆซ์ž์ด๋ฉฐ, ๋’ค์˜ ์—ด์˜ ์ˆซ์ž์— ๋”ฐ๋ผ์„œ ๋ชจ๋“  ์›์†Œ๊ฐ€ ๋ˆ„๋ฝ๋˜์ง€ ์•Š๋„๋ก ํ–‰๋ ฌ์„ ๊ตฌ์„ฑํ•ด์คŒ ex) a = np.array([[1,2,3,4], [5,6,7,8], [9,10,11,12]]) a.shape >> (3, 4) a.reshape(-1, 12) >> ์—ด์ด 12๊ฐœ๊ฐ€ ๋˜๋„๋ก ํ–‰์ด 1๊ฐœ๊ฐ€ ๋จ a.reshape(-1, 6) a.reshape(-1, 2) a.reshape(-1,12) ์—ด์ด 6๊ฐœ๊ฐ€ ๋˜์–ด์•ผ ํ•˜๋ฏ€๋กœ 2x6 ํ–‰๋ ฌ ๊ตฌ์„ฑ ์—ด์ด 2๊ฐœ๊ฐ€ ๋˜์–ด์•ผ ํ•˜๋ฏ€๋กœ 6x2 ํ–‰๋ ฌ ๊ตฌ์„ฑ ์—ด์ด 12๊ฐœ๊ฐ€ ๋˜์–ด์•ผ ํ•˜๋ฏ€๋กœ 1x12 ํ–‰๋ ฌ ๊ตฌ์„ฑ 1 3 5 7 9 11 .. ๊ณต๊ฐ์ˆ˜ 0 ๋Œ“๊ธ€์ˆ˜ 0 2022. 7. 23.
    ๋ฌธ์˜์•ˆ๋‚ด
    • ํ‹ฐ์Šคํ† ๋ฆฌ
    • ๋กœ๊ทธ์ธ
    • ๊ณ ๊ฐ์„ผํ„ฐ

    ํ‹ฐ์Šคํ† ๋ฆฌ๋Š” ์นด์นด์˜ค์—์„œ ์‚ฌ๋ž‘์„ ๋‹ด์•„ ๋งŒ๋“ญ๋‹ˆ๋‹ค.

    ยฉ Kakao Corp.