مجموعه داده‌ها (Data Collection) چیست و چه کاربردی دارد؟

چرا به مجموعه داده‌ها نیاز داریم؟

مجموعه داده‌ها می‌توانند به صورت عمومی در دسترس مردم قرار دارد یا به صورت ویژه برای یک پروژه خاص تهیه می‌شوند. برخی مجموعه داده‌ها ممکن است توسط سازمان‌ها، دولت‌ها، مؤسسات تحقیقاتی یا شرکت‌ها جمع‌آوری شده باشند و به عنوان داده‌های عمومی در دسترس قرار دارند. مثال‌هایی از مجموعه داده‌ها عبارتند از: مجموعه داده‌های آموزش و آزمون در حوزه یادگیری ماشین، مجموعه داده‌های پزشکی، مجموعه داده‌های اقتصادی، مجموعه داده‌های هواشناسی و غیره.

تحلیل و استفاده از مجموعه داده‌ها نقش بسیار مهمی در توسعه روش‌ها و الگوریتم‌های یادگیری ماشین، هوش مصنوعی، تجزیه و تحلیل داده، تحلیل تصاویر، تحلیل صوت و بسیاری از زمینه‌های دیگر بازی می‌کند. انتخاب و ارزیابی درست مجموعه داده‌ها برای هر پروژه بسیار مهم است تا نتایج قابل اعتماد و قابل تعمیمی به دست آید.

جمع‌آوری داده‌ها می‌تواند به صورت مستقیم یا غیرمستقیم انجام شود. در جمع‌آوری مستقیم داده‌ها، محققان مستقیما با منابع یا ذینفعان در ارتباط هستند و داده‌های مورد نیاز را از آن‌ها جمع‌آوری می‌کنند. این منابع می‌توانند مصاحبه‌ها، پرسشنامه‌ها، نظرسنجی‌ها، آزمایش‌ها و سایر روش‌های مستقیم تعامل با افراد یا منابع داده باشد.

در جمع‌آوری غیرمستقیم داده‌ها، داده‌ها از منابع موجود استخراج می‌شوند که می‌تواند شامل استفاده از داده‌های آماری، داده‌های تاریخی، پایگاه‌های داده عمومی، سامانه‌های آنلاین، لاگ‌ها، سنسورها و دستگاه‌های مختلف باشد.

نکاتی که باید هنگام جمع‌آوری داده‌ها به آن دقت کرد

هنگام جمع‌آوری داده‌ها، پیشنهاد می‌کنیم به نکات مهم زیر دقت کنید:

1.  تعیین منابع داده: باید تعیین کنید که داده‌های مورد نیاز شما از کجا قابل تهیه هستند که می‌تواند پایگاه‌های داده داخلی سازمانی، منابع عمومی، سرویس‌های وب، داده‌های آماری و غیره باشد.
2.  طراحی روش جمع‌آوری: باید روش مناسبی برای جمع‌آوری داده‌ها انتخاب کنید که شامل ابزارها و فنونی مانند پرسشنامه‌‌ها، مصاحبه، تست‌ها و غیره است.
3.  انتقال و ذخیره‌سازی داده: باید داده‌های جمع‌آوری شده را به صورت منظم و سازمان‌یافته ذخیره کنید. این فرآیند می‌تواند شامل استفاده از پایگاه‌های داده، فایل‌ها، سامانه‌های ذخیره‌سازی ابری و غیره باشد.
4.  حفظ اطلاعات و حریم خصوصی: باید در نظر داشته باشید که هنگام جمع‌آوری داده‌ها، حقوق و حریم خصوصی افراد را رعایت کنید و از روش‌های مناسب برای حفظ حریم خصوصی و امنیت داده‌ها استفاده کنید.

Data Creation در علم داده‌ها چه معنایی دارد؟

در علم داده، Data Creation به ایجاد داده‌های جدید یا تولید داده‌های مصنوعی به منظور استفاده در تحقیقات و تجزیه و تحلیل داده‌ها اشاره دارد. در این روند، داده‌ها به صورت مستقیم توسط متخصصان یا با استفاده از روش‌های خودکار و محاسباتی ایجاد می‌شوند. Data Creation می‌تواند به دو شکل انجام شود:

• ایجاد داده‌های جدید: در این حالت، داده‌های جدید توسط افراد یا تجهیزات جمع‌آوری می‌شوند. به عنوان مثال، محققان می‌توانند آزمایش‌هایی روی دستگاه‌ها انجام داده یا مدل‌هایی برای شبیه‌سازی داده‌ها ایجاد کنند و داده‌های جدید را به دست آورند. همچنین، متخصصان می‌توانند اطلاعات جدید را بر مبنای مصاحبه‌ها، پرسشنامه‌ها یا ابزارهای دیگر ایجاد کنند.
• تولید داده‌های مصنوعی: در این حالت، داده‌ها به صورت خودکار و با استفاده از الگوریتم‌ها و روش‌های محاسباتی تولید می‌شوند. این روش معمولا در مواقعی استفاده می‌شود که داده‌های واقعی در دسترس نباشند یا محدودیت‌هایی مانند حریم خصوصی وجود داشته باشد. مثال‌هایی از تولید داده‌های مصنوعی شامل شبکه‌های مولد تخاصمی (GAN)، ساختارهای داده‌های تصادفی و سیستم‌های تولید داده مصنوعی هستند.

Data Creation در علم داده بسیار مهم است، زیرا در بسیاری از موارد داده‌های واقعی و کامل برای تحقیقات و تجزیه و تحلیل موجود نیستند. با ایجاد داده‌های جدید یا تولید داده‌های مصنوعی، محققان قادرند به تکمیل داده‌ها، افزایش حجم داده‌ها، آزمودن مدل‌ها و الگوریتم‌ها، ارزیابی و انجام آزمایش‌های مختلف بپردازند. همچنین، ایجاد داده‌های مصنوعی می‌تواند بهبود عملکرد الگوریتم‌ها و مدل‌های ماشینی را در شرایطی که داده‌های برچسب‌دار کمی در دسترس هستند، فراهم کند.

روش‌های تولید داده‌های مصنوعی برای تحقیقات و تجزیه و تحلیل داده‌ها

همان‌گونه که اشاره کردیم روش‌های مختلفی برای تولید داده‌های مصنوعی برای تحقیقات و تجزیه و تحلیل داده‌ها وجود دارد که از مهم‌ترین آن‌ها به موارد زیر باید اشاره کرد:

• شبکه‌های مولد تخاصمی: GANها مدل‌های عمومی هستند که با استفاده از دو شبکه عصبی به نام شبکه مولد و شبکه تمییزدهنده عمل می‌کنند. شبکه مولد سعی می‌کند داده‌های مصنوعی تولید کند که به طور ظاهری شبیه به داده‌های واقعی باشند، در حالی که شبکه تمییزدهنده سعی می‌کند بین داده‌های واقعی و تولید شده توسط شبکه مولد تمایز قائل شود. این فرایند تکرار می‌شود تا شبکه مولد بتواند داده‌های مصنوعی با کیفیت بالا تولید کند. GANها به طور گسترده در تولید تصاویر و ویدئوهای مصنوعی استفاده می‌شوند.
• ساختارهای داده‌های تصادفی: در برخی موارد، محققان از ساختارهای داده‌های تصادفی برای تولید داده‌های مصنوعی استفاده می‌کنند. به عنوان مثال، می‌توانند از توزیع‌های احتمالی مختلف مانند توزیع نرمال، توزیع یکنواخت و توزیع پوآسون برای تولید داده‌های مصنوعی استفاده کنند. این روش معمولا در تجزیه و تحلیل آماری و آزمایش‌های شبیه‌سازی استفاده می‌شود.
• سیستم‌های تولید داده مصنوعی: برای تولید داده‌های مصنوعی در بعضی موارد، سیستم‌های خاصی طراحی می‌شوند. این سیستم‌ها می‌توانند شامل الگوریتم‌های پیچیده و قوانین مشخصی باشند که براساس آن‌ها داده‌های مصنوعی تولید می‌شود. به عنوان مثال، در حوزه بازی‌سازی، سیستم‌های تولید داده مصنوعی برای ایجاد شخصیت‌ها، محیط‌ها و رویدادها استفاده می‌شوند.

موارد یاد شده تنها برخی از روش‌های تولید داده‌های مصنوعی هستند و هر یک با توجه به موضوع و هدف تحقیقات باید مورد استفاده قرار گیرند. این روش‌ها محققان را قادر می‌سازند تا داده‌های مصنوعی با کیفیت و متنوعی را تولید کرده و از آن‌ها در تحقیقات و تجزیه و تحلیل داده‌ها استفاده کنند. البته، در استفاده از داده‌های مصنوعی باید به دقت به تطابق آن‌ها با داده‌های واقعی و همچنین محدودیت‌ها و مشکلات ممکن در این روش‌ها توجه کرد.

مثالی از نحوه استفاده از ساختار داده‌های تصادفی در تجزیه و تحلیل آماری

ساختارهای داده‌های تصادفی به طور گسترده در تجزیه و تحلیل آماری استفاده می‌شوند. یکی از مثال‌های رایج استفاده از این ساختارها در تجزیه و تحلیل آماری، تولید نمونه‌های تصادفی است. تولید نمونه‌های تصادفی به معنای انتخاب تصادفی از یک جامعه یا جمعیت با هدف بررسی ویژگی‌ها یا خصوصیات آن جامعه است. این روش به محققان اجازه می‌دهد تا براساس نمونه‌های کوچکتر و قابل دسترس، استنباط‌هایی درباره کل جامعه بکنند. ساختارهای داده‌های تصادفی می‌توانند براساس توزیع‌های احتمالی مختلفی مانند توزیع نرمال، توزیع یکنواخت یا توزیع برنولی انتخاب شوند.

به عنوان مثال، فرض کنید شما می‌خواهید میانگین قد جمعیتی را تخمین بزنید. به جای اندازه‌گیری قد تمام افراد جامعه، می‌توانید نمونه‌ای از افراد را به صورت تصادفی انتخاب کنید و قد آن‌ها را اندازه‌گیری کنید. با استفاده از این نمونه تصادفی، می‌توانید تخمینی از میانگین قد کل جامعه را بدست آورید و با استفاده از روش‌های آماری، بازه اطمینان و تحلیل‌های دیگر را ارائه دهید.

همچنین، ساختارهای داده‌های تصادفی در طراحی آزمایش‌ها نیز استفاده می‌شوند. در آزمایش‌های تصادفی، افراد به طور تصادفی به گروه‌های مختلف تقسیم می‌شوند و سپس تاثیر متغیرهای مستقل بر متغیرهای وابسته مورد بررسی قرار می‌گیرد. این روش به محققان اجازه می‌دهد تا از تاثیر متغیرهای تصادفی و تصادفی در تحلیل‌های آماری خود استفاده کنند و نتایج قابل اعتمادی را بدست آورند.

به طور کلی، استفاده از ساختارهای داده‌های تصادفی در تجزیه و تحلیل آماری به محققان امکان می‌دهد تا نمونه‌های کوچکتر را به طور موثری برای استنباط‌های کلی استفاده کنند و نتایج قابل اعتماد و قابل تعمیم‌تری را به دست آورند.

چه نوع الگوریتم‌ها و روش‌های محاسباتی برای تولید داده‌های مصنوعی استفاده می‌شود؟

برای تولید داده‌های مصنوعی، می‌توان از الگوریتم‌ها و روش‌های محاسباتی مختلف استفاده کرد. در زیر به برخی از این الگوریتم‌ها و روش‌ها اشاره می‌کنم:

• توزیع‌های احتمالی: استفاده از توزیع‌های احتمالی مختلف مانند توزیع نرمال، توزیع یکنواخت، توزیع پواسون و... برای تولید داده‌های مصنوعی رایج است. با استفاده از این توزیع‌ها، می‌توان داده‌هایی با ویژگی‌های خاص مانند میانگین، واریانس و توزیع خاص را تولید کرد.
• روش‌های مبتنی بر درخت: روش‌هایی مانند درخت تصمیم، جنگل تصادفی (Random Forest) و درخت تصمیم گرادیانی (Gradient Boosting Decision Tree) می‌توانند برای تولید داده‌های مصنوعی استفاده شوند. این روش‌ها با ساخت درخت‌های تصمیم و استفاده از قوانین و الگوهای موجود در داده‌های واقعی، داده‌های جدید را تولید می‌کنند.
• روش‌های مبتنی بر مدل‌های احتمالی: استفاده از مدل‌های احتمالی مانند مدل‌های بیزین، مدل‌های مخفی مارکوف (Hidden Markov Models) و مدل‌های گرافیکی مانند مدل‌های گرافیکی تصادفی (Random Graphical Models) نیز برای تولید داده‌های مصنوعی مورد استفاده قرار می‌گیرند. این روش‌ها با استفاده از مدل‌های احتمالی و استنتاج براساس آن‌ها، داده‌های جدید را تولید می‌کنند.
• روش‌های مبتنی بر شبکه‌های عصبی: شبکه‌های عصبی مولد (Generative Neural Networks) مانند شبکه‌های خودرمزنگار (Variational Autoencoders) و شبکه‌های مولد متغیر (Variational Generative Networks) نیز به منظور تولید داده‌های مصنوعی استفاده می‌شوند. این شبکه‌ها با استفاده از یک معماری شبکه عصبی و آموزش بر روی داده‌های واقعی، قادر به تولید داده‌های جدید هستند که به ویژگی‌های داده‌های واقعی شباهت دارند.
• روش‌های مبتنی بر نمونه‌برداری (Oversampling): در این روش، با استفاده از الگوریتم‌هایی مانند SMOTE سرنام (Synthetic Minority Over-sampling Technique) و ADASYN سرنام (Adaptive Synthetic Sampling) نمونه‌های جدیدی از داده‌های موجود تولید می‌شوند تا تعادل بین داده‌های کلاس‌های مختلف را بهبود دهند.

روش‌های مبتنی بر نمونه‌برداری چگونه عمل می‌کنند؟

الگوریتم‌های مبتنی بر نمونه‌برداری (Oversampling) روش‌هایی هستند که برای افزایش تعداد نمونه‌های داده‌های کلاس‌های کمیاب در مجموعه داده استفاده می‌شوند. این روش‌ها به صورت مصنوعی نمونه‌های جدیدی از داده‌های کمیاب تولید می‌کنند تا تعادل بین کلاس‌ها را بهبود دهند و مشکل نامتوازنی داده را حل کنند. یکی از الگوریتم‌های معروف تشدید نمونه SMOTE سرنام (Synthetic Minority Over-sampling Technique) است. این الگوریتم به صورت زیر عمل می‌کند:

1.  برای هر نمونه کمیاب، نزدیک‌ترین همسایه‌های آن را از کلاس مشابه پیدا کرده و برخی از آن‌ها را انتخاب می‌کند.
2.  برای هر زوج نمونه انتخاب شده، یک نمونه مصنوعی جدید تولید می‌شود. این نمونه با ترکیبی از نمونه اصلی کمیاب و یکی از همسایه‌های انتخاب شده، تولید می‌شود.
3. نمونه‌های مصنوعی تولید شده به مجموعه داده اصلی اضافه می‌شوند.

با اجرای مراحل فوق برای تمام نمونه‌های کمیاب در مجموعه داده افزایش می‌یابد و تعادل بین کلاس‌ها بهبود می‌یابد. این روش می‌تواند در مواردی که داده‌های کلاس کمیاب در مقایسه با داده‌های کلاس اکثریت به تعداد کمتری وجود دارند، مفید باشد. روش‌های دیگری مانند ADASYN  سرنام (Adaptive Synthetic Sampling) نیز برای نمونه‌برداری استفاده می‌شوند. ADASYN با در نظر گرفتن نرخ نمونه‌گیری متفاوت برای نمونه‌های کمیاب، با تمرکز بیشتر بر نمونه‌های دشوارتر، تعداد نمونه‌های مصنوعی تولید می‌کند. مزایای استفاده از روش‌های نمونه‌برداری به شرح زیر است:

• افزایش تعداد نمونه‌ها در کلاس‌های کمیاب که می‌تواند بهبود دقت مدل‌های آموزش دیده را به همراه داشته باشد.
• کاهش مشکل نامتوازنی داده و جلوگیری از بیش‌برازش (overfitting).
• بهبود توانایی تعمیم‌پذیری مدل‌ و مقابله با مشکل نامتوازنی داده‌ها.

Data Gathering در علم داده‌ها به چه معنا است؟

Data Gathering به مجموعه فعالیت‌ها و فرآیندهایی گفته می‌شود که برای جمع‌آوری داده‌ها از منابع مختلف انجام می‌شود. این فرآیند شامل جمع‌آوری، به‌روزرسانی، استخراج و ذخیره‌سازی داده‌ها است. Data Gathering یک مرحله کلیدی در روند تحقیقات و تحلیل داده‌ها است و از آن برای جمع‌آوری داده‌های مورد نیاز برای تحلیل و استفاده در مدل‌سازی و پژوهش‌های دیگر استفاده می‌شود. توجه به جزئیات در فرآیند Data Gathering بسیار مهم است، از جمله اطمینان از کیفیت و صحت داده‌ها، رعایت حریم خصوصی و مقررات مرتبط با حفظ داده‌ها و تهیه مستندات مربوط به فرآیند جمع‌آوری برای مراجعه و استفاده آینده.

آیا استفاده از داده‌های مصنوعی در تحقیقات و تجزیه و تحلیل داده‌ها همیشه مورد تأیید است؟

استفاده از داده‌های مصنوعی یا ساختگی (Synthetic Data) در تحقیقات و تجزیه و تحلیل داده‌ها می‌تواند یک روش مفید باشد، اما تأیید آن بستگی به شرایط و موارد خاص دارد. در زیر به برخی مزایا و محدودیت‌های استفاده از داده‌های مصنوعی اشاره می‌کنم:

مزایا:

• حفظ حریم خصوصی: با استفاده از داده‌های مصنوعی، امکان ارائه داده‌های واقعی بدون افشای اطلاعات حساس و شخصی وجود دارد. این موضوع می‌تواند در مواردی که حفظ حریم خصوصی از اهمیت بالایی برخوردار است، مفید باشد.
• دسترسی آسان‌تر: در برخی موارد، دسترسی به داده‌های واقعی ممکن نیست یا دسترسی به آن‌ها زمان‌بر و هزینه‌بر است. با استفاده از داده‌های مصنوعی، می‌توان این محدودیت‌ها را کاهش داد و دسترسی آسان‌تری به داده‌ها داشت.
• افزایش قابلیت تکرارپذیری: با استفاده از داده‌های مصنوعی، می‌توان تجربه و نتایج را تکرار کرده و اثبات‌پذیری آن‌ها را بررسی کرد. این امر می‌تواند در ارزیابی و تکمیل تحقیقات بسیار مفید باشد.

محدودیت‌ها:

• عدم نمایش تمام جزییات: داده‌های مصنوعی معمولا شبیه داده‌های واقعی هستند، اما ممکن است جنبه‌هایی از واقعیت را در نمایش داده‌ها از دست بدهند. این محدودیت می‌تواند تاثیرات برخی متغیرها را در تحقیقات و تحلیل‌ها نادیده بگیرد.
• فقدان تنوع: داده‌های مصنوعی معمولا براساس الگوها و رفتارهای مشخص تولید می‌شوند که می‌تواند منجر به کاهش تنوع داده‌ها و کاهش قابلیت تعمیم نتایج به داده‌های واقعی شود.
• عدم پوشش کامل: داده‌های مصنوعی ممکن است برخی عناصر را در مقایسه با داده‌های واقعی نادیده بگیرند که ممکن است باعث کاهش دقت و قابلیت اعتماد نتایج شود.

چه مراحلی در فرآیند تمیزکاری داده‌ها وجود دارد؟

فرآیند تمیزکاری داده‌ها (Data Cleaning) شامل مراحل مختلفی است که برای تهیه و تامین داده‌های موثق و قابل اعتماد برای تجزیه و تحلیل استفاده می‌شوند. در زیر مراحل اصلی فرآیند تمیزکاری داده‌ها را بررسی می‌کنم:

• شناخت داده‌های ناهنجار: در این مرحله، باید داده‌هایی که مشکلاتی مانند مقادیر نامعتبر، داده‌های خارج از محدوده، یا داده‌های تکراری دارند، شناسایی شوند. برای این کار، می‌توان از روش‌های مختلفی مانند بررسی و تجزیه تفصیلی داده‌ها، استفاده از قوانین و محدودیت‌های دامنه، یا الگوریتم‌های تشخیص خطا استفاده کرد.
• پردازش و حذف داده‌های ناهنجار: در این مرحله، داده‌های ناهنجار شناسایی شده را می‌توان بررسی، اصلاح، یا حذف کرد که شامل تغییر مقادیر نامعتبر به مقادیر صحیح، حذف ردیف‌ها یا ستون‌هایی که دارای داده نامعتبر هستند، یا تعویض مقادیر خارج از محدوده با مقادیر معتبر است.
• پر کردن مقادیر ناقص: در برخی موارد، داده‌ها ممکن است مقداری نداشته باشند و مشکلاتی را به وجود آروند. در این صورت، می‌توان با استفاده از روش‌های مختلف مانند تخمین‌زنی، پیش‌بینی مقادیر یا استفاده از روش‌های تکمیل داده (imputation)، مقادیر از دست رفته را پر کرد.
• همسان‌سازی و استانداردسازی: در این مرحله، داده‌ها به صورت یکنواخت و استاندارد قرار می‌گیرند که شامل تبدیل واحدها، تنظیم قالب و نمایش داده‌ها، و استفاده از نام‌گذاری یکسان برای متغیرها و دسته‌بندی‌ها است.
• تکرار و ارزیابی: بعد از انجام مراحل تمیزکاری، ممکن است نیاز به تکرار مراحل قبلی وجود داشته باشد تا داده‌ها به صورت نهایی آماده استفاده شوند. همچنین، پس از تمیزکاری، داده‌ها باید مورد ارزیابی قرار گیرند تا اطمینان حاصل شود که مشکلات ذکر شده برطرف شده‌اند.