بر روی لینک های زیر کلیک نمایید
دانلود رایگان کد The minCEntropy algorithm for alternative clustering - MATLAB
دانلود رایگان کد The Spherical K-means algorithm - MATLAB
دانلود رایگان کد Boosted Binary Regression Trees - MATLAB
دانلود رایگان کد Similarity classifier - MATLAB
دانلود رایگان کد k-means intra cluster measure - MATLAB
دانلود رایگان کد k-means++ - MATLAB
دانلود رایگان کد K2 algorithm for learning DAG structure in Bayesian network - MATLAB
دانلود رایگان کد matlab - Maximum(minimum) Weight Spanning Tree Directed
دانلود رایگان کد Data mining داده کاوی مجموعه 1 - MATLAB
دانلود رایگان کد Data mining داده کاوی مجموعه 2 - MATLAB
بر روی لینک های زیر کلیک نمایید
- دانلود رایگان فیلم های آموزشی الگوریتم های بهینه سازی ، شبکه عصبی ، منطق فازی و ...
- انجام پروژه های برنامه نویسی MATLAB
- تدریس خصوصی ، دوره های آموزشی الگوریتم های بهینه سازی ، شبکه عصبی ، منطق فازی و ...
- دانلود رایگان فایل های آموزشی
- دانلود رایگان کد های آماده MATLAB
مشاوره انجام پروپزال انجام پایان نامه کارشناسی ارشد دکتری انجام پروژه های دانشجویی برنامه نویسی کدنویسی متلب matlab مطلب انجام پروژه matlab انجام پروژه متلب انجام پروژه مطلب Cplex Gams Lingo ای اس پی ASPPHP JAVA جاوا Delphi++C Visual C Assembly #C Visual Basic OMNET OPNET Linux Oracle MYSQL SQLSERVER لینوکس انجام پروژه و در صورت تمایل فیلم آموزشی پروژه آموزش حضوری پروژه Email : matlab_net@yahoo.com Phone : 09190090258 گروه آموزشی متلب نت تمام الگوریتم های فرا ابتکاری گسسته پیوسته چند هدفه رشته های مهندسی صنایع ، مدیریت ، کامپیوتر ، هوش مصنوعی ، عمران ، برق ، مالی ، ریاضی، مکانیک و ... مشاوره و انجام پایان نامه های کارشناسی ارشد و دکتری تشخیص الگویادگیری ماشین پردازش صدا پردازش تصویر Image processing شبکه عصبی منطق فازی داده کاوی Data Mining شبیه سازی کامپیوتری توالی عملیات و زمان بندی زنجیره تامین مدل سازی ریاضی مسیریابی وسیله نقلیه سیستم تولیدی سلولیزمان بندی پروژهقابلیت اطمینانبرنامه ریزی تولیدانتخاب تامین کنندگانکنترل موجودی تصمیم گیری چند معیاره AHP SAW TOPSIS VIKOR PROMTHEE ENTROPY FUZZY GRAY فازی قطعی بازه ای تحلیل پوششی داده ها BCC DEA CCR قابل توجه دانشجویانی که می خواهند در پایان نامه یا مقالات خود از هوش مصنوعی ، الگوریتم های فرا ابتکاری یا شبکه عصبی و... استفاده کنند برای این دسته از دانشجویان بر روی مدل مد نظرشون پروژه پیاده سازی و آموزش داده خواهد شد الگوریتم های بهینه سازی فرا ابتکاری فراابتکاری تکاملی metaheuristicsانجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم ژنتیک Genetic Algorithm GA در با متلب matlab مطلب برنامه ریزی ژنتیک Genetic Programming یا GP انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم شبیه سازی تبرید Simulated Annealing یا SA در با متلب matlab مطلب انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم بهینه سازی ازدحام ذرات Particle Swarm Optimization یا PSO در با متلب matlab مطلب الگوریتم مورچگان الگوریتم پرندگان الگوریتم پرندگان چند هدفه تکامل تفاضلی Differential Evolution یاDE انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم بهینه سازی کلونی مورچگانAnt Colony Optimization یاACO در با متلب matlab مطلب بهینه سازی کلونی مورچگان برای فضای پیوسته یا ACOR برنامه ریزی تکاملی Evolutionary Programming یا EP استراتژی های تکامل Evolution Strategies یاES استراتژی های تکامل با تطبیق ماتریس کواریانس یا CMAجستجوی ممنوعه Tabu Search یادر با متلب matlab مطلبTS انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم الگوریتم زنبورهاBees Algorithm یاBA در با متلب matlab مطلب انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم کلونی زنبورهای مصنوعی Artificial Bee Colony یاABC جستجوی هارمونیHarmony Search یا HS بهینه سازی مبتنی بر جغرافیای زیستی BBO Biogeography Based Optimization الگوریتم فرهنگCultural Algorithm یا CA انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم الگوریتم رقابت استعماریImperialist Competitive Algorithm یاICA در با متلب matlab مطلب الگوریتم کرم شب تابFirefly Algorithm یا FA در با متلب matlab مطلب الگوریتم بهینه سازی بیزیBayesian Optimization Algorithm یاBOA الگوریتم بهینه سازی بیزی سلسله مراتبی یاhBOA سیستم ایمنی مصنوعیArtificial Immune System یاAIS شبکه ایمنی مصنوعیArtificial Immune Network یاAIN الگوریتم انتخاب تکثیریClonal Selection Algorithm یاCSA الگوریتم های مبتنی بر الگوهای رفتاریMemetic Algorithms یاMA الگوریتم جستجوی کاتالیستیCatalytic Search Algorithm الگوریتم های تخمین توزیع یاEDA انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم الگوریتم خفاش یا Bat Algorithm الگوریتم جهش قورباغهFrog Leaping ازدحام ماهی های مصنوعیArtificial Fish Swarm یا AFS انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم بهینه سازی ازدحام ذرات چند هدفه یاMOPSO در با متلب matlab مطلب الگوریتم بهینه سازی باکتری(Bacterial Foraging Optimization) یاBFO انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم الگوریتم ژنتیک چند هدفه با مرتب سازی نا مغلوب یاmulti objective optimization MOGA NSGA-II NRGA NSGA2 naga ii در با متلب matlab مطلب انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم الگوریتم بهینه سازی فاخته COA Cuckoo optimization algorithm در با متلب matlab مطلب انجام پروژه های دانشجویی برنامه نویسی کدنویسی الگوریتم الگوریتم جستجوی گرانشی Gravitational search algorithm GSA در با متلب matlab مطلب
داده کاوی، پایگاهها و مجموعههای حجیم دادهها را در پی کشف واستخراج دانش، مورد تحلیل و کند و کاوهای ماشینی (و نیمهماشینی) قرار میدهد. این گونه مطالعات و کاوشها را به واقع میتوان همان امتداد و استمرار دانش کهن و همه جا گیر آمار دانست. تفاوت عمده در مقیاس، وسعت و گوناگونی زمینهها و کاربردها، و نیز ابعاد و اندازههای دادههای امروزین است که شیوههای ماشینی مربوط به یادگیری، مدلسازی، و آموزش را طلب مینماید.
اصطلاح Data Mining همان طور که از ترجمه آن به معنی داده کاوی مشخص میشود به مفهوم استخراج اطلاعات نهان و یا الگوها وروابط مشخص در حجم زیادی از دادهها در یک یا چند بانک اطلاعاتی بزرگ است.
مقدمه
بسیاری از شرکتها و موسسات دارای حجم انبوهی از اطلاعات هستند. تکنیکهای دادهکاوی به طور تاریخی به گونهای گسترش یافتهاند که به سادگی میتوان آنها را بر ابزارهای نرمافزاری و ... امروزی تطبیق داده و از اطلاعات جمع آوری شده بهترین بهره را برد. در صورتی که سیستمهای Data Mining بر روی سکوهای Client/Server قوی نصب شده باشد و دسترسی به بانکهای اطلاعاتی بزرگ فراهم باشد، میتوان به سوالاتی از قبیل :کدامیک از مشتریان ممکن است خریدار کدامیک از محصولات آینده شرکت باشند، چرا، در کدام مقطع زمانی و بسیاری از موارد مشابه پاسخ داد.
ویژگیها
یکی از ویژگیهای کلیدی در بسیاری از ابتکارات مربوط به تامین امنیت ملی، داده کاوی است. داده کاوی که به عنوان ابزاری برای کشف جرایم، ارزیابی میزان ریسک و فروش محصولات به کار میرود، در بر گیرنده ابزارهای تجزیه و تحلیل اطلاعات به منظور کشف الگوهای معتبر و ناشناخته در بین انبوهی از داده هاست. داده کاوی غالباً در زمینه تامین امنیت ملی به منزله ابزاری برای شناسایی فعالیتهای افراد خرابکار شامل جابه جایی پول و ارتباطات بین آنها و همچنین شناسایی و ردگیری خود آنها با برسی سوابق مربوط به مهاجرت و مسافرت هاست. داده کاوی پیشرفت قابل ملاحظهای را در نوع ابزارهای تحلیل موجود نشان میدهد اما محدودیتهایی نیز دارد. یکی از این محدودیتها این است که با وجود اینکه به آشکارسازی الگوها و روابط کمک میکند اما اطلاعاتی را در باره ارزش یا میزان اهمیت آنها به دست نمیدهد. دومین محدودیت آن این است که با وجود توانایی شناسایی روابط بین رفتارها و یا متغیرها لزوماً قادر به کشف روابط علت و معلولی نیست. موفقیت داده کاوی در گرو بهره گیری از کارشناسان فنی و تحلیل گران کار آزمودهای است که از توانایی کافی برای طبقه بندی تحلیلها و تغییر آنها برخوردار هستند. بهره برداری از داده کاوی در دو بخش دولتی و خصوصی رو به گسترش است. صنایعی چون بانکداری، بیمه، بهداشت و بازار یابی آنرا عموماً برای کاهش هزینهها، ارتقاء کیفی پژوهشها و بالاتر بردن میزان فروش به کار میبرند. کاربرد اصلی داده کاوی در بخش دولتی به عنوان ابزاری برای تشخیص جرایم بودهاست اما امروزه دامنه بهره برداری از آن گسترش روزافزونی یافته و سنجش و بهینه سازی برنامهها را نیز در بر میگیرد. بررسی برخی از برنامههای کاربردی مربوط به داده کاوی که برای تامین امنیت ملی به کار میروند، نشان دهنده رشد قابل ملاحظهای در رابطه با کمیت و دامنه دادههایی است که باید تجزیه و تحلیل شوند. تواناییهای فنی در داده کاوی از اهمیت ویژهای برخوردار اند اما عوامل دیگری نیز مانند چگونگی پیاده سازی و نظارت ممکن است نتیجه کار را تحت تأثیر قرار دهند. یکی از این عوامل کیفیت داده هاست که بر میزان دقت و کامل بودن آن دلالت دارد. عامل دوم میزان سازگاری نرمافزار داده کاوی با بانکهای اطلاعاتی است که از سوی شرکتهای متفاوتی عرضه میشوند عامل سومی که باید به آن اشاره کرد به بیراهه رفتن داده کاوی و بهره برداری از دادهها به منظوری است که در ابتدا با این نیت گرد آوری نشدهاند. حفظ حریم خصوصی افراد عامل دیگری است که باید به آن توجه داشت. اصولاً به پرسشهای زیر در زمینه داده کاوی باید پاسخ داده شود:
- سازمانهای دولتی تا چه حدی مجاز به بهره برداری از دادهها هستند؟
- آیا از دادهها در چارچوبی غیر متعارف بهره برداری میشود؟
- کدام قوانین حفظ حریم خصوصی ممکن است به داده کاوی مربوط شوند؟
کاوش در دادهها بخشی بزرگ از سامانههای هوشمند است. سامانههای هوشمند زیر شاخهایست بزرگ و پرکاربرد از زمینه علمی جدید و پهناور یادگیری ماشینی که خود زمینهایست در هوش مصنوعی.
فرایند گروه گروه کردن مجموعهای از اشیاء فیزیکی یا مجرد به صورت طبقههایی از اشیاء مشابه هم را خوشهبندی مینامیم.
با توجه به اندازههای گوناگون (و در اغلب کاربردها بسیار بزرگ و پیچیده) مجموعههای دادهها مقیاسپذیری الگوریتمهای به کار رفته معیاری مهم در مفاهیم مربوط به کاوش در دادهها است.
کاوشهای ماشینی در متون حالتی خاص از زمینهٔ عمومیتر کاوش در دادهها بوده، و به آن دسته از کاوشها اطلاق میشود که در آنها دادههای مورد مطالعه از جنس متون نوشته شده به زبانهای طبیعی انسانی باشد.
چیستی
داده کاوی به بهره گیری از ابزارهای تجزیه و تحلیل دادهها به منظور کشف الگوها و روابط معتبری که تا کنون ناشناخته بودهاند اطلاق میشود. این ابزارها ممکن است مدلهای آماری، الگوریتمهای ریاضی و روشهای یاد گیرنده (Machine Laming Method) باشند که کار این خود را به صورت خودکار و بر اساس تجربهای که از طریق شبکههای عصبی (Neural Networks) یا درختهای تصمیم گیری (Decision Trees) به دست میآورند بهبود میبخشد. داده کاوی منحصر به گردآوری و مدیریت دادهها نبوده و تجزیه و تحلیل اطلاعات و پیش بینی را نیز شامل میشود برنامههای کاربردی که با بررسی فایلهای متن یا چند رسانهای به کاوش دادهها می پردازند پارامترهای گوناگونی را در نظر میگیرد که عبارت اند از:
- رابطه (Association): الگوهایی که بر اساس آن یک رویداد به دیگری مربوط میشود مثلاً خرید قلم به خرید کاغذ.
- ترتیب (Sequence): الگویی که به تجزیه و تحلیل توالی رویدادها پرداخته و مشخص میکند کدام رویداد، رویدادهای دیگری را در پی دارد مثلاً تولد یک نوزاد و خرید پوشک.
- دسته بندی(Classification): شناسایی الگوهای جدید مثلاً همزمانی خرید چسب و پوشه
- خوشه بندی(Clustering): کشف و مستند سازی مجموعهای از حقایق ناشناخته مثلاً موقعیت جغرافیایی خرید محصولی با مارک خاص
- پیش بینی(Forecasting):کشف الگوهایی که بر اساس آنها پیش بینی قابل قبولی از رویدادهای آتی ارایه میشود، مثلاً رابطه عضویت در یک باشگاه ورزشی با شرکت ذر کلاسهای ورزشی.
- مصورسازی (visualization): مصورسازی داده ها یکی از قدرتمندترین و جذابترین روش های اکتشاف در داده ها می باشد.[۱]
برنامههای کاربردی که در زمینه تجزیه و تحلیل اطلاعات به کار میروند از امکاناتی چون پرس و جوی ساخت یافته (Structured query) که در بسیاری از بانکهای اطلاعاتی یافت میشود و از ابزارهای تجزیه و تحلیل آماری برخوردارند اما برنامههای مربوط به داده کاوی در عین برخورداری از این قابلیتها از نظر نوع با آنها تفاوت دارند. بسیاری از ابزارهای ساده برای تجزیه و تحلیل دادهها روشی بر پایه راستی آزمایی (verifiction)را به کار میبرند که در آن فرضیهای بسط داده شده آنگاه دادهها برای تایید یا رد آن بررسی میشوند. به طور مثال ممکن است این نظریه مطرح شود که فردی که یک چکش خریده حتماً یک بسته میخ هم خواهد خرید. کارایی این روش به میزان خلاقیت کاربر برای ارایه فرضیههای متنوع و همچنین ساختار برنامه بکار رفته بستگی دارد. در مقابل در داده کاوی روشهایی برای کشف روابط بکار برده میشوند و به کمک الگوریتمهایی روابط چند بعدی بین دادهها تشخیص داده شده و آنهایی که یکتا (unique) یا رایج هستند شناسایی میشوند. به طور مثال در یک فروشگاه سختافزار ممکن است بین خرید ابزار توسط مشتریان با تملک خانه شخصی یا نوع خودرو، سن، شغل، میزان درآمد یا فاصله محل اقامت آنها با فروشگاه رابطهای برقرار شود.
در نتیجه قابلیتهای پیچیدهاش برای موفقیت در تمرین داده کاوی دو مقدمه مهم است یکی فرمول واضحی از مشکل که قابل حل باشد و دیگری دسترسی به داده متناسب. بعضی از ناظران داده کاوی را مرحلهای در روند کشف دانش در پایگاه دادهها میدانند (KDD). مراحل دیگری در روند KDD به صورت تساعدی شامل، پاکسازی داده، انتخاب داده انتقال داده، داده کاوی، الگوی ارزیابی، و عرضه دانش میباشد. بسیاری از پیشرفتها در تکنولوژی و فرایندهای تجاری بر رشد علاقهمندی به داده کاوی در بخشهای خصوصی و عمومی سهمی داشتهاند. بعضی از این تغییرات شامل:
- رشد شبکههای کامپیوتری که در ارتباط برقرار کردن پایگاهها داده مورد استفاده قرار میگیرند.
- توسعه افزایش تکنیکهایی بر پایه جستجو مثل شبکههای عصبی و الگوریتمهای پیشرفته.
- گسترش مدل محاسبه کلاینت سروری که به کاربران اجازه دسترسی به منابع دادههای متمرکز شده را از روی دسک تاپ میدهد.
- و افزایش توانایی به تلفیق داده از منابع غیر متناجس به یک منبع قابل جستجو میباشد.
علاوه بر پیشرفت ابزارهای مدیریت داده، افزایش قابلیت دسترسی به داده و کاهش نرخ نگهداری داده نقش ایفا میکند. در طول چند سال گذشته افزایش سریع جمع آوری و نگه داری حجم اطلاعات وجود داشتهاست. با پیشنهادهای برخی از ناظران مبنی بر آنکه کمیت دادههای دنیا به طور تخمینی هر ساله دوبرابر میگردد. در همین زمان هزینه ذخیره سازی دادهها بطور قابل توجهی از دلار برای هر مگابایت به پنی برای مگابایت کاهش پیدا کردهاست. مطابقا قدرت محاسبهها در هر ۱۸ – ۲۴ ماه به دوبرابر ارتقاء پیدا کردهاست این در حالی است که هزینه قدرت محاسبه رو به کاهش است. داده کاو به طور معمول در دو حوزه خصوصی و عمومی افزایش پیدا کردهاست. سازمانها داده کاوی را به عنوان ابزاری برای بازدید اطلاعات مشتریان کاهش تقلب و اتلاف و کمک به تحقیقات پزشکی استفاده میکنند. با اینهمه ازدیاد داده کاوی به طبع بعضی از پیاده سازی و پیامد اشتباه را هم دارد.اینها شامل نگرانیهایی در مورد کیفیت دادهای که تحلیل میگردد، توانایی کار گروهی پایگاههای داده و نرمافزارها بین ارگانها و تخطیهای بالقوه به حریم شخصی میباشد.همچنین ملاحظاتی در مورد محدودیتهایی در داده کاوی در ارگانها که کارشان تاثیر بر امنیت دارد، نادیده گرفته میشود.
محدودیتهای داده کاوی
در حالیکه محصولات داده کاوی ابزارهای قدرتمندی میباشند، اما در نوع کاربردی کافی نیستند.برای کسب موفقیت، داده کاوی نیازمند تحلیل گران حرفهای و متخصصان ماهری میباشد که بتوانند ترکیب خروجی بوجود آمده را تحلیل و تفسیر نمایند.در نتیجه محدودیتهای داده کاوی مربوط به داده اولیه یا افراد است تا اینکه مربوط به تکنولوژی باشد.
اگرچه داده کاوی به الگوهای مشخص و روابط آنها کمک میکند، اما برای کاربر اهمیت و ارزش این الگوها را بیان نمیکند.تصمیماتی از این قبیل بر عهده خود کاربر است.برای نمونه در ارزیابی صحت داده کاوی، برنامه کاربردی در تشخیص مظنونان تروریست طراحی شده که ممکن است این مدل به کمک اطلاعات موجود در مورد تروریستهای شناخته شده، آزمایش شود.با اینهمه در حالیکه ممکن است اطلاعات شخص بطور معین دوباره تصدیق گردد، که این مورد به این منظور نیست که برنامه مظنونی را که رفتارش به طور خاص از مدل اصلی منحرف شده را تشخیص بدهد.
تشخیص رابطه بین رفتارها و یا متغیرها یکی دیگر از محدودیتهای داده کاوی میباشد که لزوماًروابط اتفاقی را تشخیص نمیدهد.برای مثال برنامههای کاربردی ممکن است الگوهای رفتاری را مشخص کند، مثل تمایل به خرید بلیط هواپیما درست قبل از حرکت که این موضوع به مشخصات درآمد، سطح تحصیلی و استفاده از اینترنت بستگی دارد.در حقیقت رفتارهای شخصی شامل شغل(نیاز به سفر در زمانی محدود)وضع خانوادگی(نیاز به مراقبت پزشکی برای مریض)یا تفریح (سود بردن از تخفیف دقایق پایانی برای دیدن مکانهای جدید) ممکن است بر روی متغیرهای اضافه تاثیر بگذارد.
ابزارهای داده کاوی
معروفترین ابزارهای دادهکاوی به ترتیب پرطرفدار بودن
- Clementine که نسخه ۱۳ ان با نام SPSS Modeler نامیده میشود.
- رپیدماینر
- نرمافزار وکا
khiliiii saite badayy darud
نرم افزار[۲]
برنامه های کاربردی و نرم افزار های داده کاوی متن-باز رایگان
- Carrot2: پلتفرمی برای خوشه بندی متن و نتایج جست و جو
- Chemicalize.org: یک کاوشگر ساختمان شیمیایی و موتور جست و جوی وب
- ELKI: یک پروژه تحقیقاتی دانشگاهی با تحلیل خوشه ای پیشرفته و روش های تشخیص داده های خارج از محدوده که به زبان جاوا نوشته شده است.
- GATE: یک پردازشگر زبان بومی و ابزار مهندسی زبان.
برنامه های کاربردی و نرم افزار های داده کاوی تجاری
- Angoss KnowledgeSTUDIO: ابزار داده کاوی تولید شده توسط Angoss.
- BIRT Analytics: ابزار داده کاوی بصری و تحلیل پیش بینی گر تولید شده توسط Actuate Corporation.
- Clarabridge: راه حل تحلیلگر کلاس متن.
- (E-NI(e-mining, e-monitor: ابزار داده کاوی مبتنی بر الگوهای موقتی.
- IBM SPSS Modeler: نرم افزار داده کاوی تولید شده توسط IBM
- Microsoft Analysis Services: نرم افزار داده کاوی تولید شده توسط مایکروسافت
- Oracle Data Mining: نرم افزار داده کاوی تولید شده توسط اوراکل (کمیک)
بررسی اجمالی بازار نرم افزار های داده کاوی
تا کنون چندین محقق و سازمان بررسی هایی را بر روی ابزار های داده کاوی و راهنماییهایی برای داده کاو ها تهیه دیده اند. این بررسی ها بعضی از نقاط ضعف و قوت بسته های نرم افزاری را مشخص می کنند. همچنین خلاصه ای را از رفتار ها، اولویت ها و دید های داده کاوها تهیه کرده اند. بعضی از این گزارش ها را در زیر میتوانید مشاهده نمایید:
- گزارش: 2011 Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery س[۳]
- Annual Rexer Analytics Data Miner Surveys تاریخ(2007–2011) [۴]