حذف خطوط تکراری

درباره این ابزار

این ابزار یک بلوک متنی را با حذف خطوط تکراری پاک‌سازی می‌کند؛ هر خط را با خطوط پیش از آن مقایسه کرده و فقط اولین وقوع آن را نگه می‌دارد، به‌طوری‌که ترتیب اصلی خطوط باقی‌مانده حفظ می‌شود، نه اینکه مرتب یا جابه‌جا شود. این کار صرفاً بر اساس تطابق دقیق خطوط انجام می‌شود، بنابراین دو خط که حتی با یک فاصله انتهایی یا یک حرف بزرگ با هم تفاوت داشته باشند، متفاوت در نظر گرفته می‌شوند.

این ابزار توسط توسعه‌دهندگانی که فایل‌های لاگ، خروجی‌های CSV یا فهرست‌های نشانی اینترنتی و ایمیل انباشته از ورودی‌های تکراری را پاک‌سازی می‌کنند، و همچنین توسط هر کسی که دو فهرست — مخاطبان، وظایف، کلمات کلیدی — را ادغام می‌کند و یک نسخهٔ تمیز واحد بدون جست‌وجوی دستی برای تکرارها می‌خواهد، استفاده می‌شود. این یک مرحلهٔ معمول پیش از وارد کردن یک فهرست به صفحه‌گسترده یا پایگاه داده است، جایی که ردیف‌های تکراری می‌توانند باعث خطا یا اریب شدن شمارش‌ها شوند.