Поздрав свима 
,
Борим се са значајним уским грлом у перформансама у мом Питхон пројекту, који укључује сложену анализу изузетно великих скупова података. Иако поседујем темељно разумевање алгоритама и структура података, обим мојих података озбиљно омета ефикасност обраде. Обраћам се колективној мудрости ове заједнице за стручни савет о оптимизацији мог приступа.
Мој скуп података садржи милионе записа, од којих сваки садржи мешавину нумеричких, текстуалних и временских података. Користио сам панде за манипулацију подацима и НумПи за нумеричке операције, допуњене прилагођеним функцијама за специјализоване задатке. Међутим, чак и основне операције као што су филтрирање и агрегација троше претеране рачунарске ресурсе.
Мој циљ је да драстично скратим време извршења без угрожавања интегритета података. Посебно сам заинтересован за истраживање напредних техника као што су паралелна обрада, специјализоване структуре података и алгоритамска побољшања. Раније сам консултовао Стацк Оверфлов ресурсе, али предложена решења су донела ограничен успех.
Био бих изузетно захвалан за увид у:
- Оптимизација кода: Прилагођене стратегије за убрзање Питхон кода, посебно када се рукује великим скуповима података.
- Ефикасне структуре података: Препоруке за структуре података које се истичу у филтрирању, агрегацији и сортирању великих скупова података.
- Паралелна обрада: Практично упутство за имплементацију паралелног рачунарства у Питхон-у, укључујући одговарајуће библиотеке и методологије.
- Искуства из стварног света: студије случаја или лична искуства у превазилажењу сличних изазова са великим скуповима података.
Испробао сам и неке предлоге из ове дискусије о преливу стека: django - Effective Approaches for Optimizing Performance with Large Datasets in Python? - Stack Overflow power apps tutorial , Иако су биле корисне, препоруке су одузимале много времена и нису у потпуности решиле моје проблеме.
Хвала вам 
на времену и разматрању. Са нестрпљењем очекујем учење из ваше стручности и примену ваших препорука да побољшам перформансе мог пројекта.