<div dir="ltr"><div class="gmail_default" style="font-family:'courier new',monospace">Well, well, well.</div><div class="gmail_default" style="font-family:'courier new',monospace">Thank you for your help Peter ; your code (last version, autorefresh) is working well for building a new pageindex, localhost speaking.</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">Online, (I'm not talking about reindex), while basically browsing my wiki, I'm facing fatal issues with memory and/or error which make me afraid there is no doubt I'm going in the wall with my project to use pmwiki to handle 200k short and very short pages as if it were mysql like. </div><div><span style="font-family:'courier new',monospace">Well working sqlite database (100 mo) + pageindex (40 mo), while running not bad on localhost as long as I don't edit a set of pages, do run out of memory online the first time a basic pagelist is asked.</span><br></div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">(:pagelist group=Synonyme fmt=#title:) (2000 results expected) : Fatal error: Out of memory (allocated 56098816) (tried to allocate 36 bytes) in /homepages/18/d269604285/htdocs/_dev2/scripts/pagelist.php on line 370</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">(:pagelist link=Synonyme.1003 fmt=#title:) (2 results expected) : Fatal error: Out of memory (allocated 56098816) (tried to allocate 36 bytes) in /homepages/18/d269604285/htdocs/_dev2/scripts/pagelist.php on line 370</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">When I delete the pageindex, I get an error 500.</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">To be honest, I don't know if the issue is related to PmWiki or if sqlite pagestoring is involved. The online files are the localhost files used for my testings.</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">It's a shared host (1&1), yet it works nicely with a dirty very unoptimized mysql script.</div><div class="gmail_default" style="font-family:'courier new',monospace">(phpinfo here : <a href="http://languefrancaise.net/_dev2/php_info.php">http://languefrancaise.net/_dev2/php_info.php</a>)</div><div class="gmail_default" style="font-family:'courier new',monospace">Maybe it's not powerfull file hosting, I don't know, but my own laptop still doesn't like to open and close and delete a 40mo file at every operation.</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">I guess the way PmWiki does search its data is problematic in my case. Using sqlite, I was too fast to wish he would read the targets column, in sqlite database, but I'm afraid he still reads the .pageindex solely, which has gotten too big to handle, and is server resource greedy process.<br></div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">Even in localhost, with a well working pageindex just newly done, editing a page is soon likely to freeze the pageindex mecanism : getting both frozen pageindex and new,pageindex (updating and deleting have failed, these two files will have to be manually deleted, thus a is new index to be built with reindex script).<br></div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">To me, for large wiki oftenly edited (I can do 300 edits a day), it looks like solution would be to get rid of pageindex file (too big for getting opened, deleted and edited 1 time every 2 minutes for hours), and rather use sqlite at its best, i.e. not only for passive pagestoring but also for searches (targets, title, ctime, name, etc., have their own column). I know this would mean a lot of work for a limited profit. </div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">As for pageindex I sadly regret that, when the search doesnt work anymore because of the big amount of data, so doesn't work the pagelists (I'm talking about pagelists limited to links, name, title, and page variables, not text searches). Loosing such a capability is harsh privation.</div><div class="gmail_default" style="font-family:'courier new',monospace">One may accept to use Google or something else for searching, yet nothing but PmWiki can handle formatted pagelists, which are essential to me.</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">In conclusion, if I'm not mistaken, my issue with PmWiki is the pageindex mecanism.</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">@Peter : do you have a code to share I could try for saving .pageindex in a sqlite database, using your reindex script ?</div><div class="gmail_default" style="font-family:'courier new',monospace">(<a href="http://www.pmwiki.org/wiki/PmWiki/SearchImprovements">http://www.pmwiki.org/wiki/PmWiki/SearchImprovements</a> December 26, 2010)</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace">Thanks you,</div><div class="gmail_default" style="font-family:'courier new',monospace">Gilles.</div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">2015-01-31 20:22 GMT+01:00 Peter Bowers <span dir="ltr"><<a href="mailto:pbowers@pobox.com" target="_blank">pbowers@pobox.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class="">On Thu, Jan 29, 2015 at 3:29 PM, ABClf <span dir="ltr"><<a href="mailto:languefrancaise@gmail.com" target="_blank">languefrancaise@gmail.com</a>></span> wrote:<br></span><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><span class=""><div style="font-family:'courier new',monospace">Great job Peter. I have had to run the script 5 times.</div></span><div style="font-family:'courier new',monospace">...</div></div></blockquote><span class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div style="font-family:'courier new',monospace">5:<br></div><div><div><font face="courier new, monospace">DEBUG: B</font></div><div><font face="courier new, monospace">DEBUG: count=0</font></div><div><font face="courier new, monospace">Indexing complete. Deleting wiki.d/.reindex</font></div><div><font face="courier new, monospace"><br></font></div><div><font face="courier new, monospace">Warning: unlink(wiki.d/.reindex): Permission denied in D:\xampp3\htdocs\abclf\local\Site.Reindex.php on line 52</font></div><div><br></div></div></div></blockquote><div> </div></span><div>I've updated this in 2 ways:</div><div>* fixed the unlink() problem (thanks, Chuck)</div><div>* it now redirect's to itself multiple times rather than forcing you to re-load the page</div><div><br></div><div>I've uploaded it as a recipe called Reindex.  </div><div><br></div><div><a href="http://www.pmwiki.org/wiki/Cookbook/Reindex" target="_blank">http://www.pmwiki.org/wiki/Cookbook/Reindex</a><span class="HOEnZb"><font color="#888888"><br></font></span></div><span class="HOEnZb"><font color="#888888"><div><br></div><div>-Peter</div></font></span></div></div></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div><br></div><div>---------------------------------------</div>| A | de la langue française<br>| B | <a href="http://www.languefrancaise.net/" target="_blank">http://www.languefrancaise.net</a><br>| C | <a href="mailto:languefrancaise@gmail.com" target="_blank">languefrancaise@gmail.com</a><br>---------------------------------------<div>       @bobmonamour</div><div>---------------------------------------</div></div>
</div>