Nieuws:

Welkom, Gast. Alsjeblieft inloggen of registreren.
Heb je de activerings-mail niet ontvangen?

Auteur Topic: Forummail onbereikbaar  (gelezen 4323 keer)

Forummail onbereikbaar
« Gepost op: 2013/11/11, 15:58:50 »
Ik probeerde een mailtje te sturen naar forum AT ubuntu-nl DOT org maar kreeg hem terug met de mededeling dat de mail niet bezorgd kon worden. Is de mailserver down?

Offline Johan van Dijk

  • Administrator
    • johanvandijk
Re: Forummail onbereikbaar
« Reactie #1 Gepost op: 2013/11/11, 16:11:32 »
Stond er ook nog bij waarom hij niet bezorgd kon worden?
Ik heb het zojuist getest, zonder problemen.

Edit: ik zie wel een error in de logs:
....knip ontvangst van de mail op de server, intern doorsturen, het magische sausje erover enz....
Nov 11 15:50:13 ubuntu-nl-srv01 postfix/local[19111]: AD59C251A8: to=<<knip>@localhost>, relay=local, delay=2.3, delays=0/0.01/0/2.3, dsn=5.3.0, status=bounced (Command died with status 1: " /usr/bin/python /opt/lp_mail_to_bug_submitter/create_bug.py". Command output: Traceback (most recent call last):   File "/opt/lp_mail_to_bug_submitter/create_bug.py", line 80, in <module>     message = get_message(mail).strip()   File "/opt/lp_mail_to_bug_submitter/create_bug.py", line 49, in get_message     output = '\n\n'.join([output, get_message(m)])   File "/opt/lp_mail_to_bug_submitter/create_bug.py", line 61, in get_message     content = base64.b64decode(content)   File "/usr/lib/python2.6/base64.py", line 76, in b64decode     raise TypeError(msg) TypeError: Incorrect padding )

Een soortgelijk probleem hebben we eerder ook al eens gezien met bepaalde e-mailprogramma's en html mail.

Met welk programma heb je de mail gestuurd en is dit een ander programma dan dat je normaal gesproken gebruikt?
Zat er een bijlage bij?
Kan je eenzelfde soort bericht eens direct naar mijn gmailadres sturen?
« Laatst bewerkt op: 2013/11/11, 16:46:13 door Johan van Dijk »

Re: Forummail onbereikbaar
« Reactie #2 Gepost op: 2013/11/11, 20:09:19 »
Ik verstuurde het met Live Mail, wel vanaf mijn GMail-adres wat er gekoppeld is. Ik gebruik dat normaal ook altijd, die laatste mailtjes die ik stuurde aan de Prikbord-mailinglist heb je ook gewoon gelezen. Er zat geen bijlage bij. Ik zal jou eens mailen.

Edit: ik zie je e-mailadres niet. Als ik op dat mail-icoontje klik kan ik je alleen een mail sturen via SMF.

Re: Forummail onbereikbaar
« Reactie #3 Gepost op: 2013/11/18, 20:19:25 »
Bump. Hoe staat het ermee?

Offline Johan van Dijk

  • Administrator
    • johanvandijk
Re: Forummail onbereikbaar
« Reactie #4 Gepost op: 2013/11/20, 17:42:21 »
Ik ben nog aan het uitzoeken wat het probleem precies is.
Het lijkt erop dat het scriptje dat de mail uitleest om de 1 of andere reden problemen heeft met sommige mailtjes die base64 gecodeerd zijn.

Wat er zo speciaal is aan het mailtje dat je stuurde ben ik nu aan het uitzoeken, de meeste andere mails die die codering hebben lijken wel goed te gaan. Vermoedelijk probeert hij de mail 2x te decoderen, wat uiteraard niet lukt.

Nog even geduld dus, en als je ons echt wil mailen, doe dat dan in plain text, dus zonder allerlei HTML fratsen en bijlagen (die worden toch weggefilterd).

Re: Forummail onbereikbaar
« Reactie #5 Gepost op: 2013/11/20, 20:45:48 »
Ik stuur nooit maltjes met HTML-fratsen. Maar bedankt voor het uitzoeken dusver :)

Offline Johan van Dijk

  • Administrator
    • johanvandijk
Re: Forummail onbereikbaar
« Reactie #6 Gepost op: 2013/11/20, 21:07:50 »
<html>
<head>
<meta name="generator" content="Windows Mail 17.5.9600.20279">
<style data-externalstyle="true"><!--
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph {
margin-top:0in;
margin-right:0in;
margin-bottom:0in;
margin-left:.5in;
margin-bottom:.0001pt;
}
p.MsoNormal, li.MsoNormal, div.MsoNormal {
margin:0in;
margin-bottom:.0001pt;
}
p.MsoListParagraphCxSpFirst, li.MsoListParagraphCxSpFirst, div.MsoListParagraphCxSpFirst,
p.MsoListParagraphCxSpMiddle, li.MsoListParagraphCxSpMiddle, div.MsoListParagraphCxSpMiddle,
p.MsoListParagraphCxSpLast, li.MsoListParagraphCxSpLast, div.MsoListParagraphCxSpLast {
margin-top:0in;
margin-right:0in;
margin-bottom:0in;
margin-left:.5in;
margin-bottom:.0001pt;
line-height:115%;
}
--></style></head>
<body dir="ltr">
<div data-externalstyle="false" dir="ltr" style="font-family: 'Calibri', 'Segoe UI', 'Meiryo', 'Microsoft YaHei UI', 'Microsoft JhengHei UI', 'Malgun Gothic', 'sans-serif';font-size:12pt;"><div style="color: rgb(0, 0, 0);">Hoi Johan,</div><div style="color: rgb(0, 0, 0);"><br></div><div style="color: rgb(0, 0, 0);">dit is een testmailtje.</div><div style="color: rgb(0, 0, 0);"><br></div><div style="color: rgb(0, 0, 0);">Groet,</div><div style="color: rgb(0, 0, 0);">Heimen<br></div><div style="color: rgb(0, 0, 0);" data-signatureblock="true"></div></div>
</body>
</html>

Dit zat o.a. in het mailtje dat je stuurde, naast hetzelfde bericht maar dan zonder de HTML opmaak.

Re: Forummail onbereikbaar
« Reactie #7 Gepost op: 2013/11/20, 22:32:07 »
Dat is dan een server-bug van MS want client-side hier verstuur ik plain text. Neemt niet weg dat het script van ons forum het wel zou moeten pakken...

Re: Forummail onbereikbaar
« Reactie #8 Gepost op: 2013/11/20, 23:43:48 »
Verander in create_bug.py regel 61:

# Van:
content = base64.b64decode(content)
# Naar:
content = base64.urlsafe_b64decode(content)

Dit zou al veel moeten oplossen. Andere oplossing zou zijn om de lengte van de string te controleren en ervoor te zorgen dat deze de correcte lengte voor base64 heeft. Staat de code voor het script trouwens ergens online? Dan kan ik eventueel wel eens wat verder kijken.

Vistaus: Soms forceert de maildienst html opmaak, ookal is dat niet meteen duidelijk. Ook Gmail doet dit (geen idee van Live).

Offline Johan van Dijk

  • Administrator
    • johanvandijk
Re: Forummail onbereikbaar
« Reactie #9 Gepost op: 2013/11/21, 09:18:58 »
#!/usr/bin/env python
# -*- coding: utf-8 -*-
'''
Created on 23 okt 2010

@author: Ronnie van den Crommenacker (knip e-mail)

NOTE: Before using this script, run the script one_time_lp_authentication.py once
This should ask Launchpad permission to post bugs.
Launchpad seems to have problems authenticating when the script has stdin (piped) data

NOTE2: Change the PROJECT variable before running this script to the right team
'''
import os
import re
import sys
import email
import logging
import base64

#sys.path.insert(0, '/opt/lp_mail_to_bug_submitter/python')

import settings
import html2text

try:
    from launchpadlib.launchpad import Launchpad
    import lazr
except ImportError:
    logging.warning('launchpadlib is not installed. You can install it by running:\
                 \nsudo apt-get install python-lauchpadlib')
    sys.exit(1)


CACHEDIR = os.path.expanduser(settings.CACHEDIR)
LOG_FILENAME = os.path.expanduser(settings.LOG_FILENAME)

if not os.path.isdir(CACHEDIR):
    os.makedirs(CACHEDIR, mode=0700)

logging.basicConfig(filename=LOG_FILENAME,level=logging.INFO)

def get_message(mail, force_html=False):
    output = ''
   
    if mail.get_content_maintype() == 'multipart':
        msgs = mail.get_payload()
        for m in msgs:
            output = '\n\n'.join([output, get_message(m)])
        return output
       
    msg = mail.get_payload(decode=True)
   
    if isinstance(msg, str):
        content = ''
        if mail.get_content_type() == 'text/plain':
            content = msg
        elif mail.get_content_type() == 'text/html' and force_html:
            content = html2text.html2text(msg)
        if mail['Content-Transfer-Encoding'] == 'base64':
            content = base64.b64decode(content)
        return content
    return msg
   
if __name__ == '__main__':
    # Login to Launchpad. This requires one time login name inside the browser to authenticate
    # The user should be granted full rights to the project
    try:
        launchpad = Launchpad.login_with(settings.IDENTIFIER, settings.SERVICE, CACHEDIR, allow_access_levels=["WRITE_PRIVATE"])
    except lazr.restfulclient.errors.HTTPError as error:
        logging.warning('Could not login to launchpad. Error: ')
        logging.warning(error)
        logging.warning('Use the script separated with this script once, to handle the login. First authentication fails with stdin input')
        sys.exit(1)
       
    # Read the mail from standard input
    mail = email.message_from_string(sys.stdin.read())#open('Mail', 'r').read())
     
    # Get the message from the mail
    message = get_message(mail).strip()
    if not len(message):
        # If there is no plaintext add the html to the mail
        message = get_message(mail, force_html=True).strip()
    message += '\n\nEmail ontvangen van: %s' % (mail.get('Reply-To', None) or mail['From'])

    # Get the url from the message, to serve as tags
    re_url = re.compile('http://forum.ubuntu-nl.org/(?P<url_board>.*)/(?P<url_topic>.*)/(?P<url_msg>.*)/')
    url = re_url.search(message)
   
    if url:
        # Launchpad supports only the following symbols - + .
        # Delete all the other symbols from the text
        re_tag = re.compile(r'[^a-zA-Z0-9-\+\.]')
        board = '.'.join(re_tag.split(url.group('url_board'))).strip('-+.')
        topic = '.'.join(re_tag.split(url.group('url_topic'))).strip('-+.')
        msg_id = '.'.join(re_tag.split(url.group('url_msg'))).strip('-+.')
        tags = [board, topic, msg_id]
    else:
        logging.warning('No forum url found in the mail, continuing without adding tags and duplication')
        msg_id = None
        tags = None
       

    # Get the project from Launchpad
    try:
        forum_project = launchpad.projects[settings.PROJECT]

    except:
        logging.warning('Launchpad project with name "%s" does not exist. Ticket has not been made!' % settings.PROJECT)
        sys.exit(1)
   
    # File and Submit a new private bug into the project
    try:
        new_bug = launchpad.bugs.createBug(title=mail['Subject'], description=message, private=True, target=forum_project, tags=tags)
        new_bug.subscribe(person=forum_project.owner_link)
    except lazr.restfulclient.errors.HTTPError as error:
        logging.warning('Bug not created!')
        logging.warning(error)
        sys.exit(1)
    logging.info('Bug with id: %d successfully created' % new_bug.id)
   
    # Search if there are projects with the same message tag and mark it as duplicate
    if msg_id:
        for task in forum_project.searchTasks(tags=msg_id):
            # Check if the bug itself is not already a duplicate
            bug = task.bug
            if not bug.duplicate_of and bug != new_bug:
                new_bug.duplicate_of = bug
                new_bug.lp_save()
                logging.info('Bug is marked as duplicate of %d' % bug.id)
                break
       
    logging.info('Program ended without errors')

Edit: de configuratie- en inlogscripts ga ik niet posten, maar die zou je niet nodig moeten hebben om alleen te testen of het parsen van een e-mail werkt of niet.
« Laatst bewerkt op: 2013/11/21, 09:30:37 door Johan van Dijk »

Offline testcees

  • Documentatieteam
    • testcees
    • www.testcees.nl
Re: Forummail onbereikbaar
« Reactie #10 Gepost op: 2013/11/21, 20:21:30 »
Ik verstuurde het met Live Mail,
Ik stuur nooit maltjes met HTML-fratsen. Maar bedankt voor het uitzoeken dusver :)
Als je de Outlook webclient gebruikt (voorheen hotmail.com) maakt die er zelf html bij. Als je een opmaak-icoon gebruikt (vet, schuin, smiley enz.) wordt het base64 gecodeerd.

Als het probleem met base64 te maken heeft kan je (tijdelijk) proberen een mail met alleen tekst zonder enige opmaak of bijlage te sturen?
Klik links bovenin op Documentatie

Re: Forummail onbereikbaar
« Reactie #11 Gepost op: 2013/11/21, 23:06:34 »
@testcees:

2 schoonheidsfoutjes:

1 Verkeerde aanname want ik gebruik niet de webclient van Outlook.
2 Maar nog niet half zo verkeerd als je tweede opmerking want zoals ik hierboven al zei verstuur ik mijn mailtjes altijd zonder enige opmaak oftewel 'plain text'. De codering heb ik geen verstand van.

Niettemin bedankt voor het meedenken :)

Offline testcees

  • Documentatieteam
    • testcees
    • www.testcees.nl
Re: Forummail onbereikbaar
« Reactie #12 Gepost op: 2013/11/21, 23:24:07 »
De codering heb ik geen verstand van.

Niettemin bedankt voor het meedenken :)
Daar heb ik ook geen verstand van maar (1) ben nu wel nieuwsgierig welke client je dan wel gebruikt. Het probleem lijkt namelijk niet bij iedere client op te treden.
Klik links bovenin op Documentatie

Re: Forummail onbereikbaar
« Reactie #13 Gepost op: 2013/11/21, 23:27:56 »
De codering heb ik geen verstand van.

Niettemin bedankt voor het meedenken :)
Daar heb ik ook geen verstand van maar (1) ben nu wel nieuwsgierig welke client je dan wel gebruikt. Het probleem lijkt namelijk niet bij iedere client op te treden.

De client lijkt me het probleem niet. Zoals Nunslaughter al min of meer zei maakt Microsoft of Google (ik weet niet helemaal hoe het client-side zit als je een GMail-adres via een andere service gebruikt) op haar servers zelf HTML van de mail, ongeacht wat ik in de client instel.

Offline Johan van Dijk

  • Administrator
    • johanvandijk
Re: Forummail onbereikbaar
« Reactie #14 Gepost op: 2013/11/22, 08:23:58 »
De mail die je via een client (Thunderbird, Sylpheed, Outlook enz.) verstuurt zou niet aangepast mogen worden door de mailserver van  MS/Google/andere partijen. Zouden ze dat wel doen, dan zijn ondertekende/versleutelde mails via PGP niet mogelijk aangezien de ondertekening dan niet meer geldig zou zijn.

Stuur je het via de website (en misschien ook wel via een app op je foon?), dan kan er wel van alles aangepast worden.

En base64 is een manier om willekeurige inhoud (binaire code, plaatjes, gewone tekst, enz.) om te zetten in normale letters (ASCII). Zie ook Wikipedia.

De originele mail, minus een deel van de headers:
<knip headers>

Message-ID: <knip>
MIME-Version: 1.0
From: <knip e-mail>
To: "=<knip e-mail>
Subject: =?utf-8?Q?test?=
Importance: Normal
Date: Mon, 11 Nov 2013 20:51:11 +0000
Content-Type: multipart/alternative;
boundary="_C5B36E17-DBBF-42A0-8472-36C84F956385_"

--_C5B36E17-DBBF-42A0-8472-36C84F956385_
Content-Transfer-Encoding: base64
Content-Type: text/plain; charset="utf-8"

SG9pIEpvaGFuLA0KDQoNCmRpdCBpcyBlZW4gdGVzdG1haWx0amUuDQoNCg0KR3JvZXQsDQoNCkhl
aW1lbg==

--_C5B36E17-DBBF-42A0-8472-36C84F956385_
Content-Transfer-Encoding: base64
Content-Type: text/html; charset="utf-8"

CjxodG1sPgo8aGVhZD4KPG1ldGEgbmFtZT0iZ2VuZXJhdG9yIiBjb250ZW50PSJXaW5kb3dzIE1h
aWwgMTcuNS45NjAwLjIwMjc5Ij4KPHN0eWxlIGRhdGEtZXh0ZXJuYWxzdHlsZT0idHJ1ZSI+PCEt
LQpwLk1zb0xpc3RQYXJhZ3JhcGgsIGxpLk1zb0xpc3RQYXJhZ3JhcGgsIGRpdi5Nc29MaXN0UGFy
YWdyYXBoIHsKbWFyZ2luLXRvcDowaW47Cm1hcmdpbi1yaWdodDowaW47Cm1hcmdpbi1ib3R0b206
MGluOwptYXJnaW4tbGVmdDouNWluOwptYXJnaW4tYm90dG9tOi4wMDAxcHQ7Cn0KcC5Nc29Ob3Jt
YWwsIGxpLk1zb05vcm1hbCwgZGl2Lk1zb05vcm1hbCB7Cm1hcmdpbjowaW47Cm1hcmdpbi1ib3R0
b206LjAwMDFwdDsKfQpwLk1zb0xpc3RQYXJhZ3JhcGhDeFNwRmlyc3QsIGxpLk1zb0xpc3RQYXJh
Z3JhcGhDeFNwRmlyc3QsIGRpdi5Nc29MaXN0UGFyYWdyYXBoQ3hTcEZpcnN0LCAKcC5Nc29MaXN0
UGFyYWdyYXBoQ3hTcE1pZGRsZSwgbGkuTXNvTGlzdFBhcmFncmFwaEN4U3BNaWRkbGUsIGRpdi5N
c29MaXN0UGFyYWdyYXBoQ3hTcE1pZGRsZSwgCnAuTXNvTGlzdFBhcmFncmFwaEN4U3BMYXN0LCBs
aS5Nc29MaXN0UGFyYWdyYXBoQ3hTcExhc3QsIGRpdi5Nc29MaXN0UGFyYWdyYXBoQ3hTcExhc3Qg
ewptYXJnaW4tdG9wOjBpbjsKbWFyZ2luLXJpZ2h0OjBpbjsKbWFyZ2luLWJvdHRvbTowaW47Cm1h
cmdpbi1sZWZ0Oi41aW47Cm1hcmdpbi1ib3R0b206LjAwMDFwdDsKbGluZS1oZWlnaHQ6MTE1JTsK
fQotLT48L3N0eWxlPjwvaGVhZD4KPGJvZHkgZGlyPSJsdHIiPgo8ZGl2IGRhdGEtZXh0ZXJuYWxz
dHlsZT0iZmFsc2UiIGRpcj0ibHRyIiBzdHlsZT0iZm9udC1mYW1pbHk6ICdDYWxpYnJpJywgJ1Nl
Z29lIFVJJywgJ01laXJ5bycsICdNaWNyb3NvZnQgWWFIZWkgVUknLCAnTWljcm9zb2Z0IEpoZW5n
SGVpIFVJJywgJ01hbGd1biBHb3RoaWMnLCAnc2Fucy1zZXJpZic7Zm9udC1zaXplOjEycHQ7Ij48
ZGl2IHN0eWxlPSJjb2xvcjogcmdiKDAsIDAsIDApOyI+SG9pIEpvaGFuLDwvZGl2PjxkaXYgc3R5
bGU9ImNvbG9yOiByZ2IoMCwgMCwgMCk7Ij48YnI+PC9kaXY+PGRpdiBzdHlsZT0iY29sb3I6IHJn
YigwLCAwLCAwKTsiPmRpdCBpcyBlZW4gdGVzdG1haWx0amUuPC9kaXY+PGRpdiBzdHlsZT0iY29s
b3I6IHJnYigwLCAwLCAwKTsiPjxicj48L2Rpdj48ZGl2IHN0eWxlPSJjb2xvcjogcmdiKDAsIDAs
IDApOyI+R3JvZXQsPC9kaXY+PGRpdiBzdHlsZT0iY29sb3I6IHJnYigwLCAwLCAwKTsiPkhlaW1l
bjxicj48L2Rpdj48ZGl2IHN0eWxlPSJjb2xvcjogcmdiKDAsIDAsIDApOyIgZGF0YS1zaWduYXR1
cmVibG9jaz0idHJ1ZSI+PC9kaXY+PC9kaXY+CjwvYm9keT4KPC9odG1sPgo=

--_C5B36E17-DBBF-42A0-8472-36C84F956385_--

Die stukken tekst die lijken alsof een kat op je toetsenbord heeft zitten springen kan je decoderen door ze bijv. te pipen naar het base64 commando in de terminal.

Re: Forummail onbereikbaar
« Reactie #15 Gepost op: 2013/11/22, 11:28:13 »
Citaat
De mail die je via een client (Thunderbird, Sylpheed, Outlook enz.) verstuurt zou niet aangepast mogen worden door de mailserver van  MS/Google/andere partijen. Zouden ze dat wel doen, dan zijn ondertekende/versleutelde mails via PGP niet mogelijk aangezien de ondertekening dan niet meer geldig zou zijn.

Maar kennelijk gebeurt dat toch wel, zoals hier is bewezen.

Citaat
Stuur je het via de website dan kan er wel van alles aangepast worden.

Ik stuur het niet via de website, ik stuur het via een client.

Citaat
(en misschien ook wel via een app op je foon?), dan kan er wel van alles aangepast worden.

Ik stuur niks via mijn telefoon, ik stuur het via een desktop-client, ik zou niet eens weten of er wel een mailapp beschikbaar is voor mijn telefoon:

Offline Johan van Dijk

  • Administrator
    • johanvandijk
Re: Forummail onbereikbaar
« Reactie #16 Gepost op: 2013/11/22, 17:24:30 »
Citaat
De mail die je via een client (Thunderbird, Sylpheed, Outlook enz.) verstuurt zou niet aangepast mogen worden door de mailserver van  MS/Google/andere partijen. Zouden ze dat wel doen, dan zijn ondertekende/versleutelde mails via PGP niet mogelijk aangezien de ondertekening dan niet meer geldig zou zijn.

Maar kennelijk gebeurt dat toch wel, zoals hier is bewezen.
Ik heb nog geen grote oproer op het internet gezien omdat mailservers de encryptie en ondertekening van e-mails onbruikbaar maken. OpenPGP werkt nog, S/MIME doet het nog, andere crypto werkt nog... kortom ik geloof er niks van.

Citaat
Citaat
Stuur je het via de website dan kan er wel van alles aangepast worden.

Ik stuur het niet via de website, ik stuur het via een client.

Citaat
(en misschien ook wel via een app op je foon?), dan kan er wel van alles aangepast worden.

Ik stuur niks via mijn telefoon, ik stuur het via een desktop-client, ik zou niet eens weten of er wel een mailapp beschikbaar is voor mijn telefoon:


Welk e-mailprogramma gebruik je dan wel? Volgens de headers is dat iets van Microsoft:
<meta name="generator" content="Windows Mail 17.5.9600.20279">Je moet dus in je mailprogramma de instellingen voor de opmaak van e-mails aanpassen.

Re: Forummail onbereikbaar
« Reactie #17 Gepost op: 2013/11/22, 20:24:44 »
Ik gebruikte voor dat specifieke e-mailtje, zoals je al kunt lezen, Windows Mail op Win 8.1 In de instellingen daarvan staat de opmaak op platte tekst, wat wil je dat ik nog meer aanpas dan?