Github

【python】Python-Twitterで取得したツイートの保存失敗に関して【mysql】

現在PythonでTwitter解析アプリを作成中なんですが、その解析用データの収集で問題が発生。

やってる事としては単純で、
 Python-Twitterでキーワード検索したTweetを収集
  ↓
 収集したツイートを別クラスに格納
  ↓
 格納したクラスをまとめてmariaDBブチ込む
といった事。

単体テストまでは問題なく稼働を確認。テーブルの構成を多少いじって再稼働してみると
ツイートの本文であるtweet.textが文字化け発生。

この文字化けがどうしても取れない・・・

デバッグして変数自体にencode(“utf-8”)かけてもまだ化けてるからもしかしてツイートを
格納する自作クラスが悪さをしてるかも?

イマイチPythonの文字列はしっくりこないんだよなー、他の部分はすごい書きやすいのにもったいない。
というか日本語の扱いがPythonは得意じゃないだけなんだろうかと思い始めてきた。

この件に関しては後日何かわかりしだい追記します。

【Python】MySQLdbモジュールインストール時メモ

インストール時環境
 OS :Fedora20
インストール済みDB:mariaDB

この環境下にMySQL-Pythonを導入したら以下のエラーが出た

致命的エラー: my_config.h: そのようなファイルやディレクトリはありません
   →どうもyum install でダウンロードしてきたバージョンが古いらしい
    MySQLPythonを1.2から2へバージョンアップして対応

上記エラーがでなくなったら次のエラーが出た

致命的エラー: mysql.h: そのようなファイルやディレクトリはありません
   →mariaDBはMysqlとはライブラリモジュールがあったりなかったりするらしい、
    以下のモジュールをインストールすると問題なく動くようになる
    yum install mysql-devel

さらに、このままの設定のままMySQLdbモジュールをインポートすると以下の警告が出る
UserWarning: /home/sgpromot/.python-eggs is writable by group/others and vulnerable
to attack when used with get_resource_filename.

そこでファイルパーミッションの変更をかける
chmod g-wx,o-wx /home/ユーザー名/.python-eggs

これでとりあえずは対応完了
また何か問題が発生したら追記するからも

【Fedora20】mariaDBインストール時につまづいた【MySQL】

投稿3記事目にしてすでにタイトルがPythonから離れてしまった。

実は現在PythonでTwitterのRTカウンターでも作ってみようかと思ってまして
その下準備としてDBサーバーを用意しようと自前のFedora20に手っ取り早く

yum install mysql

でインストールした所、ものの見事に動かなかった。

一時間ほど格闘した結果、以下の事象が原因だった事が判明。
1.権限:libディレクトリ等がインストール後にディレクトリ、ファイル所有権がrootになっていた。
2.そもそもDBがMySQLではなくてmariaDBだった

まぁ自分がログ見ないで適当にガンガン進めてるから2の事に気づくまでに10分くらいかかってたんですがね。

ただ普通にyumで適切にインストールしても1.の事象はどうも発生するようなので、lib配下のmysqlフォルダに
chownで所有権をmysqlにしてあげたら無事起動成功しました。

さて、SQLサーバーをインストールに成功したはいいが問題は自分がDB触ったことないからDB作成方法がわからないことか・・・