BeautifulSoupを使ったスクレイピング入門

スクレイピングとは 入手したひとまとまりのデータを解析し、不要な部分を削ったり、必要な部分だけを取り出したり、 一部を置き換えたり、並べ替えらたりし 目的に合うように整形すること。 WebページやWeb上で公開されているHTMLについてこのような処理を行うことをWebスクレイピングと言います。 Webスクレイピングにより、Webページとして人間が見やすい形で公開されているデ

Read More

MongoDBの利用方法

Mongodbの利用方法 Mongodbの操作方法を簡単にまとめました。特に位置情報をインデックスにして 検索できるあたりは有効に活用できそうです。 データベースの操作 データベースの一覧を見る show dbs; 利用するデータベースに移動する use hoge データベースの情報を調べる db.stats(); エクスポート # mongoexport -d test2

Read More

CentOS7にWordPressを設置

Apacheのインストール インスト-ル yum install httpd systemctl start httpd systemctl enable httpd これでapacheが起動して、ブラウザでアクセスし確認しますが CentOS7のデフォルトではhttpプロトコルの通信はfirewalldで ブロックされているので、http通信を許可する設定を行います。 f

Read More

Ubuntu dnsmasqを停止する

Ubuntu で dnsmasqを停止する UbuntuでnslookupコマンドでDNSの名前解決の様子確認していると、どうもローカルのdnsサーバーらしきものが 動いてるようなので調査 $ sudo netstat -napt | grep 53 tcp 0 0 127.0.1.1:53 0.0.0.0:* LISTEN 3923/dnsmasq 53ポートで dnsm

Read More

Flaskを使って遠隔地からPiカメラを撮影する

FlaskからRasperry PIのPIカメラを操作する Raspberry PIにFlaskをインストールするとWebサイトが構築できるようになります。Flaskはpythonでプログラミングしますので、 pythonで出来ることは何でも出来ることになります。 PIカメラをWeb経由で遠隔地から操作そうることが出来ます。 PIカメラをpythonから操作するためのpic

Read More

Android HTMLパーサーJsoupを使う

HTMLパーサー Jsoup JavaでのHTMLパーサーは色々と種類があります。今回、AndroidアプリでHTMLをパースする必要があり 一番お手頃で使い勝手の良い、Jsoupを使ってみました。簡単な使用方法をまとめておきます。 環境はAndroidStuid利用での前提とします。   セットアップ build.gradleファイルProject用とModuk

Read More

iOSがswiftならAndroidはGroovyで開発

Groovyって? GroovyとはJVM上で動作するスクリプト言語のことです。RubyやPythonなどの軽量プラグラミング言語と同じように 簡潔な記述でコードを書くことがきます。最近のプログラム言語の特徴である関数型プログラミングやメタプログラミング などの機能も有しています。一番の特徴はJavaとの親和性です。GroovyではJavaとの高い互換性を持っており、 Ja

Read More

Raspberry Pi 無線LAN IPアドレスを固定にする

Raspberr PiのDHCPクライアントを無効にして軽くする IPアドレスを自動で取得する DHCP機能は、便利ですがその分メモリーを消費するので、Raspberry PIでは DHCP機能を無効にしてIPアドレスを固定にしたほうが、メモリー消費を節約することができます。  IPアドレスをDHCPか固定アドレスかの設定は  次のファイルを開いて編集します。 /

Read More

BeagleBoneBlackに温度センサDS18B20を接続する

1-Wireモジュールの確認 1-Wireの温度センサーDS18B20を接続するにためにどうすれば良いか調査しました。 まずは1-Wire用のモジュールが有効かを確認 > dmesg | grep wire モジュールが有効にするには modprobe w1-gipo modprobe w1-therm   PINのオーバーレイの作成 /dts-v1/; /

Read More

Postgresql JDBC Insert文発行と同時にSerial値の値を取得する

Insert文発行とSerial値 今回はミニTIPSです。 Postgresqlでは、主キーの値を自動採番する場合は、カラムの型をserialにします。 insert時にserial値が自動採番されます。 プログラムの中でSerial値を取得して使いたい場面が良く出て来ます。 よくあるのが、insert文の後にselect 文を発行して採番された値を取得したりしますが、

Read More